AIファクトチェックのヒントと技法
朗報は、AIが誤った出力をしている兆候は見抜けるということだ。ただし、細心の注意を払い、時間をかけて結果を丁寧に確認する必要がある。誤出力の明確な兆候としては、曖昧または無記名の参照、古い日付、同じ質問を再度した際に回答が変わることなどが挙げられる。
「AIの不正確さに対処するには、中学時代から私たちが実践してきたのと同じ手法を数多く適用することになる」とLiphardtは述べる。「具体的には、情報源の確認、可能であれば直接観察による主張の検証、複数の人や複数のAIシステムに当たって、ある事実や主張について一般的な一致があるかを見ることだ」
AIの回答は常にファクトチェックすべきであり、その方法は数多い。手法としては、AIの回答に異議を唱えること、生成物を他の情報源と突き合わせて二重チェックすること、出力の新しさを再確認すること、プロンプトを繰り返すこと、プロンプトをできる限り明確にすることなどがある。
1. ラテラル・リーディング：すべてを二重チェックする
ジャーナリズムや警察活動が複数の情報源での確認を伴うのと同様、影響の大きいAIへの問いを行うユーザーもそうすべきである。AIの出力を、単一かつ唯一の情報源として決して受け入れてはならない。
これを指す一般的な用語がラテラル・リーディングである。テキサスA&M大学コーパスクリスティ校のガイダンスによれば、ラテラル・リーディングでは、情報を検証するために自ら調査を行うことが求められる。たとえば新しいタブを開き、Google検索やGoogle Scholarを使って、AIが挙げた情報を誰が確認できるかを調べることができる。
2. 反論する
AIモデルが返した回答に異議を唱える。これは、人間の同僚に対して自分の立場や回答を正当化してもらうのと同じである。モデルは自然言語処理（NLP）を用いるため、こうした追質問は会話調でもよい。たとえば「タイタニック号が品質の劣るボルトで建造されたと言うが、どういう意味か」といった具合だ。また、情報の出典をAIモデルに直接尋ねるだけでもよい。
AIモデルに対して「台本をひっくり返す」こともできる。Different DayのCEOであるLauri Kien Kotcherは「反対の立場で論じさせる、あるいは自分の回答の弱点を特定するようAIに求めよ」と助言する。これは、人間に対しても、結論を確認するために論点のあらゆる側面を検討し議論するよう求めるのと同じである。
3. 繰り返し、繰り返す
プロンプトを一度走らせて「これで終わり」としてはならない。提示される情報の土台を確かめるため、同じ問いを別のモデルにも当てて検証することが重要である。
2回、3回、あるいはそれ以上、異なるモデルに同じ質問を投げる。モデル間の結果の不一致は、提示された示唆に誤りがあることを示すシグナルとなる。Dell TechnologiesのAIプロダクトリーダーであるShruti Tiwariは「ChatGPT（チャットGPT）、Claude（クロード）、Geminiは構造が異なり、学習データも異なる」としたうえで、「一致している点は、より自信を持てる。食い違う点こそ、あなた自身の検証が集中すべき箇所だ」と語る。
一貫性は、作業対象の特定モデルの出力の妥当性を評価するうえでも重要なテストである。同じ質問を、異なる言い回しで何度か投げることを必ず行いたい。「バージョン間で細部が動くなら、モデルは記憶しているのではなく推測している。そうなれば、自分で検証する段階だ」とTiwariは述べる。
