自身の出力をセルフチェックさせる
チャットの冒頭にある指示によって、より優れた最初の回答が得られる。そして、2回目の検証プロセスを経ることで、真実の回答が得られる。「検証の連鎖(Chain-of-Verification)」の背後にいる研究者らは、モデルは最初に尋ねられた大きな質問よりも、小さな検証用の質問に対してより正確に回答すること、また、モデルが検証中の自身の主張を振り返って見ることができない状態のときの方が、チェックがうまく機能することを発見した。
Natureに掲載された別の研究では、リスクの高い回答を特定するために「セマンティック・エントロピー(semantic entropy)」を利用した。これは、複数の回答を生成し、表現の仕方に惑わされず、それらが意味する内容を比較する手法だ。回答間で不一致がある場合は問題がある。臨床研究分野などの学術誌『コミュニケーションズ・メディスン(Communications Medicine)』に掲載された研究では、6つのモデルを対象とした対抗的な臨床試験において明確な「ハルシネーション防止指示」を与えることで、平均ハルシネーション率が約66%から約44%へと低下した。なお、温度パラメータ(temperature)をゼロに設定しても、大きな違いは見られなかった。決定論的な出力は、2回同じ回答を返すだけであり、決して真実の回答を保証するものではない。
「あなたが今提示した回答を受け取り、その中で誤っている可能性のあるすべての事実に基づく主張(すべての統計、日付、名前、研究、引用、企業の事例を含む)をリストアップしてください。それぞれの主張に対して検証用の質問を1つ作成し、元の回答を振り返ることなく、その質問に単独で回答してください。私の最初の質問に対する2つ目の独立した回答を生成し、言い回しではなく意味を比較して、2つの回答のどこが一致しないかを教えてください。検証をクリアした主張のみを使用し、それぞれに具体的な情報源の名前とリンクを添えて、回答を書き直してください。検証できない事柄は、何も言わずに削除するのではなく、未検証としてマークし、その旨を私に伝えてください」
AIから真実を引き出す方法
AIは、あなたが「そうするな」と指示するまで、あなたが聞きたいことを語り続ける。だからこそ、はっきりと指示するのだ。質問前に誠実さを求める指示を設定し、すべての主張の根拠を示させ、別プロセスで自身の出力をセルフチェックさせる。そして、プロンプトによって精度を高めた回答であっても人間が批判的思考(クリティカル・シンキング)をもって確認することが不可欠だ。真実かどうかを判断する役割が自分自身にあることに変わりはない。このプロセスによって排除されるのは、捏造された研究、偽の顧客の声、誰も出どころを追跡できない自信に満ちた数値である。それこそが、公開に耐え得るバージョンなのだ。


