AIの回答は、正しくても間違っていても同じように聞こえる傾向がある。チームがウェブから収集した調査内容を要約するためにAIツールを使うたびに、私はこのことに気づく。根拠となる情報源が薄弱だったり欠落していたりしても、そのトーンが変わることはない。データが古かったり、不完全だったり、ブロックされていたりすると、AIは隙間を推測で埋めることになり、それでも確信に満ちた表現で回答する。
これは、マサチューセッツ工科大学（MIT）の研究者らが、AIモデルが確信度をどのように示すかを研究した際の発見と一致している。一般的な検証方法では、モデルに同じ質問を何度も繰り返し、その回答を比較する。この方法は一貫性を測定するものであり、正確性を測定するものではない。モデルは、完全に一貫した形で間違った回答を繰り返す可能性があるのだ。
私の経験では、多くの人はAIの流暢な回答を、検証済みの回答として扱ってしまうことが多い。流暢さと正確さは別物であり、回答のトーンからそのどちらであるかを見分けることはできない。
ギャップは実際どこから生じるのか
データ収集インフラを運営してきた経験から、ハルシネーションは通常、3つのギャップに起因することがわかっている。データが古い。データがツールでは越えられない壁の向こう側にある。あるいは、そもそもデータが完全には取得されていない。
検索グラウンディング（RAG）は役に立つが、それは検索システムがソースにアクセスできる場合に限られる。査読付きのスタンフォード大学の研究では、検索システムを組み込んで特別に構築された法務向けAIツールをテストした。これらのツールでも、17%から33%の確率でハルシネーションが発生した。多くのエラーは、取得した文章が不完全であったこと、あるいは関連文書を見落としていたことに起因していた。
法務調査以外の分野でも、同様のパターンが見られる。市場や競合他社の価格ページを要約するために構築されたツールも、同じ壁に突き当たる。ページがコンテンツを動的に読み込む仕様であったり、ログインが必要な壁の向こうにあったりする場合、標準的な検索ステップではそれを認識できない。それでもモデルは回答する。ただ、必要な情報が不足した状態で回答しているだけだ。
データ収集の改善がギャップを埋める
ハルシネーションに関する議論のほとんどは、ClaudeやChatGPTに「strawberryという単語にRは何個あるか」と尋ねるように、モデル自体に焦点を当てている。だが、データがそもそもどのようにモデルに届いたのかに焦点を当てる議論は少ない。
私の仕事において、正確性の最大の向上をもたらすのは、モデルの修正ではなく、収集方法の改善である。AIパイプラインに直接接続された自動データ収集ツールであれば、JavaScriptを多用したページを処理し、地理的に分散したアクセスポイントをローテーションし、設定されたスケジュールに従ってソースを更新することができる。
この仕組みにより、週に1回、いくつかの静的URLをチェックするだけの基本的なクローラーよりも、包括的で最新の状況を把握できる。AIツールは、自前の限定的なクローラーがなんとか取得したデータに頼るのではなく、この安定したフィードから直接データを取得する。
その上に重ねられたAIは、より多くの実際のページデータを処理できるため、推測に頼る頻度が減る。より強固な収集インフラに投資しているチームは、下流工程でのギャップや、自信に満ちた誤答が常に減少している。収集プロセスの改善は地味な作業だ。しかし、私の経験上、これこそがハルシネーション率を下げる最も手っ取り早い方法である。
回答の背景にあるデータが不完全な場合に何が起こるか
私は、関連する価格ページの半分を見落としたAI要約をもとに、チームが競合分析を組み立てるのを見てきた。その要約は完全であるかのように読めた。だが、完全ではなかった。
このパターンは、個人の経験をはるかに超えて現れている。コロンビア・ジャーナリズム・レビュー（CJR）のタウ・センター（Tow Center）が、ニュースの引用に関するクエリについて8つのAI検索ツールをテストしたところ、これらのツールは60%以上の確率で誤った回答をした。研究チームは、これらのツールが信頼できる情報源を欠いている場合に、その旨を警告することはめったにないことを発見した。
多くの市場において、価格は毎週変動する。1週間前のスナップショットに基づいて動作するツールは、その変化を完全に見落とす可能性があり、それでも出力される回答は完成されたものであるかのように聞こえる。
AIの回答を信頼する前に確認すべきこと
誤った情報に基づいて意思決定を下してしまう前に、いくつかの簡単なチェックを行うことで、こうしたギャップのほとんどを捉えることができる。AIの回答を事実として扱う前に、以下の質問を投げかけてみてほしい。
• 元となるデータは、時間、日数、月数の単位で見て、どの程度新しいものか。
• データは、ペイウォール（有料壁）や地域制限、あるいは動的に読み込まれるページにアクセスできる方法で収集されたか。
• 回答は、取得したソースを引用しているか、それとも一般的な知識のように読めるか。
• そのツールは、ソースがどれほど薄弱であっても、完全に確信に満ちた様子で回答しているか。
これらの質問をするには1分もかからないが、怠った場合の代償は、意思決定が下された後でははるかに大きくなる。
結論
ハルシネーションはAIの推論における欠陥として扱われがちだ。しかし、私の経験上、それは通常、データ収集レイヤーがアクセスできる範囲における欠陥である。
新鮮で完全で、到達可能なデータは、根拠ある回答を生む。古い、あるいは部分的なデータは、確信に満ちた推測を生む。信頼できるAI出力を求めるリーダーは、どのモデルを選ぶかを監査する前に、データがどのように収集されているかを監査すべきである。
