今年2度目となるが、デロイトは生成AIを使用して政府向け契約報告書を裏付ける「研究引用」を「発見」したと報じられている。この問題は実際にはより大きく、人々が投資ポートフォリオをどのように管理すべきかという教訓を含んでいる。
デロイトとニューファンドランド・ラブラドール州の報告書
カナダのブロガー、マット・バーター氏がこの最近の問題の第一部を明らかにしたようだ。情報アクセス請求（米国の情報自由法のようなものと思われる）を使用して、ニューファンドランド・ラブラドール州政府の保健・コミュニティサービス省がデロイト・マネジメント・サービスに159万8485ドルを支払い、同州の医療セクター向けの人材戦略となる「医療人材資源」計画を作成させていたことを発見した。
高額ではあるが、珍しいことではない。政府は頻繁に経営コンサルタント・グループを分析や報告書作成のために雇う。しかし、その後もう一つの問題が明らかになった。インディペンデント紙は、その報告書に存在しないと思われる引用が少なくとも4つ含まれていたと報じた。
「526ページの文書で引用されている研究論文は、採用戦略、金銭的な採用・定着インセンティブ、遠隔医療、そして新型コロナウイルスパンデミックの医療従事者への影響に関する主張を裏付けるために使用されている」とインディペンデント紙は書いている。
引用の一つは、金銭的・採用インセンティブがコスト削減につながると報告していたとされる。ノーザン・ブリティッシュ・コロンビア大学看護学部の名誉教授で、その引用の共著者とされるマーサ・マクラウド氏は、インディペンデント紙に電子メールで「私たちのチームは確かに地方・遠隔地の看護研究を行ってきました。しかし、費用対効果分析を行ったことはなく、そのための財務データを持っていたこともありません」と述べた。さらに彼女は、その引用は「虚偽」であり「おそらくAIによって生成された」ものだと述べた。
「デロイト・カナダは報告書で提示した提言を強く支持している」と同社の声明は述べている。「報告書の結論に影響を与えない少数の引用修正のため、報告書を改訂している。AIは報告書の執筆には使用されておらず、少数の研究引用をサポートするために選択的に使用された」
初めてではない
これは初めてのことではない。9月には、同じ州の10年教育計画（デロイトとは関連なし）についてAI使用の懸念が提起された。CBCによると、その計画には「存在しない学術誌や文書への引用が少なくとも15件」含まれていた。参考文献の一つは存在しない2008年の映画だったが、これはビクトリア大学のスタイルガイドで架空の参考文献例として使用されていたものだった。
デロイトは教育報告書には関与していなかったが、オーストラリアでも問題が起きていた。フォーチュン誌が報じたように、同社のオーストラリアのメンバーファームは、AIによって生成されたとされるエラーを含む29万ドルの報告書について部分的な返金を行っていた。これには存在しない学術研究の引用や「連邦裁判所の判決からの捏造された引用」が含まれていた。
このような架空の引用は、大規模言語モデルの幻覚（ハルシネーション）と呼ばれる現象の例である。この種の生成AIソフトウェアは思考や研究を行わない。要求に応じて、取り込まれた膨大な文章サンプルに基づいて、テキストの文字列を生成する。この技術は印象的だが、統計的な単語の使用に基づいており、検証された意味に基づくものではない。多くの人にとって役立つものの、何をしているのか理解していないため、信頼できない状況がある。
大規模言語モデル（LLM）は様々な理由で良い評価と悪い評価を受けている。ソフトウェアからプログラムで排除できない幻覚の問題は重要だ。研究を引用することは、単に意見を形作るための試みであるべきではない。それは思考、戦略、行動を導き、挑戦し、改善するのを助けるためのものである。
投資家にとっての問題
言い換えれば、誰かが戦略的文書に引用を含めるが、情報源を確認して資料を読んでいない場合、彼らはアイデアの最終的な質ではなく、アイデアを売り込むことに関心があるということだ。この問題は一つのグローバルコンサルティング会社やカナダやオーストラリアの特定の地域に限ったものではない。
この慣行はより広範囲に広がっている。データコンサルタントのダミアン・シャルロタン氏は、法的事例を追跡している。弁護士が十分な監視なしにAIシステムを使用した結果、これまでに615の事例が発生しており、これには捏造または誤って表現された判例法や、判例法から誤って引用された言葉が含まれる。
サンアントニオ・テキサス大学、オクラホマ大学、バージニア工科大学の研究者による研究では、PythonとJavaScriptプログラミング言語向けのAIコードジェネレーターに問題があることが判明した。プログラマーは開発を迅速化するために、すぐに使える機能を持つソフトウェアライブラリを頻繁に使用する。また、開発者の97%が何らかの形で生成AIを使用しており、現在のコードの30%がAIによって生成されている。研究者たちは16の人気LLMを使用してコードを生成したところ、幻覚が発生し存在しないライブラリパッケージの平均割合は「商用モデルで少なくとも5.2%、オープンソースモデルでは21.7%」であることを発見した。つまり、そのコードはおそらく機能しないということだ。
問題は拡大し広がっており、これが投資家が投資先企業の動向を注視する必要がある理由だ。どれだけの企業が、収益発表で明示的に現れるかどうかわからない完全な混乱に陥っているのか？どれだけの企業が慎重にチェックしていないコンサルティンググループを使用しているのか？企業とその業務への潜在的な影響は何か？
投資家は継続的な調査の中でより深く掘り下げ、投資先がどのようなリスクを取っているのかを知るべきだ。
