それは驚きではない。フロンティアモデルが安定した性能を発揮できないことは、いまや広く知られている。ベンチマークテストでは90%を取れても、同じタスクを本番環境で実行すると、安定した出力を得られるのは4回に1回に満たないこともある。この現象には、容易に説明がつく側面がある。
ベンチマークテストで使われる問いの多くは、何年も前からウェブ上に出回っており、フロンティアモデルはそれらを認識することを効果的に学習してきた。彼らが知っているのは答えであって、あなたが直面する問題の「解決策」ではない。
隠れたコスト：無駄な作業と静かな誤り
この問題には、「厄介なもの（annoying）」から「苦痛を伴うもの（painful）」まで、さまざまな呼び名がある。どの言葉を選ぶにせよ、要点は同じだ。相当な労力が、何も生み出さないまま浪費されている。
これは一過性のバグではなく、あらゆる業界の多様な業務において日常的に発生している構造的な課題だ。そしてそれは「無駄な労力」として現れる。再試行したり、プロンプトを再入力したり、「いや、そういう意味ではない」と言い直したりすることになる。さらに悪いのは、AIがもっともらしく出力した完全な誤答（ハルシネーション）を鵜呑みにしてしまい、数週間後に別の部署で新たなトラブルを引き起こすリスクだ。
企業向け製品の買い手は、非常に忍耐強いことで知られている。だが、忍耐にもほかの美徳と同じく限界がある。投資対効果（ROI）を精査するときは必ずやって来る。その際に問われるのは信頼性という指標だ。具体的には、ベンチマークテストで取った最高点ではなく、信頼できる最低限の性能水準こそが重視される。
問題は解決できる──だが、まだ解決していない
朗報もある。この問題は工学的に解けるのだ。業界はすでにそれを認識しており、推論、検証、信頼性レイヤーへの大規模投資が進んでいる。だが私が懸念するのは、安全性をめぐる議論がAIの過度な権限と自律性に集中する一方で、信頼性の問題とは、AIが「自信満々に間違った」高価な解決策を提示し続けている、という点だ。
業界は誤った問題を解こうとしている
Anthropicの問題提起には耳を傾けるべきだ。しかしAI業界は、現実世界の価値を損なう、拡大する信頼性のギャップ、というすでに抱えている問題にも向き合うべきである。より高性能なAIシステムをめぐる競争は、ベンチマークの伸びだけでは決まらない。今日のシステムが単一のタスクすら確実に完了できないなら、より強力なモデルを目指す競争は減速する。それは規制のせいではなく、その労力をかけるだけの経済的な合理性がなくなるからだ。
