2026年6月、Anthropic（アンソロピック）は「When AI Builds Itself.（AIが自らを構築するとき）」と題するホワイトペーパーを公開した。タイトルにあるように、AIがまもなく自らの後継を開発し始めるという意味において、大きな注目を集めるのは必然だった。
Anthropicは、そのプロセスを人間が有意義に主導できなくなる前にAIの開発を一時停止する、そのための備えを協調して検討すべきだと提言しており、それは真剣に受け止める必要がある。この警告は、これから先に何が起こり得るかを最先端の開発現場で見通せる立場にある人々から、誠実な意図で発せられている。
筆者はこの提案を評価する。AI開発の現状を踏まえれば、もっと早く提示されるべきだったのだ。2022年にChatGPTが登場する以前から、AI研究者は強い規制指針とガードレールのないAIが抱える多くの落とし穴をすでに理解していた。
差し当たっての問題は安全性ではなく、信頼性
しかしながら、現在のAIシステムにおける経済面での中核的な課題は「信頼性」だ。あらゆる企業、あらゆる開発者、そしてこれらのツールに料金を支払うすべての人に影響する。そしてそのコストは本来あるべき水準をはるかに上回っている。
なぜなら、現行のAI技術に投じた1ドルのうち相当な割合が、ほとんど価値を生まないからだ。あるいはさらに悪いことに、目の前の確実な課題解決よりも、AIモデル自体の性能改善（自己学習）にリソースが空費されることすらある。
このパターンは過去にも見てきた
テクノロジー業界で数十年を過ごすなかで、私は企業が現実に直面した途端、多くの約束が破られるのを見てきた。パソコンはコンピューティングの力を万人に届け、その過程でイノベーションを民主化すると約束した。インターネットの時代は、どこでも即時につながる世界を提示した。モバイルデバイスは、ユーザーに真の自由を与え、創造性を解き放つはずだった。
AIはいま「発見」の段階に入っている。新しいツールが期待に完全には応えられないことに、人々が気づき始めているのだ。約束されているのは信頼性、すなわち現実世界で人々がそれを頼ったときに現実の問題を解決できる能力である。
ベンチマークは現実世界の性能を反映しない
フロンティアモデル（最先端AIモデル）は、標準化されたテストで80％、90％、あるいはそれ以上という驚異的なベンチマーク値を達成する。だが、現実的で、往々にして困難なタスクを抱える実際のユーザーを相手にすると、状況は一変する。
