データセンター拡張競争
マーカスは、OpenAIのo1紹介で初めて示された、推論計算をスケールさせることでモデル性能が向上することを示す2つのチャートに言及する。計算資源（財務コストとエネルギー消費）を増やせば、より賢いモデルが得られるという期待があった。マーカスによれば、人々はこれらの「いわくつきの」法則を真に受け、必要な計算量を見積もり、それでAGIに到達できると考えた。「多くの人が最近目にしたのは、GPT-5が私たちをそこへ大きく前進させるはずだったのに、期待されたほど遠くまで連れて行ってはくれなかった、ということです」。
これが、計算資源をスケールさせる緊急性を説明する。マッキンゼーは最近、2030年までに「コンピュート需要に対応するため、世界のデータセンターは6.7兆ドル（約1024兆円）を必要とする」と報告した。設備投資だけでも5.2兆ドル（約794兆8000億円）に上る見込みである。
推論計算のスケーリングがより知的なモデルへと至るという、この仮説上の法則は、「一定の進歩を続けるには、計算量を指数関数的に増やす必要がある」ことを意味する。トビー・オードは、「計算機科学では、指数関数的に増大するコストは、しばしば問題が『手に負えない』（intractable）ことの物差しとして用いられます」と説明する。ファウジもマーカスに同意し、「必要なのは計算だけではなく、学習に用いるデータも指数関数的にスケールしなければならない」と述べる。インターネット上のすべてのデータを取り込み終えたらどうするのか。彼は、合成データは自然データに存在する実際のパターンを決して再現できないため、解にはなり得ないと言う。
データセンターは今後、エネルギーを巡って都市と競合することになる。コンピュート需要は大きく不確実であり、したがってリスクが高く、これら巨大で高価なインフラにどれだけ資本を投じるかに直接影響する。
LLMは解ではない
シータによれば、言語はAGIの中核知識ベース──学習された知識──に属する。しかし、LLMはそうではない。彼は説明する。「LLMは、オフラインのテキストに対する次のトークン（next-token）の出現確率を最大化するよう訓練される。LLMがモデル化するのは世界についての言葉であって、その言葉が変えねばならない世界そのものではない。実世界からのライブのセンサー、（仮説を検証する）介入、そして結果からモデルと方策を更新することがなければ、LLMの信念は過去の言語分布に固定されたままであり、現在の状態や結果から切り離される」。
シータは、AGIを目標に向けて心、政策、市場、機械を変えていく「因果的な道具」として描く。しかしそれには、言語を環境の目標条件付きモデルに結び付け、制約とフィードバックに服従させることが必要だ。シータにとって、LLMはファウジの第一層である統計に分類される──「優れた知識の蓄積と便利なインターフェース（情報検索ツールや対話窓口）を提供するが、システム全体を統制する中核的な制御装置ではありません」。
正義と説明責任に根ざしたAIを訓練する共同体「Understory」での取り組みを進めるファウジも、シータに同意する。LLM単体では解ではないとし、こう付け加える。「グラウンディング（ツール、センサー、シミュレーター）、相互作用、検証器があれば、層のアラインメントに加わることはできます」。しかし制約への結び付きがなければ、言語の流暢さは知識と同義ではないと示唆する。「言葉のパターンが、そのまま世界のパターンであるとは限らないのです」。
データをどう扱うか
マーカスは、データをどう扱うかについて、より良いアイデアを模索する義務をこの分野が放棄したと語る。LLMに走り、そこには予見可能な問題が多数あったのに、彼らは「創発」を頻繁に語り、十分なデータがあれば必要なものは魔法のように出現するとしてきた。だが、GPT-5、Grok 4、Llama 4から分かるのは、データを追加すれば多少の改善は見られるものの、単にデータを増やすだけでは効果が頭打ちになる段階に入っているということだ。
マーカスは結論づける。「このパラダイム全体は、端的に言えば『強化された反芻（再吐出）』にすぎません。必要なすべてが学習データに含まれているわけではなく、学習データと重要な点で似ていないものが現れたとき、このパラダイムはうまく機能しません……とりわけ難しいケースでは」。
