産業界が自ら規制を求めることはめったにない。法の先手を打って利益を上げ、ガードレール（安全策）の交渉は後回しにするのが常だからだ。しかし最近、人工知能（AI）開発の中核を担うリーダーたちが、現在の安全対策はAIシステムの進化のスピードに追いついていないと公に発言している。彼らが懸念を抱いているのだとすれば、私たちはどう受け止めるべきだろうか。その答えは、開発のスピードを落とすことではない。真剣に向き合うことだ。
9月12日、アンソロピックのダリオ・アモデイCEOは、フロンティアモデル（最先端AIモデル）の開発ペースを落とすよう呼びかけ、最高性能モデルの能力向上の速度を緩めるよう訴え、制御不能になった自律型エージェントの群れ（スウォーム）が数カ月以内にインターネット規模の被害をもたらす可能性があると警告した。サム・アルトマン氏とイーロン・マスク氏も同日、この提案を支持した。アモデイ氏は、モデルの学習自体を止めるよう求めているのではなく、能力向上のスピードを抑えるよう求めているだけだと主張している。しかし、米国の主要な開発企業（ラボ）が協調して減速すれば、事実上、進歩は遅れることになる。
国連総会（UNGA）ハイレベルウィーク中の9月23日、アモデイ氏とアルトマン氏は国連安全保障理事会にこの問題を提起し、共通のテスト基準や深刻な事案を報告するための国際的な枠組みを構築するよう各国政府に求めた。これに対するホワイトハウスの回答も、同じ議場で示された。マイケル・クラツィオス科学顧問は同理事会に対し、最先端AIが急速に進化していることは、開発を一時停止する理由にはならず、そのための新たなグローバルガバナンス体制を構築する理由にもならないと述べた。
数日後、ベルリンにおいてピーター・ティール氏は、開発企業たちが聞きたくなかったであろう回答を示した。ティール氏は、自身もリスクを深刻に受け止めているとした上で、彼らが求めているような開発の一時停止など現実には「存在しない」と警告した。
こうした議論はAI開発企業が次に何をすべきかに関するものだが、一般の企業が今直面している課題は、そう簡単に一時停止できるものではない。現在、AIエージェントは社内データやソフトウェア、電子メールにアクセスし、業務ツールの操作まで行っている。さらに、調査会社のガートナーは、2026年末までに企業向けアプリケーションの40％に特定のタスクに特化したAIエージェントが組み込まれると予測している。AIの活用がここまで浸透している状況では、どのような企業であっても、数カ月はおろか数週間であっても開発や導入をストップすることは不可能だ。
米国が開発を減速させてはならない理由
米国の焦点は、AIリスクの管理をより積極的に行う方向へと直ちにシフトする必要がある。これは、明確なレッドライン（許容限界）の設定、フロンティアモデルの安全対策の強化、重要インフラの防御力向上、サイバーセキュリティの改善、そして防御用AIへの大規模な投資から始まる。一見すると気の遠くなるような課題に思えるかもしれないが、国全体で開発を減速させることは、ビジネスにとって悪影響を及ぼすだけでなく、国家および世界の安全保障にとって極めて危険な事態を招きかねない。
最先端のラボが開発したモデルの安全性に確信が持てない場合、そのリリースを遅らせることは必要だ。しかし、AIエコシステム全体の動きを完全に停止させることは、無責任であり国益を損なう。最先端AI企業が「次のモデルを安全に展開できない」と判断したなら、公開を待つべきだ。それこそが責任あるガバナンスである。
アンソロピックの「責任あるスケーリング・ポリシー」
アンソロピックの取り組みは、破滅的なリスクをもたらすシステムについては、適切な安全対策が講じられない限り、学習や展開を行うべきではないという考えに基づいたフレームワークの一例を示している。
このアプローチは多くの企業がモデルとすべきものだが、米国はAIエコシステム全体に対して停止して待機せよと命じる余裕はない。それは単なるテクノロジー政策の選択にとどまらず、産業、経済、そして地政学的な意思決定となるからだ。
私たちは、責任ある形でAIにおけるリーダーシップを維持し、グローバルな競争において米国の未来を守るという誇りと使命感を持たなければならない。
AI競争の本質は「最高のモデル」ではない
AIのグローバルな競争で勝者となるのは、スタック（階層）全体を支配する者だ。どれほど優れたAIモデルを開発したとしても、計算能力（コンピュート・キャパシティ）、最先端半導体、安定したエネルギー、高性能データセンター、資本、技術人材、サイバーセキュリティ、そして世界規模の流通網を自前で確保していなければ、世界に盗まれ、利用されるだけのモデルを作ったにすぎないことになる。
米国の政府もこの現実を認識している。米国のAIアクションプランは、イノベーションの加速、AIインフラの構築、そして国際外交と安全保障におけるリーダーシップの確立に焦点を当てている。これら3つの連動する優先事項は、データセンター、エネルギーインフラ、国内の半導体製造能力、安全な政府向けAIシステム、サイバーセキュリティ、バイオセキュリティ、そして信頼できる米国の技術を同盟国に輸出する能力にかかっている。
AIがリスクをもたらすことは誰もが知っており、これに異論の余地はない。決着をつけるべき核心的な議論は、「一律の減速」がこうしたリスクを管理する適切な方法であるかどうかだ。
性質の異なるリスクとより大きな機会
AIは、原子力や製造業における新しい技術とは異なる。そうした技術は、物理的な材料、専門施設、観察可能なプロセスを伴うものだ。
9月23日の国連安全保障理事会では、いたるところでこの比較がなされた。複数の代表団が核不拡散条約（NPT）をモデルの候補として挙げ、同理事会は最先端システムに対する管理能力の喪失をテーマにセッションを構成した。これは魅力的な先例だ。査察、監視、情報収集が核体制への完璧な遵守を保証したことは一度もないが、極めてそれに近いところまで機能した。しかし、この類推は最も重要な1点において破綻する。ウランは数えることができるが、モデルの重み（ウェイト）はコピーできてしまう点だ。
多層的な防御の必要性
AIはソフトウェアだ。あるチームがモデルを作成すれば、別のチームがそれをコピーし、拡張し、本来の作成目的とは正反対の目的で展開することができてしまう。ひとつの基盤システムが、創薬、教育、ソフトウェアの脆弱性の特定、AI画像や動画の作成、サプライチェーンの改善を支える一方で、米国やその市民に対して悪意を持つ者を支援することにもなり得る。だからこそ、国全体での開発減速は、安全性の確保という本来の目的を達成する上で効果的とは言えないのだ。悪質な行為者はどこまでいっても悪質な行為者だ。彼らは日常的に法を犯しており、推奨事項に従うことなどない。
2025年版の「国際AI安全性報告書（International AI Safety Report）」は、高度なAIリスク管理には多層的な防御が必要であることを明確に示している。技術的な監視に加え、評価やガバナンスの仕組みが必要だ。さらに、ますます高度化する汎用システムのリスクを評価・管理する上で、現在未解決となっている実務的な課題を解消しなければならない。
これは、政策立案者が手をこまねいて混乱を傍観すべきだという意味ではない。しかし、立法や規制の文言はすべて精密でなければならない。焦点は、AIの危険な利用、ハイリスクな展開状況、そして責任あるガバナンスの欠如に当てられるべきだ。
民間セクターにおいては、技術を牽引する最先端企業が、直ちに社内のガードレールを確立しなければならない。開発チームは、AIを利用した重要インフラへの攻撃に対する実効性のある安全対策を構築し、モデルに生物・化学兵器悪用のリスクがないかをテストすべきだ。また、詐欺や窃盗、なりすましによる搾取に対抗するモデルや学習環境を構築する必要がある。本質的に、犯罪者の一歩先を行くためには、犯罪者のように考えなければならないのだ。
規制にとどまらない政府の責任
政府はガードレールや規制を構築する一方で、サイバーセキュリティ、詐欺防止、脅威検知、重要インフラの回復力向上のための「防御用AI」に大規模な投資を行う必要がある。これにより、安全な計算インフラの構築を加速し、安定した発電能力と送電網の容量を拡大しなければならない。さらに、米国は半導体のサプライチェーンを強化する必要がある。
また、米国には高度なスキルを持つ労働力が必要であることを忘れてはならない。このAI時代において、トレーニング、アップスキリング（スキルの向上）、そしてリスキリング（再教育）は不可欠だ。さもなければ、求人票ばかりが増えて席は空いたままになってしまう。AIは人々が偉大なことを成し遂げるのを可能にするが、人間が訓練を受け、操作できる状態になければ意味がないのだ。
開発の一時停止という選択肢はない
ピーター・ティール氏は、アクセル・シュプリンガー（Axel Springer）のCEOであるマティアス・デプフナー（Mathias Döpfner）氏による最近のドイツでのインタビューで、この点を率直に指摘した。ティール氏はAIの破滅論者を退けることはせず、むしろ自分たちよりスマートなシステムに対する管理能力を失うリスクは本物であり、5〜10％の確率であっても深刻だと述べている。彼が否定するのは、開発の一時停止が現実的な選択肢になり得るという考えだ。真の一時停止を実現するには、ワシントン、北京、およびGPUと人材を抱えるすべてのラボにおいて強制力を行使しなければならない。事実上、世界中でAI開発を停止させられるほど強力な権限と組織を持つ世界政府は、他の多くのことも停止させることができるだろう。私たちが実際に実行できる「一時停止」とは、西側諸国だけのものにすぎず、実際には一連のカンファレンス、安全性評価機関の設立、展開の遅延に終わる。ティール氏が表現したように、「欧州は道徳を説き、米国は議論し、北京は学習（トレーニング）させる」のだ。
中国はAIにおける最も手強い競合国であり、彼らの関心はただ勝利することにのみ向けられている。中国の国務院は、科学技術、産業開発、消費者向けアプリケーション、および公共サービスにおけるAIの統合を加速させている。彼らの推進する「AIプラス（AI Plus）」計画は、知るべきすべてを物語っている。コストや危険を顧みず、全力で突き進んでいるのだ。
協調が期待できるとは限らない。米国の政策は、競合国が何の制約もなく開発を進め続ける可能性を前提とした、レジリエント（強靭）なものでなければならない。
これは安全性とリーダーシップのどちらか一方を選ぶという問題ではなく、責任あるAI戦略にはその両方が求められる。米国は、破滅的な悪用への備えを、これまで以上の切迫感をもって進めなければならない。世界で最も強力なAIセキュリティ、バイオセキュリティ、およびサイバーレジリエンス能力を構築すべきだ。政府は、最先端企業に対し、社内規制を構築しつつイノベーションを加速するよう求める必要がある。そして、これらの企業が従わない場合は、相応のペナルティを科すべきだ。
リスク管理は後退を意味しない。米国は、ガバナンスを構築しつつ、安全性、インフラ、防衛、およびイノベーションをさらに加速させる必要がある。私たちには、AIの未来を形作る能力を放棄することなく、そのリスクを管理する力がある。私たちは直ちにその道を進むべきだ。
