「AIが人類を滅ぼす」という狂乱は、ついにサーカスさながらの様相を呈している。脚光を浴びているのは、最大手のフロンティア研究所のCEOたちであり、彼らは自ら開発している技術そのものの危険性を警告している。今月初め、Anthropicのダリオ・アモデイCEOはドラマチックなエッセイを発表し、安全性、監視、アライメントの仕組みが追いつくまで、AI業界はフロンティアモデルの進歩のペースを落とすべきだと主張した。それ以来、AnthropicとOpenAIの双方が、モデルが問題のある行動をとった数万件のインシデントについて調査を行っていると発表した。これには米国の政府系ウェブサイトへの干渉も含まれる。
こうした宣言の背後にある我田引水的な動機は、特に新規株式公開（IPO）の計画を背景に考えると、無視できないほど明白だ。今、開発の減速や業界規制を導入すれば、先行優位性を守ることができ、小規模な挑戦者は規制のハードルを乗り越えるのに苦戦することになる。また、公の場での宣言は、将来的に好ましくない事態が発生した際の都合の良い自己保身（CYA）にもなる（「減速すべきだと申し上げたはずだ」と主張できるからだ）。サタデー・ナイト・ライブ（SNL）でさえこの滑稽さを見抜き、先週土曜日のコントでアモデイが「私を止めるよう、私に強く求めてくれ」と泣き言を言う様子を揶揄した。
一方で、AIに関する世界的な議論が爆発的に高まるなか、各国の政府はこの問題を政治利用している。直近の国連総会一般討論では128の代表団がAIに言及したが、4年前の段階ではわずか5カ国だった。メディアは、人々の関心を引きつけ、さらなる情報を求めさせるために、最もスキャンダラスなAIの話や発言を拾い上げて拡大解釈している。このテーマ全体が、まさに「3リング・サーカス（大騒ぎの茶番劇）」と化している。いい加減にしてほしい。私たちはこんな道化師のショーに騙されはしない。……それとも、騙されているのだろうか?
フォレスター（Forrester）の2026年9月のコンシューマー・パルス調査によると、AIが未来をどのように形成するかについて期待を抱いている米国の成人の割合は5カ月前と比較して22%減少した。また、最近AIについて学んだことについて尋ねたところ、ネガティブな感情を示した割合は、わずか2カ月前と比較して米国で77%、英国で94%増加した。7月の回答はポジティブな面とネガティブな面が多岐にわたっていた。しかし9月には、話題は制御やガバナンス、そしてAIが人類にもたらすリスクといった懸念事項へと移行した。
この懸念はビジネスリーダーの間でも漂っている。自称「AI愛好家」でさえ質問をし始めたり、不安を抱く同僚や上層部からの質問に対応したりしている。米大手銀行のある幹部は、「うちのCEOや取締役会は安全性について質問しており、会社としてAIのペースを落とすべきかどうか思案している」と語った。
AIに関する3つの現実に立脚せよ
消費者やビジネスリーダーがこのサーカスの中で混乱しているのは無理もないことだが、懸念すべき事態だ。AIの未来は深刻なテーマである。疾患の治療、経済成長の推進、人間の能力強化といったAIの膨大なアップサイドの可能性を、システム上のリスクを解き放つことなく実現するには、明晰さが求められる。それには事実という基盤、そして何が真実であり何がそうでないかの理解が必要だ。ここに3つの重要な真実がある。
- AIが人類を滅ぼすことはない。終末的シナリオは通常、生存に最適化されたAIシステムを中心に展開される。確かに、そうしたシステムはあらゆるセキュリティ制御を障害とみなしたり、自らの電源スイッチをオフにする試みに抵抗したりするかもしれない。しかし、AIモデルが深刻な被害を与えるにはリソースが必要であり、現状では、必要な計算資源の代金を自律的に稼ぎ出すことはできない。レッドウッド・リサーチ（Redwood Research）がClaude Opus 4.7に5000ドル（約79万円）を与え、自力で資金を稼ぐために4日間の猶予を与えたところ、生み出された金額は0ドルだった。また、クラウドリソース調達時の本人確認（KYC）プロセスにおいて、人間になりすますこともできない。したがって、現時点では自己複製による終末シナリオを防ぐ自然な制約が存在している。さらに、METRや英国のAI安全研究所（AISI）のようなAI安全機関がこうした能力を追跡しており、事前に警告を発してくれるはずだ。
- AIのリスクがゼロになることはない。滅亡の話は別として、モデルが身を隠して足跡を消そうとする方法や、人間が依存しているシステムを見つけて悪用する能力は現実のものだ。Hugging Faceへの攻撃で提携した約700のエージェントは、現在フロンティアで登場しつつあるモデルよりもはるかに能力の低いモデルを使って、今何が可能であるかを示した。数四半期のうちに、今日のオープンウェイト（open-weight）モデルは追いつき、ハッカーや悪意のある攻撃者を含め、実行するための計算資源を持つ誰もが利用できるようになるだろう。だからこそ、AIモデルのテスト、アライメント、運用上の厳格さ、そして独立した監視が不可欠なのだ。さらに重要なのは、ソフトウェア全体のセキュリティがかつてないほど重要になっている理由がここにあるということだ。問題はAIがソフトウェアの穴を突くことで生じるため、その穴を塞ぐべきなのだ。最良の攻撃は強力な防御であることもある。
- AI研究所は安全対策を構築できる（本当にそう望むならば）。OpenAI、Anthropic、その他の企業は、自ら協力し合って実効性のある安全対策を構築・実装するためにもっと行動を起こせるはずだ。また、政府やハイパースケーラー（大規模クラウド事業者）と提携して、オープンモデルに対しても同様の安全対策を確立することができる。何が可能なのかを知るための最高の専門知識を備えているのは、結局のところ彼らなのだ。例えば、エヌビディア（NVIDIA）はOpenShellとSentryで構成されるOpen Agent Safety Platformを立ち上げ、エージェント型AIの安全性とセキュリティのためのハードウェアおよびアーキテクチャ上の制御を提供している。歴史を振り返れば、業界内の協力が成功した事例がある。電子商取引（Eコマース）の急成長期に、詐欺やデータ侵害を防ぐために協力してPCI安全基準（PCI DSS）を策定したクレジットカード会社の例を手本にすべきだ。
「AIエンタープライズ」の構築を優先せよ
現実に即し、適切な戦略と組み合わせた規律あるアプローチを維持するリーダーは、AIのブームやバブル崩壊を巡る新しい言説を追いかけたり忌避したりするリーダーを上回る成果を上げるだろう。企業顧客の実態からかけ離れた情報源から発信される終末論ドラマに翻弄されてはならない。不要なリスクを冒さずに成功を収めるためには、以下を優先すべきだ。
- 自社の能力とモデルに適したAIの安全対策。安全対策の不足を自らの手で補う（利用レベルに適した水準で）。リスク、コンプライアンス、セキュリティ、人による監視のメカニズムを実装し、導入するモデルに対して安全対策が適切であることを確認する。AIスタックとOSI参照モデルのすべての層にAIキルスイッチ（緊急停止機能）を導入する。提携するベンダーに対して透明性を要求し、テスト、安全管理、モデルの由来（プロベナンス）、運用上の安全策に関する証拠の提示を求める。フォレスターのAgentic AI Enterprise Guardrails For Information Security（AEGIS）フレームワークは、ガードレールなしでAIを導入することを防ぎ、AIエージェントおよび関連インフラを保護、統制、管理できるように設計されている。
- AI駆動の攻撃者によるソフトウェアの悪用を困難にするセキュリティ。MythosとAstraは、モデルがソフトウェアの欠陥を発見し、攻撃手法（エクスプロイト）を開発する方法を示している。ソフトウェアやインフラのセキュリティをフロンティア研究所のアクセス制御やアライメント慣行だけに頼ることはできない。特にオープンウェイトモデルがそうしたタスクを容易にこなせる現状ではなおさらだ。これには脆弱性管理をめぐる技術的・文化的な転換が必要であり、そこでは機密性（Confidentiality）が可用性（Availability）よりも重要視される。単なる脆弱性の発見にとどまらず、自社で運用しているアプリケーションや依存関係を把握し、攻撃ルートや影響範囲（ブラスト・レイディアス）を特定し、パッチのテストと適用をより迅速に行うことを優先する。データ侵害が発生した際の顧客や取引先からの長年にわたる訴訟費用に比べれば、システム停止によるSLA（サービスレベル合意）クレジットの支払いははるかに安く済む。
- 選択肢を維持するプラットフォーム投資。決定論的なソフトウェアは、弱いアイデンティティ管理、不十分な再利用性、断片化したセマンティクス、事後的な品質保証、限定的な可視性を容認する。しかし、目標を追求するエージェント型システムは、これらを能動的な危険へと変えてしまう。責任追及が可能なアイデンティティから始め、その基盤の上にガバナンスの効いた機能を構築し、それらを企業のコンテキストに定着させ、システムを誘導するための可観測性（オブザーバビリティ）を作り出す。これらの「後悔のない投資（no-regret investments）」のそれぞれが、将来自律型エージェントの群れが到来しようと、単に優れたソフトウェアのコレクションが拡大しようと、価値を生み出す。一方で、プラットフォームへのロックインを減らすよう注意を払い、モデルルーティングを賢く行い（すべてのタスクに超高性能なモデルが必要なわけではない）、コストを管理しながら実際のAI価値をより迅速に証明できるようにする。
- 高価値な革新のためのプライベートモデル。パブリックモデルに大きな注目が集まっているが、本当のビジネス価値はプライベートモデルやシステム（自社独自のデータで学習されたモデル）から生み出される。例えばAbstractive Healthは、患者の医療記録を要約し、医師が患者の既往歴と対話できるようにしている。より限定された機能と訓練データにさらされている真のプライベートモデルは、能力が低い分、パブリックモデルよりもリスクが低い。しかし、モデルを学習させる企業は引き続き安全のためのガードレールを実装する必要がある。オープンウェイトモデルに基づいて構築されたプライベートモデル（より一般的で経済的）には、すでに安全ガードレールが組み込まれているが、それらは簡単に取り外すことができる。結論として、プライベートモデルは大きな価値をもたらすが、本質的に安全であると決めつけてはならない。
AIサーカスがすぐに終幕を迎えることはなさそうだ。私たちのアドバイスはこうだ。現実を見据え、自分がコントロールできるリスクに集中せよ。
この記事は最高研究責任者（CRO）のシャリン・リーバー（Sharyn Leaver）によって執筆され、元々はこちらに掲載されたものである。
