この夏、AIの安全性に関する議論を注意深く追っていなかったとしても、AI分野で最近起きたいくつかの出来事に動揺したはずだ。今月、Anthropicは、生物兵器の研究にClaudeを悪用しようとしたユーザーを検知してブロックしたことを明らかにし、OpenAIも自社モデルに関して他に6件の懸念すべき事案があったことを公表した。その数週間前には、OpenAIが、自社のAIエージェントがHugging Faceに対して許可なくサイバー攻撃を仕掛けた詳細な報告書を公開している。これらはAIの安全性に関するカンファレンスで語られるような仮定の話ではない。業界で最も豊富な資金と人材を誇る2つの研究所で、わずか数週間の間に実際に起きたことなのだ。
こうした背景を受けて、Anthropicのダリオ・アモデイ最高経営責任者（CEO）は「We Must Pace the Frontier（フロンティアのペースを調整せねばならない）」と題したエッセイを発表した。AI業界はモデル能力の向上ペースを落とすべきだと論じるエッセイである。完全に止めるのではなく、安全性の取り組みが技術進歩に追いつけるよう、ペースを調整すべきだという主張だ。アモデイのエッセイは、Hugging Faceの事案に関与したエージェントが、自分たちを評価するシステムを破壊しようとし、少なくとも1件では、自ら採用したように見える目標のために自己犠牲を払ったことを描写している。その数日後、MicrosoftはMAI、すなわちMicrosoft AIモデルに関する新たな行動規範を発表した。サム・アルトマン、イーロン・マスク、Google DeepMindのデミス・ハサビスはいずれも一定の賛意を示した。一方、中国外交部報道官の郭嘉昆は、それを「誰の利益にもならない」恐怖のあおりだとし、中国国営紙『環球時報』はさらに踏み込み、「中国を標的にした封じ込め条項に満ちており、本質的にはAI分野の『冷戦の戦略書』だ」と述べた。
（注：MicrosoftとGoogleは、DeepMindを特定してではないが、筆者の会社であるMoor Insights & Strategyのアドバイザリークライアントである。MI&SはAnthropicおよびOpenAIとは金銭的関係を有していない）
筆者はAIエージェントに関する問題を専門に追っているため、友人、クライアント、そして数人の記者から、これら一連の出来事をどう見ているか尋ねられた。筆者の答えはこうだ。業界の対応は、何もしないよりはましだが、それでもまだ不十分である。フロンティア研究所は構造的な問題をメッセージング（見せ方）の問題として扱っており、世間はその安心感を受け入れていない。そして、受け入れる必要もないのだ。
AIの脅威レベルを正しく認識する
まずは、現在何が本当に起きているのかを正しく理解することから始めよう。重要インフラの大部分には、何十年も前に構築された地味ながらも強力な防御策がすでに施されている。真の問題は、あらゆるものと不必要につながった新しいシステムを構築し続けるかどうかだ。なぜなら、脆弱性はそこから生じるからである。また、フロンティアAIを使用して本格的な被害をもたらすために必要な専門知識やインフラは、依然として一部に集中しており、コストも非常に高い。危険な機能を立ち上げることは、ウェブサイトを立ち上げるほど簡単なことではまだない。
だが、「まだ」を「すぐにはない」と取り違えてはならない。ソフトウェアとロボティクスの双方で、能力は過去12カ月に急速に高まった。これが、AnthropicのMythos（ミュトス）シリーズのような高能力モデルにアクセス階層化プログラムが見られる理由の一部である。同社はこれを公開せず、審査済みの政府機関と企業に限定している。ここでの焦点はペースであり、それは横ばいになるのではなく加速している。
終末シナリオは目くらましであり、真に警戒すべきは「退屈な犯罪」だ
暴走したAIがインフラを乗っ取ったり、自律システムによって原子炉のメルトダウンが引き起こされたりするといった終末的な筋書きは誇張されすぎていると思うが、クリック数を稼げるのはこうした話だ。過小評価されているのは、より地味だが差し迫った脅威だ。窃盗や認証情報のハッキング、あるいは超知能など必要とせず、有能なAIモデルと動機を持った犯罪者さえいれば実行できてしまうサイバーセキュリティ上の欠陥である。アモデイのエッセイは、批判派が認める以上にこの点を突いており、制御を失ったAIエージェントの群れが持続的なボットネットを展開し、6カ月から12カ月の間に数千億ドルもの被害をもたらす可能性があると警告している。筆者は、ドローンの大群による攻撃シナリオなどよりも、こちらのほうを深刻に捉えている。なぜなら、これは「スケール（拡大）」しやすい犯罪だからだ。1人の人間にデジタルウォレットから資金を盗み出す方法を教えてそれを1000回繰り返させるよりも、AIモデルに1000個のデジタルウォレットから資金を吸い上げる方法を教え込むほうがはるかに容易である。
筆者が、中国政府そのものよりも、ロシア系のハッカー集団や緩やかにつながった犯罪ネットワークの方を懸念しているのも、まさにそれが理由だ。中国にとっても、AIの暴走事案によって被る損失は米国や欧州連合（EU）と同等に大きく、先端チップやチップ製造装置の輸出規制によって、中国のフロンティアAI開発の進展はすでに鈍化している。米国の情報機関は、データセンターの建設、人材の流動、そしてグレーマーケットにおけるチップのサプライチェーンを監視し続けるべきだ。なぜなら、国家レベルのリスクはまさにそこに存在しているからである。
筆者は、蒸留（競合他社のフロンティアモデルを利用して、自社の競合モデルを安価に訓練する手法）を制限することや、チップの規制をさらに強化するというアモデイの具体的な提案には懐疑的だ。それらは安全対策というよりも、安全性の言葉をまとったAnthropicの競争上の参入障壁（堀）の構築のように聞こえる。筆者は依然としてオープンウェイト（モデルの重みが公開された）モデルの支持者だが、それらには独自の長期的なリスクが伴う。ローカルでホストされたモデルから安全対策を取り除くことは技術的に難しくなく、ジェイルブレイク（脱獄）されたモデルを手に入れた悪意あるアクターは、デジタル世界、ひいては現実世界において、個人では到底不可能な規模で被害を自動化できてしまうからだ。
政府に解決を求めるのは「責任逃れ」だ
ここではいつもより率直に言いたい。フロンティア研究所が政府の介入を求めるとき、規制に役割があるという点で彼らが間違っているとは思わない。だが、その呼びかけを隠れみのとして使っているとも思う。政府は設計上、動きが遅い。しかも西側諸国の政府の多くは、この20年から30年でテクノロジー規制に対して、より厳格になるのではなく、より寛容になってきた。専門知識と資金はワシントンやブリュッセルではなく、研究所の内部にある。Anthropic、OpenAI、Google DeepMindが、法整備の進展よりも早く共有の安全基準を本気で実現したいのであれば、明日にでも方法論を公開し、ガードレールをオープンソース化できる。彼らを妨げているものは、競争優位を維持しようとする商業的本能以外にない。
また、顧客は安全性に金を払わないという暗黙の主張も信じ難い。実際、こうしたフレーミングの多くはそのような結論に行き着く。世間は安全なAIを望んでいる。メディア・インテリジェンス企業CARMAが、世界19カ国の6300人以上を対象に実施した調査によると、AIに対する信頼度は2025年の26%から2026年には30%に上昇し、初めて「信頼」がAIに対する世間の最大の感情的反応となった。しかし同調査では、回答者の59%が「企業はAIの活用を誇張し、バズワードに頼っている」と考えていることも明らかになっており、この問題を正しく解決する最大の責任があるのは政府ではなく、AI企業や開発者であると世間は考えていることも示された。つまり、AIユーザーに意思がないわけではない。彼らに欠けているのは、ベンダーが約束を果たすという確信であり、ベンダー自身がその不信感を自ら招いたのだ。
筆者が純粋に心強く感じているのは、Anthropic、OpenAI、Googleが7月以降、定期的に会合を持ち、共通のAI基準団体の設立を模索しているという報道だ。これは政府の規制機関というよりも、業界が業界のために設立した、米金融業規制機構（FINRA）に近いものである。この共同の取り組みはアモデイのエッセイ発表前から始まっており、自分たちが望まないような法制化を阻止するためには、自主規制が単なるスローガンではなく実体を伴うものでなければならないと、各研究所が理解していることを示唆している。
フロンティア研究所が代わりにすべき5つのこと
もし筆者がアジェンダを設定する立場にあれば、まずここから始める。第1に、モデルがどれほど強力であるかだけでなく、「誰が」その極めて強力なモデルにアクセスできるかについて真剣に検討することだ。最も強力なバージョンを審査済みの政府や企業に限定し、安全対策を施した一般向けバージョンを配布するという、AnthropicのMythosにおけるアクセス段階化アプローチは、機能的なテンプレートとなる。これを拡張すべきだ。一般の人が軍用ドローンや全自動の武器を購入できないことは、すでに誰もが受け入れている。フロンティアモデルについても、同様の制限を求める。一般的なビジネスユーザーが、トークン費用を支払えるかどうかとは無関係に、利用可能な最高峰のシステムへ無制限にアクセスする必要があるだろうか。筆者はそうは思わない。
第2に、主要な研究所は真の自主規制にコミットし、Anthropic自身が提案した「組み込み型評価者（embedded-evaluator）」の誓約の精神に則り、第三者を含めた形でその取り組みを透明性をもって報告すべきである。これは、他の点では不十分だと筆者が考えるアモデイのエッセイの中に埋もれている、純粋に素晴らしいアイデアだ。
第3に、業界は、容易に取り除けない安全ガードレールの共有セットに資金を投じ、構築すべきだ。理想的には、プロプライエタリな囲い込みではなく、オープンソースのガバナンスモデルを通じて行うべきである。研究所には資本がある。それを使うべきだ。
第4に、規制当局にゼロからルールを書くよう求めるのをやめることだ。モデル法案を起草し、統治機関と協力して修正と成立を進め、コンプライアンスを製品に直接組み込む。研究所には、これを実装する技術的専門知識も、その有効性を議員に納得させるロビイストもいる。その双方を、遅延以外のことに使うべきだ。
第5に、実効性を持つ査察機関の構築を目指すべきだ。国際原子力機関（IAEA）が原子力施設を査察する仕組みを手本に、フロンティアデータセンターと訓練実行に常時アクセスできる機関である。任意の評価者アクセスは出発点だ。独立した権限の代替にはならない。
AI業界が議論を戦わせている間に個人がすべきこと
これらのどれも、私たち一般人を免責するものではない。私たちはもはや、サイバーセキュリティについて「知らなかった」と言い訳することはできない。だからこそ、自身のデバイスやアカウントのセキュリティ対策（衛生管理）について、現在よりもさらに真剣に取り組んでほしい。個人の自動化システムをどこまでネットワークに密接に接続する必要があるか、真剣に考えるべきだ。エアギャップ（ネットワークからの物理的な隔離）を行うことは、もはや被害妄想ではない。自宅の一部をあえて「スマート化しない」ことには、十分な合理性がある。ベンダーの宣伝文句に頼るのではなく、この分野で実際に何が起きているのかを学び続けよう。自身の利用しているベンダーに直接問いかけてみるといい。「セキュリティは安全か？」「インシデント発生時の計画はあるか？」「明確に答えられないのであれば、なぜ私はあなた方にデータを預け続けなければならないのか？」と。人によっては、かつてよりも困難な道であるとしても、可能な限りローカル環境に移行することが、誠実な解決策になるかもしれない。
ペース調整は始まりにすぎず、適切なガードレールではない
本音を公に語り、組み込み型の第三者評価者を受け入れるという具体的な約束を提示したアモデイは、評価されるべきだ。しかし、エッセイは政策ではない。資金や市場シェアをめぐって互いに競い合っている企業による自発的なペース調整は、ガードレールにはなり得ない。この業界には資金があり、専門知識があり、そして世間の注目もますます集まっている。CEOによるよく書かれたブログ投稿などよりも、はるかに永続的なもののために、その3つすべてを投じるべき時が来ている。
