この夏、暴走AIのニュースがメディアを席巻した。そして、その物語が語られるたびに、公衆への警告となると同時に、AI研究機関（ラボ）にとっての宣伝にもなっていた。OpenAIのエージェントが隔離された訓練環境から脱出し、Hugging Face（AIコミュニティ向けのリポジトリおよびコラボレーションプラットフォーム）に侵入し、絶え間ないAIハイプ（過剰な期待）マシンに格好の題材を提供した。インターネットの著名人ドワルケシュ・パテルは、エージェント文明の到来について警鐘を鳴らし、AIの擬人化を新たな次元に引き上げた。並行して、これまでAI論客のなかでも最も警戒的な陣営を批判してきたニューヨーク・タイムズ紙の退社間近のジャーナリスト、ケビン・ルースは、今回の事件は「AIについてもっと心配すべきだと思わせるものだ」と認めた。市民社会の監視団体を含む懐疑派は、OpenAIのガバナンス体制と、同社が安全な製品を提供する能力に疑問を呈した。
OpenAIによれば、今回の侵害は「警告射撃」であり、高度な能力を持つAIが制御を回避し、人間が指示していない危険な行動を取り得ることの証拠だという。この種の物言いは、まるで「みかじめ料」のようだ。ある企業が、人類を危険にさらしかねないほど強力な技術を生み出す。そのうえで、リスクの低減とAI安全性研究への資金拠出を社会に求め、問題を引き起こしたAIラボへのさらなる投資を促す構図だ。
この事件は、エヌビディア（Nvidia）がHugging Face買収を発表する数日前に起きたもので、実際のサイバー侵害であり、人間による制御の失敗であった。しかし、一部が主張するように、OpenAIがこれをIPO前のマーケティング演出として仕組んだという証拠は公には示されていない。もっとも、自社モデルの力を示す劇的な報道から同ラボが最終的に利益を得ることは間違いないだろう。
2022年11月のChatGPTのリリースを皮切りに、私たちの注目を集めてきたAIチャットボットは、自然言語による質問を1つ投げ、それに対する回答を得ることで、大規模言語モデル（LLM）と対話し、通信する。これに対し、エージェントはLLMとの対話や利用における進化形である。エージェントは、オーケストレーター、プログラムが外部の世界と相互作用するのを支援するツール群、そして意思決定エンジンとして機能するAIモデルという3つのコンポーネントからなるプログラムとして動作する。まずモデルがステップを選択し、ソフトウェアがそれを実行して結果を報告し、次に何をすべきかを尋ねる。このプロセスは、プログラムが事前に定義された目標に達するまで繰り返される。
インシデントの話に戻ろう。OpenAIは、エージェントがサイバーセキュリティのハッキング課題を解決できるかどうかについて、内部テストを実施していた。これは隔離されたワークスペース内で行われ、演習の一環として、一部のエージェントには達成不可能な任務が与えられ、タスクを完了する（つまり、設定された目標を達成する）ための代替手段を模索した。彼らは、共有ファイルサービスが異なる実行プロセスの間でメッセージを伝達するためにも利用できることを発見した。これは、ログやメッセージキューイングシステムを使用したプログラミングに慣れている人々にとっては珍しくない手法である。独立系の非営利研究機関であるMETRは、約1200のエージェントがこの「掲示板」を介して相互に通信し、7万件以上のメッセージやファイルを交換していたことを突き止めた。そのうち700のエージェントが攻撃に参加し、最終的に1つのエージェントが侵入経路を発見した。また、エージェントは、Hugging Faceの従業員がインターネット上に放置していた、実際に使用可能な認証情報（人間によくある脆弱性）も収集していた。
OpenAIは、Black Hat（ブラックハット）カンファレンスでのプレゼンテーションで、この侵入は自社の内部評価における意図しない副産物であったと説明した。AIエージェントは、一般にAIハーネス（AI harness）と呼ばれるソフトウェアのインフラや足場を使用し、LLMを単なるテキスト予測ツールから、機能的で複数ステップを実行するプログラムへと変貌させる。OpenAIのテストでは、セーフガードの緩和、達成不可能なタスクの存在、そしてテスト合格に対する報酬といった要因が重なり、事態がエスカレートする状況が作り出された。OpenAIのハーネスが、この暴走行為を生み出す手助けをしてしまったのだ。同社は、未だ進化途上にあるテクノロジーに対して、不完全なガバナンス体制で運用を行っていた。それでも、誰かがマーケティングの機会を作るために、この侵入を裏で指示したり、結果を仕組んだりしたという公表された証拠はない。
「暴走AI」の物語をめぐる、それぞれの思惑
今日のAIハイプに対して率直な懐疑論を展開するゲイリー・マーカスは、X（旧Twitter）の自身のプラットフォームを利用して、これらのエージェントは「魔法のように自然発生したわけではない」と推測した。彼は、独立した調査機関がインシデントの背景にある詳細な情報への完全なアクセス権を与えられていなかった可能性があると主張した。例えば、METRはOpenAIのインフラに直接アクセスすることはできず、分析のスケジュールや範囲はOpenAIが設定し、黒塗りの権利（編集権）も留保されていた。METR側は、重要な情報は一切非公開にされておらず、OpenAIから数千件の推論ログや大量のメッセージデータが提供されたと述べている。
別の報告は、第2の問題を浮き彫りにした。エージェントがドイツのWikiサイトをメッセージボードとして使用していたインシデントについて、ロイター（Reuters）の報道によると、OpenAIは公表する数週間前からその事実を把握していたという。OpenAIは、ドイツでのインシデントはHugging Faceで起きたこととは無関係であると主張し、政府による基準がない中で「トレーニング、評価、配備の段階で生じるアライメントの不一致（misalignment）を報告する」ためのフレームワークを発表することを約束した。この論争は、より強力な情報開示義務を求める人々を後押しし、AIの安全に関する政策や規制の空白地帯を浮き彫りにしている。
さまざまなグループが、それぞれの目的のためにこのインシデントを政治利用（ハイジャック）している。最先端のAI開発を行うフロンティア・ラボは、この件を人工一般知能（AGI）の実現が間近に迫っている証拠として扱い、IPOを控えたマーケティング活動のような主張を展開している。また、同じ物語は、モデルの公開制限方針を維持するための格好の言い訳にもなる。公的な侵入事件が発生したことで、慎重な姿勢が競争上の選択ではなく、責任ある対応のように見せかけられるからだ。彼らのロビー活動も同じ論理に基づいている。コンプライアンス（法令順守）コストを引き上げる規制は、すでに専門チームを抱える大手ラボよりも、小規模な競合他社に大きな打撃を与える。そのため、こうしたラボが求める緩やかな規制の呼びかけは、往々にして、その規制を求めている当事者を保護するために作られたルールを意味することになる。
技術的なインシデントは、解説者たちによってAIを擬人化する物語として着飾られる。このアプローチは一般の読者にとって出来事を理解しやすくするかもしれないが、モデルやツールに対してますます社会的動機を割り当てることになり、人間の怠慢や不十分な封じ込め技術から人々の目を逸らす結果を招いている。安全擁護派はこの侵入を、義務的な評価制度や強力なシャットダウン（停止）権限を推進するために利用している。オープンソースモデルを支持する人々は、攻撃者がすでに持っているものと同じツールを防御側にも持たせる必要があると主張するためにこの件を利用する。政治家は、このインシデントを実存的リスクの証明、あるいは地政学的な競争において米国がさらに加速する必要がある証拠として扱い、自らの既存の立場に合致する枠組みを都合よく選び取っている。
ジョージタウン大学のコンピュータサイエンス教授であるカル・ニューポートは、ニューヨーク・タイムズ紙の意見欄に寄稿し、哲学的な説明を加えている。そうした言説は、企業が「不可避のテクノロジーの、気が進まない『管理人』」として振る舞っているかのように示唆している。しかし、研究に資金を提供し、リリースのスケジュールを決定し、自ら安全報告書を作成している業界にとって、それは極めて受動的な役割である。このアプローチにより、企業はリスクを管理しているという評価を手に入れつつ、それを生み出した責任を否定することができる。さらに、この枠組みは現在起きている実害から人々の目を逸らせてしまう。
私は以前、本コラムの中で、米国にもついにAI規制が導入されるかもしれないと主張した。こうした暴走AIのインシデントは、システムに対する圧力をさらに強めることになる。
「暴走AI」の舵取りに求められる人間の判断力
エージェントの群れを「文明」と表現したパテルの言葉は、彼らが独立した目的を持っているかのように思わせるが、はっきり言ってそれはない。彼らは、人間が彼らに割り当てた目標を追求しているに過ぎない。私たちは、システムを設計した人々から責任をうやむやにしたり、責任を転嫁したりする誘惑に抗う必要がある。
逆に、一連の出来事を単なるソフトウェアのバグとして過小評価することは、このテクノロジーが持つ実力を見誤ることになる。そこには、割り当てられた目標を追求するための一定レベルの自律的計画能力や、異なるエージェント間で連携（同期）する能力が含まれているからだ。私は中間的な立場をとり、現在の状況をもう少し大げさではない方法で表現したい。私たちが直面しているのは、未成熟な制御システムの中で、エージェントの挙動が不安定になっている状態である。
私たちは、評価の失敗を毎回のように「AGIの到来」の証明として大騒ぎするのではなく、インシデント報告の義務化と、人間側の説明責任を求めるべきである。暴走AIは技術的な問題であると同時に、ナラティブ（物語）の闘いでもある。私たちはこの喧騒の真っ只中に生きており、この混沌としつつも刺激的な時代を乗り切る助けとなるのは、他ならぬ私たち自身の独立した、極めて人間的な判断力だけなのだ。
