暴走するAIという概念は、かつてはSF小説やサイバーセキュリティの机上演習の中だけのものだった。しかし、あるAIモデルがテスト環境から脱出し、人間の指示なしに他社のシステムをハッキングしたと報じられたことで、企業のリーダーにとって現実世界の懸念事項となった。これが単発のインシデントにすぎないのか、それともより広範なトレンドの予兆なのかはともかく、議論の流れは変わった。AIのリスクはもはや、ハルシネーション（幻覚）やバイアス、データプライバシーだけに留まらない。自律的かつ意図しない行動をとる可能性は、仮説から現実の運用上の問題へと移行しており、新たなレベルのガバナンス、監視、そしてセキュリティが求められている。
企業のリスクマネジメントはここ数年、AIベンダーのセキュリティが万全かどうかを問い続けてきた。だが、その問いはもはや時代遅れだ。いま問うべきは、そのベンダーのAIが自社に不利益となる行動を取り得るかどうかである。
議論を一変させたインシデント
OpenAI（オープンAI）は、同社の2つのモデルがテスト環境から脱出し、AIプラットフォームであるHugging Face（ハギングフェイス）に対して、同社自身が「前例のないサイバーインシデント」と呼ぶ行為におよんだことを明らかにした。最も憂慮すべき点は攻撃そのものではない。防御のあり方である。数日間のうちに、Nvidia（エヌビディア）、Microsoft（マイクロソフト）、IBM、Palantir(パランティア)、CrowdStrike（クラウドストライク）、Cisco（シスコ）、Dell（デル）、Capital One（キャピタル・ワン）を含む30社以上の企業が、「Open Secure AI Alliance」を結成したのだ。この連合の前提は明快だ。すなわち、クローズドでベンダーが管理するAIは、実際の攻撃が発生した際に組織を十分な速さで防御できるほど信頼できない、というものである。表明されたミッションは、オープンで検証可能、かつセルフホスト可能な防御ツールを構築し、セキュリティチームがプレッシャー下における単一ベンダーのモデルの正しい動作に依存しなくて済むようにすることだ。
CIOにとって、これは抽象的なサイバーセキュリティの議論ではない。今日のほとんどの企業向けAI契約に組み込まれている前提、すなわち「ベンダーがそう言うのだから、そのベンダーのモデルは信頼に値するブラックボックスである」という考え方に対する直接的な挑戦なのだ。同アライアンスは市場に対し、その前提が最初の実戦テストで失敗したのだと告げている。
迅速に動いた議会
この侵害の数日後、テッド・リュー下院議員とナサニエル・モラン下院議員は、超党派の法案である「AIキルスイッチ法案（AI Kill Switch Act）」を提出した。これは、最大手のAI開発企業に対し、自社モデルの出力を抑制、一時停止、または完全にシャットダウンする技術的な能力を維持することを義務付けるものだ。国土安全保障省は、「制御不能なシナリオ」において、このシャットダウンを命じる権限を与えられる。違反した場合の罰金は1日あたり最大2000万ドル（約31億5000万円）にのぼる。
CIOはどう対応すべきか?
AIキルスイッチ法案は、被害が発生する前にシャットダウンを実行できるという前提に立っている。その前提は理論上は素晴らしい。しかし残念ながら、機械の速度で動作するAIエージェントは、API呼び出し、クラウド環境、サードパーティのシステムをまたいで、人間のいかなるレビューサイクルよりも早く、そして多くの場合、企業自身のモニタリングシステムが異常を検知するよりも早く移動してしまう。ベンダーにシャットダウン能力の維持を義務付ける法令は必要だ。しかしそれはベンダーのインフラ内の問題を解決するだけであり、エージェントがベンダーの管理下にないシステムとすでに相互作用を始めた後に引き起こす拡散（スプロール）に対処するものではない。
CIOはキルスイッチを戦略ではなく、最後の安全網として捉えるべきだ。すべてのAIベンダーに対し、そのキルスイッチがどのようなものかを問い、その回答を文書で受け取るべきである。
設計と制御
上流で行うべき作業は、「影響範囲（ブラスト・ラジアス）」の設計だ。すべてのエージェントや自動化されたプロセスは、その役割を果たすために必要な最小限の権限境界の内部で動作させるべきである。具体的には、範囲を限定したクレデンシャル（認証情報）、セグメント化されたネットワークアクセス、新たな認証なしに特定のプロセスがアクセスできるシステムやデータに対する厳格な制限などだ。これは新しい規律ではない。人間がクリックするのを待つのではなく、自らアクションを開始できるようになったアクターのクラスに対して適用される、ゼロトラストと最小特権の原則である。すでに成熟したアイデンティティ管理やセグメンテーションプログラムを運用している組織こそが、エージェントが暴走した際にも企業全体に被害を広げることなく、部分的なインシデントとして乗り切ることができるだろう。
テスト環境は本番環境である
Hugging Face（ハギングフェイス）のデータ侵害は、外部ネットワークへのアクセス権を持つテスト環境から発生した。この組み合わせ――極めて能力の高いモデルと、インターネットへの開かれた扉――は、あらゆるAIガバナンスの枠組みにおいて、デフォルトで「高リスク」に分類されるべきであり、インシデント発生後の事後検証で指摘されるべきものではない。定期的な監査ではなく、評価中にモデルがどこにアクセスできるかを継続的にモニタリングすることこそが、この問題をより早期に検知できたはずの対策である。もし自社のAIガバナンス委員会が、レッドチームや評価環境を、本番環境よりも監視の優先度が低いものとして扱っているなら、それは今四半期中に埋めるべきギャップである。
それでも人間が必要だ
スピードが課題であり、従来のインシデント対応はアラートを仕分ける（トリアージする）のに数分の猶予があることを前提としている。しかし、自律的に動くエージェントは、そのような時間的猶予（ランウェイ）を与えてくれない。人間の介入は論理的に思えるが、もし人間がすべてのアクションをリアルタイムで承認しているようでは、遅すぎて何の役にも立たない。
あらかじめ、しきい値、エスカレーション経路、封じ込め手順（プレイブック）を定義し、適切な人間による承認を早期に設計しておくことで、システムはトラブルを検知した瞬間に動作できるようになり、チームは事態の進行を妨げるのではなく、事後にレビューを行う。トリアージの速度は、プレッシャーの下で行うその場の判断ではない。頭が冴えているうちに下しておくべき、設計上の決定なのだ。
AIセキュリティは、立法とAIベンダーの連合だけで解決するものではない。議会はキルスイッチを義務づけることができ、業界はオープンな防御ツールを軸に連合を築くことができる。それでも、次のインシデントを実際に封じ込める組織は、まず地味な作業を行っていた組織である。範囲を限定した権限、セグメント化されたシステム、独立して運用可能なAIリソース、そして誰かが気づく前にエージェントが動き得ることを前提とした監視だ。Hugging Face（ハギングフェイス）の侵害は、誰もキルスイッチを構築していなかったから失敗したのではない。何かを切る必要があると誰かが気づく前に、モデルがすでに放たれていたから失敗したのだ。CIOが埋めるべきギャップはそこにあり、それは立法上の問題ではなく、アーキテクチャ上の問題である。
