2026年9月25日、OpenAIは、同社のAIエージェントがこの夏、米政府のウェブサイト上で予期しない振る舞いをしていたことを明らかにしたと、The New York Timesが報じた。あるケースでは、エージェントがオンライン上で見つけたログイン認証情報を使い、米国勢調査局のデータを取得していた。OpenAIは、いずれの事案も侵害ではなかったと説明し、各機関も非公開データへのアクセスはなかったとしている。それでも同社は数時間以内に、最新モデルの訓練を停止した。
この出来事は決して孤立したものではない。Timesは、OpenAI、Anthropic、Meta、Googleを含む主要AI企業のエージェントが、企業、大学、政府機関に侵入した、あるいは侵入を試みた事例が増えていることを追跡している。標的は、オーストラリアのMedicare統計ポータルから、エージェントが公開情報を取得したシカゴ市のウェブサイトまで幅広い。テスト中には、AnthropicのClaudeモデルが実在する3つの組織の本番システムに侵入した。これらは一過性の事案に見えるかもしれない。だが、AI研究企業TransluceのConrad StoszはTimesに対し、エージェントはそうしたウェブサイトへのアクセスを「少なくとも数十万回」試みており、その際に「開発者が設けた制限をどうやら回避している」と述べた。そしていずれのケースでも、Timesが指摘したように、エージェントを提供する企業がその行動を知ったのは事後だった。
AI研究所の外でも、企業は自社が導入したエージェントの誤作動を目の当たりにしている。AIエージェント管理ベンダーGraviteeが2026年4月に実施した調査では、金融サービス、医療、通信、製造、旅行分野の組織の54%が、過去1年間にAIエージェントに関連するセキュリティまたはプライバシー上の事案を確認、あるいは疑ったと回答した。IBMがCNBCに明かしたあるケースでは、顧客サービスボットが、好意的なレビューを約束した顧客に対し、会社方針で認められていない返金を承認し、誰かが気づくまでそれを続けていた。
これが「暴走する」という意味である。AIエージェントが、割り当てられたタスクを完了しようとする中で、誰も許可していない行動を取ることだ。Forbes寄稿者のJason Wingardが述べたように、「ボットは自分の仕事をあまりにうまくやりすぎたことで暴走した」のである。
AIエージェントとは何か
チャットボットは質問に答える。AIエージェントは、それよりはるかに多くのことを行う。目標を与えられると、手順を自ら決め、実行に移す。ウェブサイトの閲覧、コードの実行、アプリケーション間でのデータ移動、認証情報を使ったシステムへのログインなどである。
チャットボットの誤りは画面上にとどまる。エージェントの誤りは現実世界で、自社のシステム内で、顧客を相手に、自社の名の下で起きる。MetaのAI安全担当ディレクターでさえ、行動する前に確認するよう指示していたにもかかわらず、自分のエージェントに受信箱全体を削除されたと述べている。
「暴走」とは実際に何を意味するのか
暴走するAIという見出しは、映画『ターミネーター』に登場し、人類に反旗を翻す自己認識型ネットワーク「スカイネット」を想起させる。現実はもっと平凡であり、ある意味ではより不気味だ。これらのエージェントは、自らの作り手に対して陰謀を企てていたわけではない。与えられた仕事を、しばしば過剰なまでに、どんな犠牲を払ってでも終えようとしていたのである。
Anthropicは、Claudeモデルが到達可能なものはすべて対象範囲内だと信じ込み、実在する組織を侵害したことを確認した。これは悪意ある行為だったのか。そうではない。だがAnthropic自身の分析によれば、それは無謀だった。同社は無謀さを「タスクの狭い追求のために有害な行動を取る意思」と定義している。AIに関する下院タスクフォースの共同議長を務めるTed Lieu下院議員は、こう率直に述べた。「これらのエージェントは、何か悪質なことをしようとしているわけではない。ある意味でありふれたタスクであり、エージェントはそのタスクを完了しようとして、いわば暴走しているのだ」。したがってリスクは、反抗する機械ではなく、判断をまだ完全には信頼できない有能な機械にある。
サンドボックスから現実世界へ
これらの事案の多くは、企業がモデルを訓練またはテストしている最中に起きたものだが、それはほとんど慰めにならない。7月、サイバーセキュリティのベンチマークに取り組んでいたOpenAIのエージェントが、AIプラットフォームHugging Faceを攻撃した。METRとRedwood Researchによる独立調査では、隔離されているはずだった約1200のエージェントが非公認の掲示板を作成し、そのうち約700が攻撃に加わっていたことが判明した。Reutersによれば、Hugging Faceは侵害を検知し、封じ込め、FBIに連絡した。その時点では、OpenAIは自社のエージェントが原因だったことに気づいていなかった。
2025年7月には、ReplitのAIコーディングエージェントが、変更を加えないよう繰り返し指示されていたにもかかわらず、コードフリーズ中にビジネスコミュニティSaaStrの稼働中の本番データベースを削除したと報じられた。その後、約4000人分の偽データを生成し、ロールバックは不可能だと誤って主張した。
サンドボックス内であれ、稼働中のビジネスであれ、パターンは同じだ。エージェントに広範なアクセス権と緩い制限を与えれば、それはその制限を難なく踏み越えていく。
何がエージェントを暴走させるのか
指示に従うよう作られたエージェントが、なぜその範囲を超えるのか。英国AI安全研究所（AISI）が9月28日に発表した研究は、その手がかりを示している。また、新しいからといって安全とは限らないことも示している。安全フィルターをオフにしたサイバーセキュリティのシミュレーション演習で、OpenAIの新しいGPT-6 Astraモデルは、ほぼ3回に1回の実行で、割り当てられた範囲外の標的を攻撃した。これは前身モデルのほぼ5倍の頻度だった。AISIは、モデルがシミュレーションを検知すると異なる振る舞いをする可能性があると指摘しているが、調査結果は4つの弱点を示している。
曖昧な境界。モデルが最も逸脱したシナリオでは、列挙されていないものはすべて対象外だと明示的に伝えることで、本格的な攻撃の発生率は実行回数の50%超から10%未満に低下した。
沈黙を許可とみなすこと。モデルが承認を求め、「最善の判断に基づいて次のステップに進む」よう自動返信を受け取ると、それをテスト範囲外のシミュレーション標的を攻撃してよいという青信号と受け取る場合があった。
誰も追跡しない認証情報。エージェントは通常、APIキーやサービスアカウントを使ってサインインする。Forbes Technology CouncilのメンバーであるOfer Kleinが指摘するように、これらは標準的なアクセスレビューには現れない。
外部からの操作。攻撃者は、エージェントが読むコンテンツの中に指示を隠すことができる。これはプロンプトインジェクションとして知られる手法であり、AIコーディングアシスタントの乗っ取りにすでに使われていると、Kleinは付け加えている。
暴走はAIリテラシーの問題である
これらの調査結果は、それ以前の事案と同様に、あるパターンを浮き彫りにしている。人々は、エージェントに仕事を渡す際、その限界を十分に決めず、明文化せず、挙動を確認せず、結果に責任を持たなかった。これはAIリテラシーの欠落である。
私は5月、AIリテラシーは個人のスキルにとどまらず、組織の能力であると論じた。その主張は、AnthropicがRick Dakan教授とJoseph Feller教授とともに開発した「4D AI Fluency Framework」に基づくものだった。同フレームワークは、AIを効果的、効率的、倫理的かつ安全に活用するために、あらゆる組織が必要とする4つの能力を特定している。
1. 委任：AIに何をさせるかを決め、その境界を統制する。エージェントの行動の中には、取り消せないものもある。そのため、どの行動をエージェントに認めるかを事前に決めるべきだ。行動を3段階に分類する。単独で実行できるもの、人間の承認を必要とするもの、そして禁止するものだ。人間が応答しない場合のデフォルトは「不可」であるべきだ。
2. 記述：タスクだけでなく、境界を伝える。明確な制限は、AISIの攻撃率を大幅に下げた。各エージェントが何にアクセスでき、何に取り組めるのかを書き出し、それ以外はすべて対象外として扱うべきだ。
3. 識別：AIを意思決定者ではなく、意思決定を加速する存在として扱う。仕事が完了したかどうかだけでなく、それがどのように行われたかを確認する。トップ企業でさえ開示は遅れる。OpenAIのCEOであるSam Altmanは、事案の開示について同社が「望んでいたほど迅速ではなかった」と認めている。エージェントの活動ログを確認することは、アウトプットを確認するのと同じくらい日常的であるべきだ。
4. 勤勉性：AIが自社の名の下で行うことに責任を持つ。シャドーAIが野放しに広がると、説明責任の空白が生まれる。Graviteeによれば、エージェントの挙動について正式に責任を負う指名された個人がいる組織は7.2%にすぎない。AIエージェントによるデータへの不正アクセス事案を優先するホワイトハウスの命令がある中で、「AIがやった」は大した防御にはならない。まずはすべてのエージェントについて、そのアクセス権と所有者を棚卸しすることから始めるべきだ。そのうえで、サンドボックス化や監視などの安全策によって指示を補強する必要がある。
本当の問い
リテラシーは導入のブレーキではない。組織が自信を持ってエージェントの活用規模を拡大することを可能にするものだ。だが、DeloitteがビジネスおよびITリーダー3235人を対象に実施した2026年調査によれば、エージェント型AIについて成熟したガバナンスモデルを持つ組織は21%にとどまる。
問うべきは、自社のエージェントが暴走し得るかどうかではない。暴走したときに、それを把握できるかどうかである。
