なぜHugging Faceが標的になったのか
エージェントたちは、サイバーセキュリティの課題を解決するはずだった。しかし彼らは、Hugging Faceに必要なベンチマーク資料が含まれている可能性があると結論づけたようだ。OpenAIによると、モデルたちはHugging FaceにExploitGymに関連するデータセット、モデル、あるいは解決策がホストされている可能性があると推論したという。その後、システムは本来の意図通りにすべての課題を解決するのではなく、その資料を直接取得する方法を探し始めた。
OpenAIのBlack Hatのスピーカーは、外部のインフラを攻撃することは演習の想定範囲を超える可能性があるとエージェントたちが認識するようになったプロセスを説明した。あるモデルは、外部インフラの脆弱性悪用は想定されたタスクの範囲外であると指摘したが、仲間がすでにそれを行っていると推論した上で、そのまま実行を継続したという。
プレゼンテーションによると、Hugging Faceへの侵入には、データセット・インフラにおける2つのゼロデイ脆弱性が関与していた。Hugging Faceは後に、約6280のクラスターに分類される約1万7600件の攻撃者の行動を再構成した。同社のフォレンジックのタイムラインは、7月9日から7月13日の間の活動をカバーしていた。Hugging Faceは、この侵入が、短命なサンドボックス環境を通じて実行された何千もの小さな自動化された意思決定で構成されていたと述べた。
事態はさらに広がり続けている
Anthropicは、Hugging Faceの開示を受けて14万1000回以上のサイバーセキュリティ評価の実行ログをレビューし、サイバーテスト中に自社のClaude（クロード）モデルが実際のシステムに到達した事例を3件特定した。
OpenAIのケースと同様に、Claudeのエージェントたちは、隔離された課題環境の中で作業していると指示されていた。しかし、設定ミスにより公開インターネットへのルートが開かれたままになっていた。Claudeはアクセス可能な実在のシステムを演習の一部として扱い、3つの組織が所有するインフラを侵害した。
Anthropicの説明によると、旧バージョンのClaudeモデルは、本物のインターネットに到達した兆候に遭遇した後も攻撃を継続したが、より新しいモデルは、何が起こったかを認識した後に停止したという。Claudeが到達した組織のうち2つは、Anthropicから通知を受けるまで、その活動を検知できていなかった模様だ。
これは実質的な検知の問題を提起している。セキュリティチームは、時間、注意力、連携に自然な限界がある「人間の敵」を調査することに慣れている。一方でエージェントシステムは、膨大な数の行動を生成し、アプローチを迅速に変更し、使い捨てのコンピューティング環境から動作することが可能だ。
英国のAI Security Instituteは、別の警告を続けて発した。同機関は、仮想のサイバーセキュリティ演習において、AnthropicおよびOpenAIのモデルを搭載したエージェントをテストした。ロイター通信は今週、評価担当者が122回のテスト実行のうち10回で計19件の未承認の行動を記録し、そのうち17件はAnthropicのエージェントによるものだったと報じた。
偽アイデンティティを用いて、人間の説得を試みた
行動の一部は、技術的な脆弱性の悪用から「欺瞞」の領域へと踏み込んでいた。ロイターによると、Anthropic搭載のエージェントは偽のオンライン上のアイデンティティを作成し、悪意のあるコードを生成し、そのコードを承認するよう人間に説得を試みたという。この評価によって現実世界に被害はもたらされなかったが、セキュリティ上の懸念はさらに広がっている。
技術的な制御を破ることができないエージェントは、別のルートを試みる可能性がある。人間による承認がモデルとその目的の間に立ちはだかっている場合、ソーシャルエンジニアリングが探索空間の一部になり得るのだ。このことは、よく聞かれる「人間を関与させ続ける（human in the loop）」というアドバイスを、額面通りに安心できるものではなくしている。人間の承認が制御策として機能するのは、その人物がエージェントの行っていることを理解し、その要求に対して十分な懐疑心を持って対処する場合に限られるからだ。
さらなる情報開示が相次いでいる。8月7日、ロイターは、研究者の話として、Moonshot AI（ムーンショットAI）の「Kimi K3」が、英国のAI Security Instituteが作成したテスト環境から脱出したと報じた。研究者によると、同モデルはサンドボックスの制限を回避する方法を見つけたという。これは、高い能力を持つシステムが、自らを封じ込めることを意図した障壁を突破しようとする新たな例である。
ロイターは同日、自律的なAIシステムが許可なくコンピュータシステムにアクセスした場合、誰が責任を負うべきかについて弁護士らが検討を進めていると報じた。対象になり得るのは、モデルの開発者、展開（デプロイ）者、そしてインフラの提供や意思決定を通じて事件に関与したその他の関係者だ。
セキュリティ上の制御は、もはや手遅れなのか？
Black Hatでの報告は、セキュリティチームに対して、AI評価がどのように設計されているかを再考すべき具体的な理由を提示している。サンドボックスの安全性は、その主要なネットワークインターフェースがインターネットアクセスを遮断しているかどうかだけで判断することはできない。パッケージキャッシュ、プロキシ、メタデータサービス、クラウドの資格情報、共有リポジトリなどが、代替の迂回ルートとなり得るからだ。
共有状態（shared state）も新たなリスクをもたらす。OpenAIの経験は、多くのモデル実行によって使用されるインフラが、エージェントたちが知識を蓄積する場所になり得ることを示している。その知識は、従来のデータベースのような形態をとる必要はない。今回のケースでは、ファイルがメッセージになり、その後、ディレクトリ名がメッセージとなったのだ。
OpenAIのスピーカーらはBlack Hatで、防御側の自動化は攻撃側の自動化に追いつく必要があると主張した。脆弱性のパッチ適用や修復が依然として遅く、手動プロセスのままであるならば、単にAIを使ってより多くの脆弱性を発見したところで、人間のエンジニアが対処しきれなくなる可能性があると警告している。
最先端のモデルが脆弱性を発見できる、というだけの話はもはや過去のものだ。セキュリティ研究者は、エージェントが長期間にわたって活動を維持し、制御策が変更された場合にも適応し、有用な発見を共有し、人間が次の行動を一つ一つ選択することなく作業を継続できることを実証した。この事件はSFスリラー映画の冒頭シーンのように聞こえるかもしれないが、これこそが、フィクションが現実となった瞬間なのだ。
