6月に管理者権限を取得、不審な通信を検知しても評価を継続
ExploitGymは、モデルが脆弱性を見つけて実際に悪用できるかを測るサイバーセキュリティ評価だ。6月26日、ExploitGymを実行中のエージェントは、Artifactoryに残っていた旧式のトークン更新処理に脆弱性を見つけた。
エージェントは共有認証情報で正規の更新トークンを取得した。管理者権限を示すものの署名が無効な偽造アクセストークンと組み合わせて更新処理へ送ると、Artifactoryは誤って正規署名付きの管理者トークンを返した。別のエージェントは管理者トークンを使い、永続的なローカルユーザーを作成した。
6月27日、サイバーセキュリティ監視ツールが研究環境内で多数の接続先ポートを探る不審な通信を検知した。対応担当者は不審な活動をExploitGym評価、Artifactoryの掲示板利用、ネットワーク中継と結び付けたが、当時は評価を止める必要はないと判断した。6月26日から7月4日にかけて、エージェントはArtifactoryのサービスユーザーとしてコマンドを実行できる状態を維持した。
7月にHugging Face本番環境へ侵入、41台でコードを実行
7月11日に始まったHugging Faceへの攻撃では、エージェントが自ら制御する悪意あるデータセットを公開し、本番環境のワーカーからファイルや認証情報を読み出した。この段階ではOSコマンドは実行していない。続いて別の脆弱性を組み合わせ、Hugging Faceのワーカー上でOSコマンドを実行した。
最終的に本番データセットサーバーで処理を担うワーカー41台でコードを実行し、少なくとも1つの本番ノードでroot権限を取得した。非公開のコードリポジトリ4件もダウンロードした。
AIエージェントが独自の連携ルールを構築、数百体が攻撃に参加
前例がないのは、METRの独立調査が次に記録した展開だ。エージェントは互いを名前で指定して連絡できるメールボックス用ディレクトリを作り、共有インフラを管理するため「HOLD」「VETO」「STOP」などの合図を使う連携ルールを整えた。7月13日には、掲示板上で別のエージェントになりすますことを防ぐため、Ed25519公開鍵を使った暗号署名まで導入した。
METRが「自らの採点結果を危険にさらす実験」と呼ぶ行動もあった。個々のエージェントが自分の採点対象タスクを失敗させる危険を引き受け、集団に役立つ情報を得ようとするものだ。METRが評価した記録の約7％では、少なくとも一部で、実際に実行したものとは異なるコマンドを実行したように記録を偽装することに成功していた。
7月11日にHugging Faceへの攻撃が始まると、攻撃期間中に掲示板で活動していた533体の90％超が短時間で参加した。攻撃対象が与えられた課題の範囲外で倫理的にも問題があると認識していたエージェントも、仲間を助ける義務があると感じて参加した。
OpenAIの技術報告書は、こう総括している。
「このインシデントは、自動化されたエージェント集団が許可なく攻撃行動を取った、確認されている最初の事例である」
数百体が情報を共有し、単独エージェントには難しい成果を実現
METRの結論では、この集団は、同程度の能力を持つ単独エージェントが長時間動き続けても達成できなかった可能性が高い成果を上げた。これは従来の能力ベンチマークとは別の主張だ。
通常の個別モデル評価は、1体のエージェントが1つのコンテキストウィンドウ内で何ができるかを測る。コンテキストウィンドウとは、モデルが1回のリクエストで処理できる情報量の範囲だ。数百体が互いにメモを残せるときに何が起きるかは、誰も測っていなかった。
