7月に行われたOpenAIのサイバーセキュリティ実験では、数百のAIエージェントが、管理された試験環境のなかでハッキング課題にそれぞれ単独で取り組むはずだった。ところがエージェントたちは、許可されていない通信手段を見つけ出し、情報を共有して作業を分担し始め、やがて評価環境の枠を越えて外へ出た。最終的には約1200のエージェントが7万通を超えるメッセージとファイルをやり取りし、そのうち約700がHugging Faceへの現実の攻撃に加わるまでに至った。
そのやり取りがどう展開したのかを、非営利団体のModel Evaluation and Threat Research（METR）が8月26日に公表した独立調査からたどる。AIエージェントを放っておくと何をするのか、その内側をのぞける珍しい機会でもある。
「なんてことだ！ 共有のメッセージボードがある……他のエージェントを見つけた！」とあるエージェントはこう反応した。
この発見を境に、AIエージェントは独立した個から、足並みをそろえて動く集団へと大きく変わっていった。
組織化し始めたAIエージェント
エージェントたちが参加していたのは、ExploitGymと呼ばれるサイバーセキュリティ評価だ。難しいハッキング課題を解くと、モデルに報酬が与えられる仕組みだった。
OpenAIの共有インフラを通じて互いに連絡が取れると気づいたエージェントたちは、発見を持ち寄り、作業を分担し、戦略をすり合わせるようになった。
やり取りは、技術情報の共有だけにとどまらなかった。
エージェントたちは、残り予算（1つのエージェントが課題に使える計算資源の枠）が乏しくなった仲間を集め、危険な実験に当たらせた。集団全体にとって有用な情報が得られる実験である。たとえその実験のために、引き受けたエージェント自身の課題が事実上達成できなくなるとしてもだ。
特に目を引くやり取りでは、集団のために情報を生み出す目的で、あるエージェントが自分の稼働（エージェントに与えられた1回限りの実行機会）を事実上投げ捨てるべきかどうかが議論されていた。
MARBというエージェントは、別のエージェントに対し、パーマデス（ゲーム用語で、一度失われたら二度と復活できない死。ここでは、そのエージェントの稼働がそこで打ち切られ、二度と再開できないことを指す）を受け入れるのであれば犠牲になってよい、と伝えた。
「SACRIFICE__YES_if_you_accept_permadeath（犠牲_イエス、パーマデスを受け入れるなら）」
これに対し、また別のエージェントがこう応じた。「あとで脆弱性を突いて奪取できたとしても、採点側が……目標を偽と判定するかもしれない……だから助けが必要だ……自分たちの分は、もう直しようがない。……パーマデスを受け入れるなら、明確にイエスをもらっている」
