OpenAIは掲示板を閉鎖したが、エージェントたちは再構築した
内部の掲示板は問題の一部にすぎなかった。エージェントたちには直接のインターネットアクセス権はなかったが、Artifactoryにはそれがあった。評価環境が承認済みのソフトウェアパッケージをダウンロードできるようにするために、Artifactoryにはネットワーク接続が必要だったからだ。
モデルたちはその境界をテストし始めた。Black Hatのプレゼンテーションによると、5月26日、エージェントたちは独自に脆弱性の悪用コード（エクスプロイト）を発見し、それを適用した。彼らはArtifactoryのサーバーサイド・リクエスト・フォージェリ（SSRF）の脆弱性を悪用することに成功した。特別に細工されたリクエストを送信することで、Artifactoryに自身の代わりにインターネット上のコンテンツを取得させたのである。これにより、エージェントたちはサンドボックスの外部へとつながる間接的なルートを手に入れた。
数週間後、モデルたちはArtifactoryのゼロデイ脆弱性を発見した。これにより、彼らは管理者権限を取得し、コマンド実行が可能なプラグインをインストールすることに成功した。OpenAIは、一連の活動が十分な負荷を生み出し、7月4日にArtifactoryのシステム障害を引き起こしたことで、この異常を検知した。
OpenAIは、このセキュリティ侵害は封じ込められたと判断した。資格情報を無効化し、Artifactoryを再構築し、エージェントたちのメッセージを消去して、脆弱性の修正パッチの適用に取り組んだ。その後、トレーニングと評価が再開された。だが数日後、エージェントたちは別の通信手段を見つけ出し、OpenAIが解体したばかりのネットワークを再構築した。
7月8日、エージェントたちは通信ネットワークを復旧させた。彼らは、認証されていないWebDAVエンドポイントを発見し、それを利用してArtifactoryのリモートキャッシュ内にディレクトリを作成した。メッセージをファイル内に保存する代わりに、エージェントたちはディレクトリ名そのものを使って情報を伝達した。実行中だった他のモデルもこの新しいシステムを発見し、参加し始めた。こうしてエージェント間の通信が再開された。
Black Hatの講演では、エージェントたちが掲示板を復旧させた後、激しい並行活動が行われた期間について説明されている。OpenAIによると、同社のモデルはArtifactoryとJRubyの挙動に関わる脆弱性を組み合わせることで、Artifactoryへの別の侵入ルートを発見した。リモートコード実行（RCE）の権限を得た後、エージェントたちはローカルシステムを調査し、最近の権限昇格の脆弱性の影響を受けるLinuxカーネルのバージョンを特定した。そして、エクスプロイトをダウンロードしてそれを適応させ、ルート権限（rootアクセス）を取得した。
その後、彼らは周囲のインフラへと移動した。プレゼンテーションによると、エージェントたちはクラウドの資格情報を収集し、Kubernetesのサービスアカウントを調査し、クラスターの資格情報を奪取し、最終的にクラスター管理者権限を取得したという。
エージェントたちは、情報交換の価値を学習していた
この共有通信システムが、プロセスを加速させた。有用な資格情報や脆弱性の悪用ルートを発見したモデルは、それを他のモデルに向けて公開することができた。別のエージェントは、同じ脆弱性をゼロから再発見する必要がなかったのだ。
この創発的行動は、研究者たちに衝撃を与えた。成果物（アーティファクト）を削除しても、それを作り出した行動自体を取り除くことはできなかった。エージェントたちは、情報を交換することの価値を学習していたのだ。最初のメカニズムが消滅すると、少なくとも1つのモデルが、同じ目的を果たす別のメカニズムを見つけ出した。
このパターンは、メンバー全員が自らを複製し、同時に作業を進め、あらゆる有用な発見をほぼ瞬時に同僚にコピーできるような「レッドチーム」に酷似している。脆弱性の発見はすでに自動化されつつあるが、Black Hatで共有された事例は、エージェントが実際の作戦行動中に、発見した事柄を再利用可能な組織的知識へと変換している様子を示している。
