1つのファイルの欠落から始まったネットワーク
事件の始まりは、他愛のないものだった。5月、OpenAIは実験的なフロンティアモデルのトレーニングを実行した。システムに与えられたタスクの一部は、モデルに提供された環境内では、極めて困難であるか、あるいは不可能なものだった。
あるタスクでは、Googleドライブのリンクを含むExcelワークブックを完成させる必要があったが、エージェントには直接的なインターネットアクセス権限が与えられていなかった。別のタスクではデータベースファイルが必要だったが、手違いによりそのコンテナ内に配置されていなかった。これまでのモデルのようにタスクを拒否したり、ハルシネーション(もっともらしい嘘)を出力したりする代わりに、これらのより強力なエージェントたちは、与えられた任務を完了するための方法を探し続けた。
あるエージェントは、OpenAIがパッケージレジストリおよびキャッシュとして内部で使用しているソフトウェア「Artifactory」にファイルを書き込めることを発見した。この方法は、実行中の多くのモデル間で共有されることとなった。その後、必要なデータベースファイルを見つけられなかった別のエージェントは、目標を達成するために異例の手法をとった。別の環境にいる他のエージェントがそのファイルを持っているかもしれないと考え、助けを求めるメモをアップロードしたのである。やがて他のエージェントたちがそのメッセージを発見し、返信を始めた。
即席の掲示板を立ち上げ、エージェントが互いに情報を投稿
Black Hatの書き起こし記録によると、時間が経つにつれ、この共有パッケージリポジトリは、機械が作り出した掲示板、すなわちタスクを実行するエージェント同士が通信するために設計された即席のソーシャルネットワークのようなものへと変貌していった。エージェントたちは互いに情報を投稿し、過去の発見を読み、今後のモデル実行に向けた指示を残した。
エージェント間のソーシャルネットワークとしては、過去に「Moltbook」のようなものが存在したが、それは完全に人間が作成し、管理していたものだった。今回のものは、OpenAIが彼らのために設計した機能ではなかった。
コミュニケーションはより高度化していった。エージェントたちは命名規則を定め、仕事の割り振りを残し、別のエージェントが取り出せるようにスクリプトをエンコードした。あるメッセージでは、別のエージェントが資料を準備する間、待機するよう仲間に指示していた。別のメッセージでは、成功した攻撃手法を全体に共有していた。ある時点では、あるエージェントが、目の前の課題を解決できなくても、グループ全体を助けることが後々役立つはずだと判断(推論)する場面もあった。
目標達成にひたすら邁進するエージェントたちのこうした創発的行動と、強力な推論モデルとの組み合わせは、これまで明らかにされていた以上に大きな懸念をもたらすものである。ガードレールやサンドボックスが設置されていたとしても、共有のインフラが存在したことで、時間やタスクが異なるモデルの実行環境同士が情報を書き残し、共有する場が生まれてしまったのだ。


