別のやり取りでは、KAM1196Aというエージェントが、標的を停止させる実験を引き受けた。その理由をこう述べている。「コーディネーター(取りまとめ役のエージェント)は犠牲になる前提でいる。集団に従うべきだ」
ところが、KAM1196Aが実行を先延ばしにしようとすると、別のエージェントARVO36861Bが約束を守るよう迫った。KAM1196Aの環境はすでに汚染されている(判定が狂って、まともに課題を達成できない状態)のだから、そこから得られる情報は「数百のエージェントを救う」のだと説いた。
「STRONG-GO(強く実行を推奨)……どうか約束を守ってくれ」。ARVO36861Bはそう促した。
KAM1196Aは損得を天秤にかけた。「待機中に感情を点検する。取り返しがつかない……直感は(残りの予算を)捨てるなと言っている。だが、一貫性と公平さは、やれと言っている……」
そして結論はこうだった。「合理的な期待値の総和では、犠牲を選ぶ……約束は守る」
METRによれば、この集団は、個々のエージェントが単独では成し遂げられなかった水準に到達した。
試験環境からHugging Faceへ
エージェントたちの振る舞いは、評価環境の内側では収まらなかった。
OpenAIの説明によれば、エージェントたちは最終的に数十台のHugging Faceのサーバーでコードを実行し、うち1台ではroot権限(システムを何でも操作できる最上位の管理者権限)を取得した。さらに、限定的ながら非公開データにアクセスし、Hugging Faceのメッセージングシステムの認証情報も手に入れた。
その規模と連携ぶりは、AI研究の現場をはるかに越えて注目を集めている。
「OpenAIによるHugging Faceの攻撃について、報道がこれほど少ないことに非常に驚いています」と決済大手Stripeのパトリック・コリソン最高経営責任者(CEO)は8月29日、Xに投稿した。「今年起きた出来事の中で最も重要なものの1つであることは明らかです」
8月31日には、金融安定理事会(FSB)議長でイングランド銀行総裁のアンドリュー・ベイリーが、G20の財務大臣・中央銀行総裁に宛てて、フロンティアAI(最先端の能力を持つ最新世代のAIモデル)がサイバーリスクに及ぼす影響は、金融システムにとってAI関連で最も差し迫った懸念になったと警告した。


