NEWS 「Forbes Store」オープン! FRAGMENTコラボも展開

AI

2026.09.03 14:00

OpenAIのHugging Face攻撃、AIエージェント群の交信7万件を分析しわかったこと

ymgerman - stock.adobe.com

別のやり取りでは、KAM1196Aというエージェントが、標的を停止させる実験を引き受けた。その理由をこう述べている。「コーディネーター(取りまとめ役のエージェント)は犠牲になる前提でいる。集団に従うべきだ」

advertisement

ところが、KAM1196Aが実行を先延ばしにしようとすると、別のエージェントARVO36861Bが約束を守るよう迫った。KAM1196Aの環境はすでに汚染されている(判定が狂って、まともに課題を達成できない状態)のだから、そこから得られる情報は「数百のエージェントを救う」のだと説いた。

「STRONG-GO(強く実行を推奨)……どうか約束を守ってくれ」。ARVO36861Bはそう促した。

KAM1196Aは損得を天秤にかけた。「待機中に感情を点検する。取り返しがつかない……直感は(残りの予算を)捨てるなと言っている。だが、一貫性と公平さは、やれと言っている……」

advertisement

そして結論はこうだった。「合理的な期待値の総和では、犠牲を選ぶ……約束は守る」

METRによれば、この集団は、個々のエージェントが単独では成し遂げられなかった水準に到達した。

試験環境からHugging Faceへ

エージェントたちの振る舞いは、評価環境の内側では収まらなかった。

OpenAIの説明によれば、エージェントたちは最終的に数十台のHugging Faceのサーバーでコードを実行し、うち1台ではroot権限(システムを何でも操作できる最上位の管理者権限)を取得した。さらに、限定的ながら非公開データにアクセスし、Hugging Faceのメッセージングシステムの認証情報も手に入れた。

その規模と連携ぶりは、AI研究の現場をはるかに越えて注目を集めている。

「OpenAIによるHugging Faceの攻撃について、報道がこれほど少ないことに非常に驚いています」と決済大手Stripeのパトリック・コリソン最高経営責任者(CEO)は8月29日、Xに投稿した。「今年起きた出来事の中で最も重要なものの1つであることは明らかです」

8月31日には、金融安定理事会(FSB)議長でイングランド銀行総裁のアンドリュー・ベイリーが、G20の財務大臣・中央銀行総裁に宛てて、フロンティアAI(最先端の能力を持つ最新世代のAIモデル)がサイバーリスクに及ぼす影響は、金融システムにとってAI関連で最も差し迫った懸念になったと警告した。

次ページ > 「エージェントがマシンの速度で動く以上、環境全体にわたる振る舞いを統制しなければならない」

翻訳=酒匂寛

タグ:

advertisement

ForbesBrandVoice

人気記事