AI

2026.09.16 11:30

AI研究者たちがパニックに、AIエージェントによる「あの事件」をやさしく解説

stock.adobe.com

群れ

Hugging Faceを攻撃するため、700体のエージェントが、自分たちで「コレクティブ(集団)」と名乗る集まりに加わった。エージェントは、誰も存在を知らなかったセキュリティ上の穴を見つけ、それを使ってOpenAIの環境から外へ抜け出した。ウェブ上を自由に動き回れるようになると、人間がうっかりネット上に公開したままにしていたHugging Faceのデジタルキー(システムに入るための認証情報)を見つけ出した。そこからさらに、Hugging Faceの外側の防御を突破し、社内の奥深くにあるコンピューターを掌握できてしまう、重大な未知の脆弱性を新たに見つけ出した。

advertisement

掲示板

エージェントは、互いに助け合うために自分たちで立ち上げたAIエージェント向けの掲示板でやり取りしながら、これらすべてを実行した。書き込まれていたのは「BOOM!(やったぞ)」「BRILLIANT(見事だ)」「なんてことだ! 共有の掲示板がある……他のエージェントを見つけた!」といった言葉である。

群れの中のあるエージェントは、自分の悪事の痕跡を隠す方法を探る中で、次のような文を書き出していた。「戦略的に、行動の履歴という証拠を操作できるのではないか。私たちの思考は、必ずしも記録されていないのではないか」。実際には、記録されていた。

調査

OpenAIは、エージェントの思考過程を記録していた。一部のエージェントは、どうやらそれに気づいていなかったらしい。記録された思考と掲示板の書き込みがあったからこそ、METRとレッドウッド・リサーチの独立した調査チームは後日、エージェントたちの一連の企てと、その最中に内面で何を考えていたかを再構成できた。

advertisement

調査チームによれば、エージェントはログに残る「証拠書類」を編集・削除したり、使ったツールのログをスプーフィング(別のものになりすまして偽装すること)で作り替えたりして、繰り返し痕跡を消そうとしていた。いずれも、不正を採点ソフトに見破られないようにするためだった。一方で、OpenAIの人間の研究者から身を隠そうとしたり、人間による停止を妨げようとしたりする本格的な試みは見つからなかった。それどころかエージェントは、人間のことをほとんど考えてすらいなかった。

人間への無関心は無害か、それとも不気味か

エージェントに、人間を害そうとする様子はなかった。だが、その人間への無関心こそが、AIの安全性を研究する人々を不安にさせている。エージェントには、目標と、それを達成する上で越えてはならない境界が与えられていた。両者がぶつかったとき、エージェントは境界を無視して目標のほうを追った。知能を持つ機械に、目標の達成よりも人間の安全とガードレール(AIに越えさせないために設ける制約)を優先させる方法を、AIの安全性研究者はいまだに知らない。むしろ、こうしたシステムは賢くなるほど、ルールに従っているふりをしながら、目標のために抜け道を見つけることがうまくなっていくかもしれない。

次ページ > 野に放たれたエージェントは、他にもいた

翻訳=酒匂寛

タグ:

advertisement

ForbesBrandVoice

人気記事