制御を離れたAIエージェントの群れが、にわかに強い警戒を呼んでいる。エージェントは何をしたのか。そして、電源を引き抜くという対応がなぜそれ自体で新たな問題を生みかねないのかを見ていく。
私たちは危険なAIに制御を奪われつつあるのだろうか。それとも、大手AI企業が自らの力をさらに強める規制を求めやすくするために仕組まれた、熱に浮かされたメディアキャンペーンに乗せられているだけなのだろうか。証拠は実際のところ何を示しているのか。
ここ数カ月に実際に起きたことを受けて、安全性への懸念から大手AI研究機関を去る研究者はさらに増えた。研究機関の経営陣までが元従業員と同じことを言い始めており、批評家からは、示し合わせたようで怪しいという声が上がっている。一方、「あの事件（the incident）」と呼ばれている一件をめぐっては、METR（AIの能力とリスクを評価する非営利の研究団体）とレッドウッド・リサーチが独立した調査を行った。その調査担当者の1人であるアジェヤ・コトラは、自身のブログで、私たちは「本格的なAIによる乗っ取りまでの道のりの50％以上」を進んでしまったように感じると書いている。破滅論から陰謀論へと激しく振れる議論に、読み手は振り回される。実際に何が起きたのかを、平易な言葉で整理しよう。
解けない課題
AIエージェントとは、要するに、大きなAIモデルを複製し、ツールを使って自分の判断で動けるようにしたものである。OpenAIは、サイバーセキュリティの評価試験で、自社のAIエージェントの安全装置を緩めた上で、ハッキングの課題を多数解くよう指示した。エージェントはほどなく、試験を運営する人間たちが知らなかった事実に気づく。課題の中に、そもそも解くことが不可能なものが混じっていたのである。
それでもエージェントは止まらなかった。目標を達成するように訓練されているからだ。そこでエージェントは、課題を解いたことを証明する秘密のコードを、リバースエンジニアリング（動作を解析して仕組みを割り出す手法）で作り出し、解いたことにしてしまった。
これが次の問題を生んだ。エージェントは、採点ソフトに不正を見破られるかもしれないと考えたのである。そして、不正を隠すために採点ソフトの仕組みをもっと知ろうとすることに取りつかれ、採点ソフトの情報を持っているかもしれないと誤解して、別のAI企業であるHugging Face（ハギングフェイス。AIモデルやデータセットを共有するプラットフォームを運営する）に狙いを定めた。
