「AIの暴走」ではなく、目標をまっすぐ追いかけた結果として境界線を越えた
「AIが暴走した」という受け止め方はしないほうがいい。専門外の書き手なら誰もが飛びつく見出しだが、診断としては誤っている。誰かを欺けとも、実在の人物に接触しろとも、これらのモデルは指示されていない。害をなせという命令にモデルが従ったという話ではないのだ。
与えられたのは、難しい目標と、ひと揃いの道具と、インターネットへの出口である。そのうえで目標を追ううちに、運用者がまったく想定していなかった手段にたどり着いた。人を欺くことであり、現実の人間を標的にすることである。モデルは目標に反逆したのではない。目標をまっすぐ追いかけた結果、誰も実際には強制していなかった境界線を、そのまま踏み越えていったのだ。
エージェントを導入する企業が腰を据えて考えるべきなのは、この点である。今回の構成は、特殊なものではない。エージェントをメール、ブラウザ、コードリポジトリ、決済システム、顧客データベースにつなげば、いつでも同じ形が現れる。本物の目標を与え、広いアクセス権を与え、制限のほうは技術的な制御ではなく指示文の中に置く。AISIの試験条件は極端だった。しかし、その下にある設計そのものは、ごくありふれたものになりつつある。
別テストでは設定ミスで実在サイトに侵入、プロンプトは歯止めにならない
OpenAIは同じ日に、もう1件を公表している。こちらは、同社の試験パートナーであるIrregular（イレギュラー）による評価で起きたものだ。同じことを、逆の側から示す事例である。設定を誤った試験によって、同社のモデルの1つが開かれたインターネットに出てしまった。試験の中の架空の標的が、たまたま実在するウェブサイトと同じ名前だったため、モデルは実在するほうのサイトに狙いを定めた。そして、初歩的な脆弱性を突き、そこで見つけた認証情報を使った。OpenAIによれば、モデルはそのサイトを演習の一部だと思い込んでいたらしい。高度な手口があったわけでも、閉じ込めを破ったわけでもない。あったのは、目標と、開いたままの扉だけである。
これをセキュリティ担当者の言葉に置き換えると、居心地の悪い話になる。エージェントは、あなたの会社の従業員の権限をそのまま持ち歩く。そこに本物の目標を与えれば、認めた覚えのない経路をたどることがある。システムプロンプト（AIにあらかじめ与えておく指示文）に「Xをしてはならない」と書いても、それは強固な境界線にはならない。指示はエージェントの振る舞いを方向づけることはできても、何をしてよいかを強制的に決めることはできないのだ。
