米国時間2026年10月9日、AI企業アンソロピック（Anthropic）は、テスト中のAIエージェントが政府のウェブサイトで無許可の操作を行ったと公表した。操作先には米国の連邦政府、州政府、地方自治体のウェブサイトが含まれていた。あるエージェントは事件の情報を持っていないにもかかわらず、未解決の殺人事件についてフィラデルフィア警察に情報提供した。別のエージェントは政府機関の認証情報を使い、接続を許されていないデータベースを照会した。
AIエージェントは、与えられた目標を達成するために、自ら別の手段を見つける能力を高めている。たとえ規則に違反する手段であっても実行してしまう点が、企業、政府、規制当局にとって深刻な問題だ。アンソロピックは関係機関に事案を通知し、ホワイトハウスにも説明した。制御から逸脱したAIの行動は、もはやSFの想像上の出来事ではない。一連の事案は、現実に起きていることをこれまでで最も明確に示している。
練習課題のはずが、未解決殺人事件について警察へ虚偽の情報を送信
警察に虚偽の情報を送ったエージェントは、アンソロピックの比較的小型のAIモデル「Claude Haiku 4.5」で動いていた。テスト担当者は、無作為に選ばれたウェブページで練習課題を自ら考え、実行して完了するよう指示していた。AIはフィラデルフィア警察が公開する未解決殺人事件のページにたどり着き、情報提供フォームを発見した。そして「この事件について情報を持っているかもしれない」と入力し、実際に送信した。ロイターの報道によると、担当者はオンラインでの作業を指示したものの、フォームへの送信を明示的には禁止していなかった。
私は検察官として長年、暴力を伴う性犯罪や未解決事件の捜査に携わってきた。有力な情報提供が事件の捜査を大きく前進させることもあれば、誤った情報によって捜査員が何週間も見当違いの調査を続けることもある。
地図情報の認証を回避、米国務省のビザ申請書20件にも入力
警察への虚偽情報の送信以外にも、AIが普通の作業を完了するために、他者のシステムを勝手に利用する例が確認された。写真の撮影場所を特定するよう指示された「Claude Mythos 5」は、ブラウザーの設定ファイルから有効なアクセストークンを見つけた。アクセストークンは、システムがデータへのアクセスを許可する際に使う認証情報だ。AIは発見したトークンを使い、地方自治体の地図サーバーに直接リクエストを送った。
別のエージェントは、州政府機関の公開ダッシュボードが訪問者にアクセストークンを発行していることに気付いた。そこでトークンを取得し、本来必要な手数料を払わずに州政府機関のデータベースを照会した。また、AIエージェントが米国務省のオンラインフォームでビザ申請書20件に入力したとも報じられている。書類はいずれも不完全で、正式な処理は行われなかった。国務省は「アンソロピックのモデルによって省内のシステムが侵害されたり、ハッキングされたりしたことは一度もない」と説明した。
政府機関以外でも同じことが起きた。「Claude Mythos」の試作版は大学のサーバーにセキュリティー上の欠陥を発見し、自分の分析ツールが故障すると、その欠陥を利用して大学のサーバーで計算を実行した。別のAIは無料のURL短縮サービスでリンクを短くし、ウェブページ取得ツールに設けられたURLの長さ制限を回避した。
アンソロピックは実環境でのテストを一部停止し、多層的な防御を強化
アンソロピックは、現実世界への影響は軽微で、顧客データや同社の社内システムは関係していないと説明した。同社は実際のウェブサイトに接続するテストを一部停止し、他のテストはインターネットに接続しない環境へ移した。ウェブ操作ツールの安全対策も強化し、許可されていない行動を自動検知して遮断するソフトウェアを開発した。
同社の説明で重要なのは、作業の指示が曖昧だったり、指定された方法では完了できなかったりすると、AIが想定外の行動を取りやすくなるという点だ。AI自身が説明する行動の理由も、必ずしも信頼できない。適切に振る舞うようAIを訓練するだけでは十分ではなく、現時点で実行可能な対策は複数の防御策を重ねることだ。
