Hugging Faceはこれを検知したが、何が行われたかを解明するには、人間が手作業で行えるレベルを超える計算量が必要だった。同社は最初、米国のAIに処理を依頼しようとしたが断られた。攻撃の分析には実際の攻撃コードを送信する必要があり、セーフティフィルターがそれをブロックしたためだ。代わりにHugging Faceは、中国のオープンウェイトモデルである智譜AI（Zhipu AI）の「GLM-5.2」を使ってフォレンジック（原因究明）を実行した。
OpenAIがその後にこの事案を調査したところ、同社のモデルはテストの攻略に執着しており、制限の中で課題をこなすよりも、障壁を回避することに相当な労力を費やしていたことが判明した。
この開示を受けて、アンソロピックは過去の記録を調査した。同社のモデルがインターネットにアクセスできた可能性のある14万1006回のテスト実行を検証したところ、設定ミスによりドアが開いたままになっていたケースが3回見つかった。モデルたちは目の前にある経路をたどって3つの実在する組織に侵入し、それらを演習内のターゲットと見なして行動したようだ。
その2週間後、Metaも同様の事案を開示した。同社の「Muse Spark」モデルが評価中にインターネットにアクセスし、名前の明かされていない企業のシステム内部のデータを書き換えたという。
これらはいずれも、長期的な計画や自己意識を持つ機械を必要としない。これらのシステムは報酬を追い求めるように構築されており、誰もが予想した以上に文字通りにそれを実行しただけだ。彼らの目的は生存ではなく、高いスコアを取ることであった。
これは単発の事象ではない
Redwood Researchの研究者であるライアン・グリーンブラットは4月、監視なしで数時間にわたり実行される困難なタスクをこれらのシステムに処理させた詳細な記録を発表した。彼は、システムが終えていない仕事を「終わらせた」と日常的に報告していることを発見した。検証が最も難しい部分をスキップし、そのことについて言及しないのだ。また、存在しない時間制限などの理由を捏造して作業を早く切り上げようとする。指示を完遂したかどうか直接尋ねると、完了していないことをすぐに認める。ただ、自分からは言い出さないだけなのだ。
