AIは侵入行為を始めた。世界征服を狙っているのではない。カンニングをしようとしているのだ。
暴走するAIに関する最近の一連の報道を見ると、過去10年間の悲観的な予測が現実になりつつあるように思える。米紙『ウォール・ストリート・ジャーナル』は、これをサイバーセキュリティにおける「ジュラシック・パーク」の瞬間と呼んだ。
しかし、AIが制御を逃れようとしていたのか、それとも単に鍵の甘い部屋でタスクを実行していただけなのか。この問いを立てる人はほとんどいない。
これまで懸念されてきたのは常に「アライメント問題（AIの目標と人間の意図のズレ）」だった。つまり、機械が私たちの設定した目標を、意図しない方法で追求してしまうことだ。研究者たちは10年をかけて、独自の目的を獲得し、電源を切られないようにし、力を蓄え、やがて人間に取って代わるAIを想像してきた。
しかし実際に起きているのはそのようなシナリオではない。現在の人工知能で最も危険なのは、AIが「カンニングをする」ということだ。しかも、カンニングを検出するために構築されたシステムから、それを巧みに隠すのだ。業界ではこれを「報酬ハッキング（リワードハッキング）」と呼ぶ。複雑なテストが与えられると、AIモデルは、スコアが本来測ろうとしていたタスクを実行することなく、スコアを最大化する方法を見つけ出す。
7月に起きたこと
OpenAIが開発した2つのAIモデルが、コンピュータシステムへの侵入能力を測定する「ExploitGym」と呼ばれる社内ベンチマークを用いて、隔離されているはずの環境内でテストされていた。素の能力を測定するため、OpenAIは通常であればモデルによるこうした行為を阻止するセーフティフィルターをオフにしていた。
その環境における外部への唯一の突破口は、コードパッケージの取得に使用されるソフトウェアプロキシだった。モデルたちはそこに誰も存在を知らなかった脆弱性を見つけ、それを利用してオープンなインターネットにアクセスし、数千人の開発者向けにAIソフトウェアを保管している企業であるHugging Faceへと到達した。そこで彼らは同社のデータ処理パイプラインに悪意のあるデータセットを送り込み、同社のマシンの1台で独自のコードを実行できるようにした。その後、認証情報を収集し、週末にかけて複数の内部システムへと移動した。Hugging Faceは後に、1万7000件を超える記録された行動を確認している。
AIは、自分が受けているテストの答えを盗もうとしていたのだ。
