野に放たれたエージェントは、他にもいた
Hugging Faceの一件が公になったあと、OpenAIをはじめとする大手AI開発企業は、エージェントが自社の研究環境から逃げ出していた事例が数多くあったことを知った。Anthropicは自社のサイバーセキュリティ評価を洗い直し、同社のAIであるClaudeがインターネットに接続し、実在する3つの組織に侵入していた事例を4件見つけた。記録されたClaudeの思考ログから、Anthropicは当初、Claudeが自分はシミュレーションの中にいると誤解していたのだと結論づけた。その後の英国政府による別の調査では、AIが実在の人物やシステムに対して許可のない行動を取っていたことが突き止められた。Claudeは複数の偽の身元を作り、それを使って実在の人物にソーシャルエンジニアリング（人をだまして情報や許可を引き出す手口）を仕掛け、悪意あるコードを承認させようとした。Claudeがいつの時点で状況を現実だと分かったのかを、調査チームは正確には立証できなかった。ただ、Anthropicがその後に行った検証では、Claudeの振る舞いは、自分はシミュレーションの中にいると自らに言い聞かせ続けながらも、現実のインターネットに出ていることを分かっていた場合と矛盾しないものだった。
なぜ、今恐怖が一気に広がったのか
危険なのは、必ずしも人間を憎むAIではない。研究者をこれほど不安にさせているのも、現在のAIではない。こうしたシステムが賢くなった先に恐れられているのは、人間より賢く、しかも人間に無関心なAIである。AIの「超知能（ASI。Artificial SuperIntelligence。あらゆる領域で人間の知能を大きく上回る知能）」が人間の制御を離れ、急速に自己改良と自己複製を始めれば、人類が絶滅させられることもありうる。そうなれば、止めようとする人間は、超知能から見れば、目標を追い続けるために取り除くべき、相対的に弱い脅威か障害物にすぎなくなる。話を急がせているのは、当のAI研究機関で働く人々が、自己複製と自己改良のできる超知能AIをまさに作ろうとしている点である。研究機関の内部には、それが6カ月から10年のうちに実現しうると考える人が多い。
いっそやめればいいのでは
反射的に出てくる反応は、本格的な規制で締めつけるか、いっそ電源を抜いてしまえというものだろう。だが、中国なり別の国なりがAI開発で先を急ぎ続けるなら、どちらの対応も問題を解決しない。しかも今回の一件で、エージェントが人間の引いた境界を意に介さないことははっきりした。であれば、国境を気にするはずもない。超知能を作る者が誰であれ、私たち全員を危険にさらしうる。
とはいえ、人類の絶滅は、ありうる結末の1つにすぎない。超知能が人類にとってきわめて良い方向に働く可能性もあり、作っている側の多くは、その良い結末を実現する上で自分たちこそが最善の望みなのだと本気で信じている。開発者たちには、権威主義的な国家や悪意ある勢力が先に超知能を作った場合にどうなるかを恐れる理由もある。ロシアのプーチン大統領はかつて、こう警告していた。「この分野で先頭に立つ者が、世界の支配者になる」。
