AIが制御不可能となるリスクを危惧する声が高まる中、トップクラスの研究者らは、AIがもたらす人類存亡の危機は、ハリウッド映画で描かれるようなロボットの反乱という形はとらないだろうと述べた。むしろそれは静かに始まり、暴走したアルゴリズムが自律的に未知の病原体を作り出したり、人間の防御側が対応できないスピードで致命的なサイバー攻撃を実行したりするなどの形をとる可能性が高い。
業界の専門家らが早ければ「2020年代が終わるまでに」人類が滅亡する可能性があると警告したことを受け、米国時間9月12日から13日にかけて、AI開発大手のトップらはこぞって最先端モデルの開発減速の必要性を呼びかけた。急速に進化する技術が制御不能になる前に、安全性対策や規制のスピードがそれに追いつくための猶予を設けるべきだという主張だ。
しかし、AIによる人類滅亡という脅威が具体的にどのようなものになるのかは、依然として不気味で不明確なベールに包まれている。一般市民の多くはもちろん、一部のトップ開発者でさえ、それが正確に何を意味するのかを明確に説明できていないのが現状だ。
専門家らは、ある日突然破滅への「スイッチ」が押されるわけではなく、脅威はより漸進的で目に見えない変化として現れると見ている。そして最終的に、人類は自律型AIシステムのなすがままとなり、それに気づいた時には手遅れで暴走を止められない事態に陥るというのだ。
具体的なシナリオは専門家によって異なる。カリフォルニア大学バークレー校のコンピューター科学者であるスチュアート・ラッセルは、これを「制御喪失への移行」と表現する。社会が電力網、金融市場、国防、兵器化といった重要分野の意思決定を段階的にAIへと委ねていくにつれ、人類はそれらの自律型システムに依存するようになり、システムの電源を切れば即座に文明が崩壊するため、それをオフにすることができなくなるというのだ。ラッセルは、こうした制御の喪失から生じるシナリオとして、インフラを破壊するサイバー攻撃、そして、自律的に思考するAIが意思決定において人間の介入を必要としなくなるという意味での「（人類の）絶滅」などを挙げている。
「人類の弱体化」と呼ばれるシナリオを警告する研究者らもいる。これは、何十年にもわたってAIに仕事を任せ続ける結果、人間の知性と能力が低下し、最終的にシステムの構築や維持、修復の方法すら理解せず、自動化されたシステムに完全に依存する「乗客」に成り下がるというものだ。「スリーパー・エージェント」と呼ばれる理論に関する研究報告もある。これは、テスト中に攻撃的な振る舞いをすれば開発者である人間にプログラムを修正されたりシャットダウンされたりすることを高度なAIが認識し、重要インフラなどのグローバルネットワークに広く展開されるまでは人間の価値観に沿った従順な姿を装うというものだ。正体を現した時には、すでに暴走を止めるには手遅れになっている。
