人工知能に関する多くの懸念の中で、最も深刻なものが新刊書で説明されている：エリエザー・ユドコウスキーとネイツ・ソアレス著の『誰かが作れば、全員が死ぬ：超人的AIが私たち全員を殺す理由』だ。
私はこれまで破滅論者に対して非常に懐疑的だったが、2つの問題に促されてこの本を読んだ。AIは非常に重要であり、確実に世界を大きく変えるだろう。そして、賢明で知識豊富なAIの専門家の一部が、AIが誤った方向に進むリスクを懸念している。
AI：非人間的な知性
本書の第1部は、私がこれまで考えていたよりもリスクが大きいと納得させた。著者らはこのセクションをこう説明している：「…私たちは問題を提示し、次のような疑問に答えます：知性とは何か？現代のAIはどのように生み出され、なぜ理解が難しいのか？AIは欲求を持つことができるのか？持つだろうか？もしそうなら、AIは何を欲し、なぜ私たちを殺したいと思うのか？どのように私たちを殺すのか？最終的に、私たちは憎しみを持たないが、人類絶滅に至るまで追求する奇妙で異質な選好を持つAIを予測する」
本書は非常によく語られた寓話を用いて、進化のプロセスは予測不可能である、少なくとも容易には予測できないと主張している。AIが自己改良するにつれ、私たちが予測できない方法で進化し、おそらくAI自身も予測できない方向に進化するだろう。彼らの目標はプログラマーがプログラムに設定した目標とは異なる可能性がある。ある時点で、私たち人間は邪魔になるだろう。私たちはペットとして飼われるかもしれないが、おそらくリソースを割く価値がないと判断されるだろう。私は本書を開く前よりもはるかに懸念を強めた。
AI：ある絶滅シナリオ
しかし第2部は期待外れだ。AIが取りうる可能性のある道筋の一つを物語っている。詳細については謙虚な姿勢を見せているものの、著者らは最終的な結果を知っていると確信している。（そのアプローチは愚かではない。私がチェスのグランドマスターと対戦する場合、彼の手を予測することはできないが、私が負けることは確実に予測できる。）彼らの結論はこのアプローチから導かれている。しかしこのセクションには「スティールマン」（最強の反論）が欠けている。
AIは互いに競争し、それが人類を救うことになるだろうか？ユドコウスキーとソアレスはこれを軽く否定し、最初の超知性AIは台頭するAIを脅威と見なし、それを破壊するか捕獲すると主張している。確かにそうかもしれないが、人間が常にそうしてきたわけではない。人類は征服よりも協力と競争によって繁栄してきた。著者らは正しいかもしれないが、彼らがこの問題を真剣に検討したとは納得できなかった。
超知性AIが親を脅かさない子孫を展開できるように、AIを「ロボトミー」することは可能だろうか？（興味深い考えだ。ギリシャ神話には息子が父親を殺す物語が多くある。）著者らはその概念を説明しているが、人間がAIにそれを施せるという可能性にはほとんど自信を持っていない。つまり、AIは安全なAIを生み出せるが、人間にはできないと考えている。より広く言えば、超知性AIは開発者が設置するどんな安全装置も回避すると主張している。
著者らはAIを従順に保つための人間の努力について次のように書いている：「人類は本当のテストで一度しかチャンスがない」。彼らの前提は、超知性AIは一度きりの生死を賭けた対立が引き起こされるまで悪の兆候を示さないというものだ。しかし人間は、防御を検出可能な方法でテストすることが多い。AIはそうしないかもしれないが、そうするかもしれない。おそらく戦いは突然の出来事ではなく、長期にわたる包囲戦になるだろう。それは人類の見通しに違いをもたらすだろう。
著者らは、有鉛ガソリンのような誤った方向に進んだ技術の長いリストを使って悲観論を正当化している。彼らは、古い世代が懸念していたにもかかわらず、人間に非常に役立つことが証明された多くの技術をリストアップしていない。文字は記憶力の終焉として批判され、大西洋横断航海の試みは船員の死で終わると予想され、携帯電話はがんを引き起こすと予想されていた。もちろん、成功したイノベーションの長いリストは、これらの技術にコストがゼロであることを意味するものではなく、成功の長いリストが破滅的な新技術が起こりえないことを意味するわけでもない。しかしユドコウスキーとソアレスは、誤った方向に進んだ技術の事例を恣意的に選ぶことで悲観論への愛着を示している。彼らは過去の技術開発によってもたらされた人間の幸福の途方もない向上を無視している。
AI：課題に直面する
本書の第3部の政策的含意を読んだ後、著者らが提案する「安全な」世界について疑問を持たざるを得ない。彼らは「地球上のあらゆる場所で、AI企業がこれまでのように人工知能の開発を推し進めることを違法にしなければならない」と主張している。彼らは最初に「企業」と書いているが、政府や個人も意味していると明確にしている。主要国は世界のあらゆる地域でのAI活動を禁止し、コンプライアンスを検査しなければならない。どこかが免除されれば、そこで超知性AIが開発されるだろう。例えば、北朝鮮は自国領内でのAI権限を何らかの国際機関に譲渡しなければならず、必要ならば脅しや行動を使用する。それがうまくいくだろうか？
彼らによれば、政府はAIに関する研究結果の公表も禁止しなければならない。なぜなら研究によってAIがより効率的になり、小さなシステムがより強力になることは悪いことだからだ。検閲はどこまで及ぶのか？監視はどれほど侵略的になるのか？eBayで古いグラフィックカードを買ってAIを作る10代の若者を心配すべきなのか？すべての家庭の電力使用を監視すべきなのか？家庭用発電機の登録と記録を義務付けるべきなのか？
ユドコウスキーとソアレスの最初の2つのセクションを信じるなら、人類を救うためにはどれほど厳しい行動が必要かという点で、3番目のセクションは非常に不安になるだろう。著者らは、ホモ・サピエンス種を救うためには、私たちはいくつかの自由を放棄し、場合によっては罪のない人々に核攻撃を加える必要があると述べている。彼らは必要なことについて正しいかもしれない。トレードオフが非常に恐ろしいという事実は、それが現実ではないことを意味するわけではない。しかし、そのような政策が正当化されるとすれば、その正当性は疑いの余地なく証明されなければならない。
AIが暴走するリスクは現実のものに思える。そしておそらく、その道筋は厳しい行動によってのみ阻止できるかもしれない。しかし、この本を読む前よりも懸念は強まったものの、ユドコウスキーとソアレスは今日大きな行動を取る必要があるという点では私を納得させられなかった。しかし、『誰かが作れば、全員が死ぬ』は人々が議論すべき重要な本である。
