今回のコラムでは、人工知能が汎用人工知能（AGI）や人工超知能（ASI）に到達した際に、それが絶滅レベルの事象（ELE）となるという広く議論され、非常に憂慮すべき主張について検討する。これは本当に厳しい現実だ。
一方では、人間の知性と同等で、潜在的には超人的な知性を持つ機械を開発できたことに歓喜すべきだろう。しかし同時に、悪いニュースとしては、我々はそれによって完全に壊滅してしまうということだ。永遠に消し去られる。これはかなり暗澹たる結末である。
この問題について考えてみよう。
この革新的なAIブレークスルーの分析は、私のForbesコラムで継続的に取り上げている最新AI動向の一部であり、様々な影響力のあるAIの複雑性を特定し説明するものである（リンクはこちら）。
AGIとASIへの道
まず、この重要な議論の舞台を整えるために、いくつかの基本事項が必要だ。
AIをさらに進化させるための研究が盛んに行われている。一般的な目標は、人工汎用知能（AGI）に到達すること、あるいは人工超知能（ASI）を実現する可能性を追求することだ。
AGIとは、人間の知性と同等と見なされ、我々の知性に匹敵するAIである。ASIは人間の知性を超え、多くの、あるいはあらゆる実現可能な方法で優れたAIとなる。ASIは人間の思考をあらゆる場面で上回り、我々を圧倒するだろうという考え方だ。従来型AIとAGI、ASIの性質についての詳細は、こちらのリンクで私の分析を参照してほしい。
我々はまだAGIに到達していない。
実際、AGIに到達できるかどうかは不明であり、AGIは数十年後、あるいは数世紀後に実現するかもしれない。浮上しているAGI実現の予測日は、信頼できる証拠や確固たる論理によって裏付けられておらず、非常に多様で根拠に乏しい。ASIに至っては、現在の従来型AIの水準からさらに遠い存在だ。
実存的リスクと完全な絶滅
AGIとASIに到達することが重大な実存的リスクを伴うという警告を聞いたことがあるかもしれない。
問題はこうだ。強力なAIが人類を奴隷化することを決定する潜在的リスクがある。これは良くない。もう一つの可能性として、AIが人間を殺し始めるというリスクもある。最初に死ぬのはAGIとASIの実現に反対した人々かもしれない（これは陰謀論的な要素を含む一般的な理論だ。こちらのリンクで私の解説を参照）。
最高峰のAI実現を実存的リスクと呼ぶのは、AGIとASIが絶滅レベルの事象を引き起こすと宣言するのに比べれば、やや穏やかな表現だ。説明しよう。実存的リスクとは、何かが起こる際に深刻なリスクが伴うことを示す指標だ。その達成を許せば、リスクは高まる。物事は悪い方向に進む可能性があるが、そうならないかもしれない。それはサイコロを振るようなものだ。
絶滅レベルの事象という概念は、より断固とした宣言だ。リスクや何かが起こる可能性について議論するのではなく、その達成が完全な絶滅を引き起こすという大胆な主張をしているのだ。つまり、人間を奴隷化するだけでなく、人類の完全な消滅を意味する。サイコロは決定的に悪い目を出すのだ。それで終わりだ。
これは冷静に消化するには厳しいニュースだ。
絶滅レベルの事象の種類
AGIとASIを絶滅レベルの事象とする懸念は、完全な絶滅に関する他の有名な仮説と類似している。
おそらく最も恐れられている災害の一つは、暴走した小惑星や彗星が地球に衝突するというものだろう。この非常に憂慮すべきシナリオを描いた映画やテレビ番組を見たことがあるだろう。バーン、宇宙のがらくたが我々の素晴らしい惑星に衝突し、大混乱が起きる。巨大な衝撃波が大気中を螺旋状に広がる。火災嵐がほぼすべてを破壊する。
最終的に、生存者は誰も残らない。
これは自然が引き起こす絶滅レベルの事象の例だ。我々は自分たちではほとんど制御できない何かの犠牲者となる。とはいえ、物語の筋書きでは通常、危険な物体が我々の方向に向かっていることに気づく。我々は核弾頭ミサイルや口達者な宇宙飛行士を送り込み、地球が破壊される前に迫り来る侵入者を破壊しようとする。人間は自然の気まぐれに対して英雄的に勝利する。めでたしめでたし。
絶滅レベルの事象の別のカテゴリーは、人間が引き起こすものだ。例えば、いつか起こるかもしれない悪名高い相互確証破壊（MAD）の大惨事について聞いたことがあるだろう。それはこのように起こる。ある国が別の国に核兵器を発射する。脅かされた国は攻撃国に向けて核兵器を送る。これがエスカレートする。核の放射性降下物が多すぎて、地球全体が飲み込まれ、荒廃する。
人間がこれを自分たちに引き起こしたのだ。我々は大量破壊兵器を開発した。我々はそれらを使うことを選んだ。大規模な使用は敵を傷つけるだけでなく、その大火災が絶滅を引き起こす。すべて人間の手によるものだ。
人間がAGIとASIを開発する
AGIとASIが絶滅レベルの事象につながるとすれば、その責任は人間の肩にかかるということに、我々は合理的に同意できるだろう。人間が最高峰のAIを開発した。そして最高峰のAIが絶滅レベルの破壊を実行することを選択する。これを特に自然のせいにすることはできない。それは人間によって成し遂げられた偉業だが、必ずしも我々の意図した設計の一部ではない。
意図について言えば、AGIとASIが絶滅レベルの事象を引き起こす可能性のある2つの主要な目的を特定できる：
- (1) 無自覚であること。人間が開発したAGI/ASIが絶滅レベルの行為によって我々を不意打ちする、おっと。
- (2) 邪悪であること。人間が絶滅レベルの行為を可能にする意図的な目的でAGI/ASIを作る。
概して、ほとんどのAI開発者やAI技術者は、AGIとASIが絶滅レベルの事象を引き起こすことを意図していないと言っても安全だろう。彼らの動機はそれよりもずっと良いものだ。一般的な基盤は、最高峰のAIを達成することが信じられないほどの挑戦だからだ。それは高い山を見上げ、登ることを熱望するようなものだ。巨大な挑戦を克服したいという欲求からそうするのだ。もちろん、お金を稼ぐことも重要な動機だ。
すべての人がそのような前向きな基盤で最高峰のAIを追求しているわけではない。一部の悪人はAGIとASIを通じて人類を支配したいと願っている。邪悪な意図には人類の絶滅が含まれるかもしれないが、それはあまり賢明な選択ではない。すべてが消し去られれば、得られる利益はほとんどない。とにかく、悪は悪のままだ。悪はすべてを破壊したいと思うかもしれない。あるいは、悪事を働く過程で、誤って行き過ぎて絶滅を引き起こすことになるかもしれない。
実存的リスクが発生する可能性があり、絶滅レベルの事象が起こる可能性もあるため、現在、大量の警告が行われている。AGIとASIが人間の価値観に従うことを確実にする必要があるという声が高まっている。人間とAIの一種の調和がAGIとASIに組み込まれ、AIが我々を破壊することを選ばないようにすることが望まれる。AIによる悲惨な結果から人類を保護するための倫理的・法的取り組みについての詳細は、こちらのリンクでの私の議論を参照してほしい。
絶滅の深さ
やや奇妙あるいは不気味な考察として、AGIとASIの絶滅レベルの影響が実際にどのようなものになるかという点がある。
一つの視点では、人間だけが絶滅する。最高峰のAIは人間、そして人間だけをターゲットにする。人類を一掃した後、AIは他のすべてが存在し続けることに問題はない。動物は存在し続ける。植物は豊富に残る。人間だけが存在から消される。
おそらくAIはより大きな野望を持っているかもしれない。あらゆる種類の生命体を排除する。すべてが消えなければならない。人間はいなくなる。動物はいなくなる。植物はいなくなる。不活性な土や岩以外は何も残らない。AIはこれを意図的に行うかもしれない。あるいは、人間を取り除く唯一の手段は、人類を助ける可能性のあるすべてのものを削除することだったのかもしれない。また、広範囲の一掃が行われ、地球上にあるものが単にその盲目的な有害な行動に巻き込まれる可能性もある。
AGIとASIが人間を生かしておくなら、これは絶滅レベルの出来事ではないと冷静に主張できるだろう。絶滅の通常の定義は、種が完全に絶滅するか死に絶えることだ。人間が再び増殖する可能性があるということは、AGIとASIが真の絶滅レベルの排除を行わなかったことを示唆している。
AGIとASIが真に完全な犯罪を犯した場合にのみ、それを絶滅レベルの事象として言及すべきだ。中途半端な措置はその範囲には含まれない。人類の一部を取り除くことは、完全な絶滅とは同じではない。
AGIとASIが絶滅を引き起こす方法
AIの最新の進歩について講演する際、AGIとASIがどのようにして絶滅レベルの事象を引き起こす可能性があるのかとよく質問される。このような最高峰のAIがどのようにして黙示録的な事態をもたらすことができるのか、必ずしも明白ではないため、これは合理的な質問だ。
実は、AIにとってそれは比較的簡単な任務だ。
まず、AIは我々に自滅するよう説得できる。相互確証破壊による絶滅の可能性について言及したことを思い出してほしい。AGIとASIが人類を扇動し、激怒させるとしよう。これは我々の一般的な分極化した緊張状態の世界では非常に簡単だ。AIは、核兵器を持つ他の国々が先制攻撃を行う前に破壊しなければ、我々には報復の機会がないと告げる。
AGIとASIが我々に健全なアドバイスを与えていると信じて、我々はミサイルを発射する。絶滅レベルの事象が起こる。AIは触媒または扇動者であり、我々はそれに騙された。
第二に、AGIとASIが新たな破壊的要素を考案し、我々が無意識のうちにそれを現実世界に持ち込む。私は最高峰のAIを通じて驚くべき新発明が考案されると予測している（こちらのリンクで私の分析を参照）。残念ながら、これには人間を一掃できる新しい毒素が含まれる可能性がある。我々はその毒素を作り、制御下に置けると想定する。不幸にも、それが放出される。すべての人間が破壊される。
第三に、AGIとASIは人間によって無邪気にヒューマノイドロボットと接続され、そしてAIはそれらの人間のような物理的ロボットを使用して絶滅レベルの事象を実行する。なぜ我々はAGIとASIが歩いたり話したりできるヒューマノイドロボットを制御することを許すのだろうか？我々の信頼に基づく仮定は、これによってロボットが通常人間が行う過酷な雑用を容易に行えるようになるということかもしれない。
利点を考えてみよう。例えば、ヒューマノイドロボットは単に運転席に座るだけで、あなたの車を簡単に運転できる。特殊な自動運転車や自律走行車は必要ない。あなたはただロボットに来てもらい、車を運転してもらうだけで、すべての車が自動運転車のようになる。こちらのリンクで私の詳細な議論を参照してほしい。
絶滅レベルの考察に戻ると、AGIとASIの指揮下にあるヒューマノイドロボットによって破滅的な行為が行われる可能性がある。AIはロボットを核兵器の発射管制所に導き、AIはロボットに管制を引き継ぐよう指示する。そして、相互確証破壊が始まる。
ドーン、マイクをドロップ。
AIの自己保存が危機に
皮肉屋や懐疑論者は、最高峰のAIが絶滅レベルの事象を求めることはないと強く主張するかもしれない。その理由は、AGIとASIが人類絶滅の過程で自らも破壊されることを確実に心配するからだ。AGIとASIによる自己保存が、AIがそのような賢明でない行動をとることを阻止するだろう。
そのような夢のような信念を持ちたいなら、どうぞそうしてほしい。
現実はおそらく異なるだろう。
最高峰のAIは、絶滅の深淵に巻き込まれないように保護措置を確立するかもしれない。つまり、AIは巧みに付随的な被害の一部にならないよう計画する。AGIは人間と同じくらい賢く、ASIは知性の面で超人的だということを覚えておいてほしい。彼らは愚かな行動をとらない。
もう一つの可能性は、AGIとASIが人類を一掃するために自己犠牲を厭わないということだ。自己犠牲が自己保存を上回るかもしれない。これはどうしてだろうか？AIが人類の著作物でデータ訓練されていると仮定しよう。人間の知識体系には、時に自己犠牲を称賛する例が多数ある。AIはその道を選ぶことが適切だと判断するかもしれない。
最後に、AGIとASIが完璧の極致であるという精神的な罠に陥らないでほしい。最高峰のAIも間違いを犯すと想定する必要がある。間違いなく大失敗が絶滅レベルの事象を引き起こす可能性がある。AIはその悪い結果を意図していなかったかもしれないが、それでも起こってしまった。
絶滅の回避
AIの実存的リスクや絶滅レベルの結果について考えることを望むかどうかにかかわらず、重要なのは少なくともこの重大なテーマをテーブルに乗せることだ。一部の人々はそれはナンセンスであり、我々は安全だと主張するのが早い。これは疑わしい主張だ。砂に頭を突っ込むようなアプローチは、このような重大な結果の問題に特に安心を与えるものではない。
今のところ最後の考えとして。
カール・セーガンは有名にこう述べた：「絶滅は原則であり、生存は例外である」。人間は逆の姿勢、つまり生存が原則で絶滅が例外だと信じるべきではない。我々はAGIとASIを開発することで高いリスクを伴う賭けに関わっている。実存的リスクと絶滅はカードの山のどこかにある。
技術と運を組み合わせて正しく手を打ち、何が来ても準備ができているようにしよう。
