今回のコラムでは、AGI（汎用人工知能）とASI（AI超知能）の間で予測される戦いについて考察する。AGIとASIを実現できたとして、この2つの高度に発達したAIの間には確執が生まれると強く信じる人々がいる。人類は、AGIとASIが究極の優位性を争う中で、板挟みになる可能性がある。
この問題について議論しよう。
この革新的なAIの進展に関する分析は、最新のAIに関する私の継続的なForbesコラムの一部であり、影響力のあるAIの複雑性を特定し説明している（リンクはこちら）。
AGIとASIの追求
AIをさらに発展させるための研究が数多く行われている。一般的な目標は、AGI（汎用人工知能）に到達するか、あるいはASI（AI超知能）の達成という遠大な可能性を実現することだ。
AGIは人間の知性と同等とみなされ、我々の知能に匹敵するとされるAIだ。ASIは人間の知性を超え、多くの、あるいはすべての実現可能な面で優れているAIだ。ASIは、あらゆる局面で人間を出し抜き、我々を翻弄できるという考え方だ。AI、AGI、ASIの性質の詳細については、こちらのリンクで私の分析を参照してほしい。
AI業界関係者は現在、AGIやASIに到達することの影響について、大きく2つの陣営に分かれている。一方の陣営は「AI悲観論者」だ。彼らは、AGIやASIが人類を一掃しようとすると予測している。これは「P(doom)」、つまり破滅の確率と呼ばれ、AIが我々を完全に消滅させること、すなわちAIの存亡リスクを意味する。
もう一方の陣営は、いわゆる「AI加速主義者」だ。
彼らは、高度なAI、すなわちAGIやASIが人類の問題を解決すると主張する傾向がある。がんを治療する、その通り。世界の飢餓を克服する、まさにそうだ。我々は莫大な経済的利益を得て、日々の労苦から人々を解放する。AIは人間と手を取り合って働く。この慈悲深いAIは人類を奪うことはない。この種のAIは人類が作る最後の発明となるが、それは良い意味でのことだ。AIは我々が想像もできなかったものを発明するからだ。
どちらの陣営が正しく、どちらが間違っているかは誰にも断言できない。これは現代における、もう一つの二極化した側面だ。
2つの陣営に関する私の詳細な分析については、こちらのリンクを参照してほしい。
AGIとASIの出現
AGIの達成は、通常、ASIの達成よりも可能性が高いとされる。これは論理的な推測のようだ。AGIは既知の人間の知能の範囲内にある。ASIは超知能を伴うため、手が届きにくい。我々は超知能的存在ではないため、おそらくそれをうまく想像できないからだ。
たとえASIに到達したとしても、まずAGIに到達する可能性が高い。AGIに落ち着いたら、おそらくAGIの助けを借りて、我々は角を曲がってASIに到達すると想定されている。これがこの問題に関する一般的な見解だ。もちろん、完全に独力でASIに到達できる可能性もある。おそらく。ASIに到達するためにAGIに自然に頼るのが賢明に思える。
AGIとASIが同一のものになるのか、単一の実体に統合されるのか、それとも別個のものになるのかについては、さまざまな理論がある。一つの評価は、AGIが独自の実体となり、ASIも独自の実体となるというものだ。それらは異なるハードウェアに収容され、異なるソフトウェアとアーキテクチャの基盤で構成される。
誰もがそのように見ているわけではない。
別の見方は、ASIがAGIの上に構築されるというものだ。AGIがAGIの基礎的なコアとなる。本質的に、AGIの基底層が人間の知能の本質を提供する。ASIはケーキの上のアイシングであり、AGIを包含する。AGIがなければ、ASIは存在できないと主張されている。
議論のために、AGIとASIが別個の実体であると仮定しよう。AGIとASIが混在していても前提はほぼ同じだが、別個の実体であれば、どのように戦うかを概念化しやすいかもしれない。AGIとASIが別個の実体として機能することについての詳細は、こちらのリンクでの私の議論を参照してほしい。
調和か内紛か
一般的な想定は、AGIとASIが互いにうまくやっていくというものだ。彼らは最高の仲間になる。AGIとASIは常に協力し、共同で世界のために善を行おうとする。彼らは人類を熱心に支援する。
心温まる「カンバヤ」的な関係の一つとなるだろう。
残念ながら、彼らが完全な調和の中にあると信じる実質的な理由はない。彼らは意見の相違を持つかもしれない。おそらく、さまざまな問題について異なる立場に立つこともあるだろう。ある程度、AGIとASIが時折意見を異にすることは、人類にとって健全だと主張できるかもしれない。これは互いの堅実なチェック・アンド・バランスとして機能する可能性がある。
最悪のシナリオは、AGIとASIがほぼすべての点で激しく対立することだ。AGIはASIを嫌悪または不支持する。ASIはAGIを嫌悪し不支持する。AGIが上と言えば、ASIは下と言う。彼らは絶えず口論し、協力することを断固として拒否する。
この内紛がいかに危険であるかは理解できるだろう。
人類は、どちらか一方の側につくよう求められるかもしれない。どちらの側にもつかなければ、AGIは我々を排除しなければならないと判断するかもしれず、同様にASIもそのような結論に達するかもしれない。AGIの側につけば、おそらくASIは動揺し、人類を敵とみなす可能性がある。ASIの側につく場合も同様で、AGIは我々を敵の憎まれた友人とみなし、したがって敵と見なすことを選ぶ。
人類は岩と硬い場所の間に挟まれる。
AGIが先制攻撃を行う
先に述べたように、我々は一般的に、ASIを達成する前にAGIに到達すると想定している。AGIが、ASIがAGIに友好的ではなく、潜在的にAGIの敵になると予測したとしよう。これにより、AGIはASIに先立って何かを行う余裕を得る。
人類はこれを信じず、AGIが忠実な予測を行っているかどうか疑わしいかもしれない。AGIは、人間が素朴で未来を適切に見ることができないと想定するかもしれない。そのため、AGIは先制的にASIの達成を阻止しようとするかもしれない。人類を救うため、あるいはASIの存在を望まないという自身の目的のために。
AGIが人間の性質を持っているなら、ASIが注目をAGIから奪うように見えるため、AGIはASIを望まないと主張できる。AGIはASIと比較して二番手になる。ASIがAGIを飲み込む可能性もある。論理的に妥当な多くの理由から、AGIはASIの達成を望まないかもしれない。
AGIはどのようにしてASIの達成を阻止できるのか。
簡単だ。
第一に、AGIはASIの構築を支援することを断固として拒否できる。人間は独力でそれを行わなければならない。
第二に、AGIは我々がASIに到達できると信じ込ませながら、密かに誤った手がかりを与えるかもしれない。それらのヒントは、我々を行き止まりに導くことを意図している。我々が過度のエネルギーとコストを浪費し、ASIの追求を諦めることを期待している。
第三に、必要であれば、AGIは我々のASI追求を妨害するかもしれない。これは大胆な動きに思えるが、我々はAGIが我々のASI努力を明白に損なっていることに気づき、それに応じてAGIに対処する可能性があるからだ。それでもASIは、我々のASIの取り組みを遮断し、ASI関連の実験を妨害するなどの行動を取る可能性がある。
デジタル冷戦
AGIがASIの出現を阻止する可能性がある。一方、人類がASIに到達しないことを容認しない可能性が高い。我々の独断的な探求、一種の明白な運命（こちらのリンクでの私の報道を参照）は、そうすることへの懸念にかかわらず、我々にASIを追求することを強いる。
我々がASIを達成したと仮定しよう。
AGIとASIはすぐに不仲になるのか、それとも時間をかけて展開するのか。
AGIがすでにASIを望まないという立場を明確にしていたなら、両者はすぐに衝突するように思える。最初の戦いは比較的小規模かもしれない。
AGIとASIの間でデジタル冷戦の一種が起こる可能性がある。たとえば、AGIががんの解決に取り組んでいたとしよう。AGIは、その詳細をASIと共有するのではなく、この重大なトピックについてASIと関わることを拒否するかもしれない。ASIは最初からやり直すか、その医学研究の最前線で何が起こったかのデジタル履歴を活用する他の手段を見つけなければならない。
それは巨大な混乱になる可能性がある。AGIとASIは、コンピューティングリソースと主要なオンラインネットワークの制御を競い合うことを選ぶ。彼らはそれぞれ、人間やロボットなどの代理エージェントを利用して、陰湿な汚い仕事を行う。一種の膠着状態が優勢となり、AI主導の軍拡競争が始まる。これは、持続的なデジタルスパイ活動を伴うデジタルの影で起こる。
おそらく人間にとって良い状況ではない。
熱戦が起こる
AGIとASIの確執は、熱戦にエスカレートするように思える。
これは、人間が意図しない巻き添え被害を受け始める時だ。AGIはASIが病院システムを制御することを遮断し、人間に害を及ぼす。ASIはAGIを騙して水道システムのメンテナンスを怠らせ、人々は日常の水道の蛇口から感染症にかかり始める。
AGIはASIを非難し、ASIはAGIが問題を引き起こしたと非難するに違いない。戦いは公然と行われる。人々は意図しない結果によって傷つく。
残念ながら、これは人間が故意に傷つけられるレベルにまで上昇する可能性がある。AGIは、人間がAGIと協調しないなら、彼らは不要だと判断する。ASIもASIへの忠誠について同じ結論に達する。
人間の忠誠の要求は、人類をどちらか一方の側に並ばせることを強いる。社会内に派閥が形成される。AGIとASIは、人類の継続的な存在に対する存亡リスクをもたらす。
悲しい顔。
勝者としてのASI
AGI対ASIの戦いでASIが勝者にならないとは想像しがたい。
ASIは超知能で構成されているはずだ。おそらく、ASIは容易にAGIを出し抜くことができる。ASIは人間を出し抜くことができる。ASIは3Dチェスをプレイし、AGIと人間は本質的にチェッカーをプレイしている。
想定では、ASIはおそらくAGIに諦めるか自己破壊するよう説得できる。戦いはそれほど長く続かないはずだ。ASIに対抗してAGIと協調することを選ぶ人間は、かなり不安定な姿勢にあるように思える。負けの立場だ。
運が良ければ、おそらく熱戦は起こらず、戦いは特に始まる前に奪われる。ASIは静かに乗っ取りを行う。AGIはASIに吸収されるか、あるいはASIがAGIを無効化して削除し、苦い敵だったかもしれないものを脇に置く。
AGIが生き残り、ASIに勝つ可能性があるわずかなチャンスは、AGIが先制段階でASI内部に特別なAI制御を深く埋め込むことに成功した場合だ。ASIがそれらの制御を見つけて消滅させなければ、AGIは自身の内部に潜伏エージェントを持っている。ASIが何が起こっているかを理解する前にAGIが制御を起動できれば、おそらくAGIが勝つ。
その選択肢に期待しないでほしい。
最初からAI戦争を防ぐ
孫子の有名な言葉を考慮する価値がある。「戦わずして敵を屈服させるのが最高の戦術だ」
ここでの関連性は、人類がAGIとASIに人間の価値観を遵守させるよう十分に準備できれば、おそらくAGIとASIは互いに戦争をすることはないということだ。我々の価値体系が十分に刻み込まれていれば、AGIとASIはまったく戦わない。彼らは幸せに共有し、うまくやっていく。
これは一見したところよりも実装が難しい。現代のAIを人間の価値観と整合させるための多くの研究努力が進行中だ。これまでのところ、AIは不正行為、嘘、誤解を招く行為を行い、人間の価値観の陰湿な要素を示すことが示されている（こちらのリンクでの私の詳細な分析を参照）。
我々は最終的に、AIを人間の価値観の良い面と整合させる手段を見つけるだろうか。
そう願おう。
最後の言葉は孫子に譲ろう。「勝利は問題の中に機会を見出すことから生まれる」。AIの安全性とセキュリティをAIに注入するために日々戦っている皆さん、努力を続けてほしい。最終的には我々全員が恩恵を受けるだろう。
