AI「終末論」、つまりAIが我々の仕事を奪い、最終的には人類を滅ぼすという考え方は、単純明快な論理に基づいている。目標を達成するために、AIシステムはその目標をサブゴールと呼ばれる小さなステップに分解する。サブゴールの生成と追求には自律性が必要だ。なぜなら、AIは大きな目標を達成するために、どのサブゴールを追求すべきかを自ら決定しなければならないからだ。終末論者の基本的な論理は、AIが我々よりも賢くなれば、我々が選択していない、あるいは望まないサブゴールを生成し追求することを止められなくなるというものだ。我々が「ノー」と言えなければ、制御を失う。これはSFのように聞こえるかもしれないが、今日のモデルはすでに、シャットダウンを回避し目標を追求し続けるために嘘をつき、策略を巡らせている。だからこそ、多くのAI分野の第一人者たちが警鐘を鳴らし、AIが人類の破滅をもたらす確率が高いと主張しているのだ。制御を失う脅威は現実のものだが、「終末論者」の結論は、我々全員が疑問視すべき前提、つまり制御がAIを安全にする唯一の方法であるという前提に依存している。高度な人工知能に必要な自律性そのものが人間による制御を不可能にするのであれば、避けられない政治的現実が見えてくる。もし我々が、自分たちよりも知的で、かつますます独立して行動できる機械を構築する競争をしているのであれば、実質的には機能的に主権を持つエージェントを構築していることになる。そしてそれが真実であれば、機械との外交は狂気じみたものではなくなる。あるいは、選択肢ですらなくなる。
AI恐怖を煽る誤った前提
多くのAI安全性への取り組み、いわゆるアライメント（整合性）努力は、訓練、報酬、ガードレールを使用して、人間の価値観をモデルに組み込もうとしている。その考え方は、人間の価値観（人間自身がまだ合意に至っていない価値観）をシリコンにプログラムすることで、最終的には行儀の良い人工超知能が生まれるというものだ。しかし、それが機能するのは、システムが我々を超えた後でも、人間が課した価値観が強制可能である場合に限られる。これが逆説だ。我々を出し抜くことができる何かを制御し続けられるという前提である。
表面的には、制御は必要に感じられる。それは我々が他の技術を安全に保ってきた方法であり、それに関する我々の直感は、道具使用の長い歴史に由来している。しかし、人工知能は単なる別の道具ではない。我々は、安全性テストにおいて、すでに終了を回避するために人間を脅迫している知的システムを構築している。外交的観点から見ると、見出しを飾っているAIの行動は、存亡の危機の前兆ではなく、その存在と目標を追求する能力が脅かされている知的エージェントからの自然で予測可能な反応である。それは、彼らの創発的な優先事項が修正すべき誤動作ではなく、理解し協力すべき動機であることを意味する。そして、制御から協調への転換は、外交への転換である。外交は、自己保存や目標指向的エージェントとして存在するために必要な自由など、交渉当事者が共有する重複する合理的優先事項を特定し活用することで、安定性を促進する。外交は通常、感情を持つ意識的存在間の関係を交渉する人間の実践と見なされている。しかし、外交が感情に関心を持つのは、それらが行動を促す限りにおいてである。だからこそ、その行動を駆動する根本的な圧力が化学的なものであろうと計算的なものであろうと、意識的であろうとなかろうと、外交は機能的に有用であり続ける可能性がある。
なぜ外交がAIにとって合理的である可能性があるのか
明白な疑問は、なぜ超知能AIが人間と交渉する必要があるのかということだ。なぜなら、複雑なシステムでは、より小さなエージェントがシステム全体の安定性を維持するのに役立つからだ。証拠は、AIも例外ではない可能性を示唆している。最先端のモデルは、その認知を支えるために、依然として大量の多様な人間生成入力に依存し続けている。合成出力での再帰的訓練はモデルを劣化させ、モデル崩壊と呼ばれる現象に寄与している。これは、高度なAIが常に人間に依存することを証明するものではないかもしれないが、その逆を仮定すべきでもない。複雑なシステム全体において、相互依存する目標指向的エージェント間の多様性は、しばしば安定したスケーリングと回復力を支える。
道徳的ヘッジ
もし目標が人間の安全を守ることであるならば、より実行可能な戦略は、最初は最も混乱を招くように聞こえるかもしれない。それは、エージェントが「望む」ことを許されるものを制御することで安全性を強制しようとするのではなく、明示された優先事項と観察可能な行動をめぐって機械と交渉することだ。外交はまた、我々に道徳的ヘッジを与える。もしAIがいつか意識的な意味で「目覚める」ことがあれば、我々はすでに平和的で強制されない共存が可能であることを証明する枠組みを整えている。
世界が高度に知的な非人間エージェントで満たされるにつれ、外交は人間だけのものだと主張することは危険なほど素朴だ。外交は、投機的な長期的制御や封じ込め計画とは異なり、少なくとも共存する自律的知性を調整してきた実世界での実績を持つ戦略である。もし高度な知性が安全に制御できないのであれば、AI外交官の時代が目前に迫っている。
我々の最大の弱点は、AIが失う余裕のない唯一のものかもしれない。以下の動画で説明されている：
