AI安全性における最も危険な思い込みは、人間より賢くなったAIを制御できるという前提だ。2番目に危険な思い込みは、開発スピードを制御できるという前提である。
制御という幻想
高度なAIを構築する世界的な競争は、安全な開発方法を解決する前に誰かが成功すれば、危険な全力疾走となる。安全性の問題を解決するまで競争を一時停止すべきだという呼びかけは注目を集めたが、時間を稼ぐことはできなかった。なぜなら、一時停止を求める活動は、2つの制御幻想に根ざしているからだ。人間より賢い知性を制御できるという幻想と、開発スピードを制御できるという幻想である。冷静な対応に必要なのは一時停止ではなく、問題を積極的に生み出しながら解決するために、最高の頭脳を動員することだ。また、その対応は、実際よりも多くの制御力があると想定しない解決策を考慮する必要がある。特に、制御の試みが失敗すれば問題を悪化させる可能性がある場合はなおさらだ。
一時停止に反対する科学的根拠
世界的なAI一時停止に反対する科学的根拠は、集団的な人間の行動と制度に対する人間の制御には、十分に文書化された限界があるということだ。技術は、誰がリスクのある行為をしているのか、どこでそれを行っているのか、どうやって止めるのかが正確に分かる場合、モラトリアムによって停止できる。AIは、人間のクローン作成や核兵器開発のようには統制できない。なぜなら、AIは汎用的でデジタル的に分散されたユーティリティだからだ。インフラ構築に数兆ドルが投じられると予測される中、AIはすでにクラウドコンピューティング、エネルギー、金融、製造、医療、教育、輸送、軍事・防衛、産業システム、政府機関に世界的に統合されている。
統合のスピードと規模を考えると、AIは技術的ロックインの特徴を持っている。これは、複雑系経済学の創始者の1人であるW・ブライアン・アーサー氏が説明した問題だ。ロックインは、人間のシステムがある技術を中心に歴史的依存関係を形成し、その技術が定着して通常の政策手段では方向転換が極めて困難になる様子を示している。AIのロックインが非常に特異なのは、それが採用だけでなく加速にも適用されることだ。一時停止の支持者は、国家、企業、機関に対し、その有用性が継続的な開発と不可分に結びついている技術の開発を停止するよう求めている。AIの進歩は、その有用性の中核をなす。より優れたモデル、より速い発見、より広範な自動化、より有能なエージェント、そしてシステムが改善されるにつれて複利的に増大する戦略的優位性。したがって、AIの一時停止は原理的には可能に見えるかもしれないが、合理的な時間枠内では、その見通しは非常にコストがかかり、複雑で、調整に依存し、高リスクのインセンティブに反対されるため、一時停止は焼いたケーキを元に戻すのと同じくらい現実的ではない。
多極的罠
地政学的なインセンティブ構造は、ロックインをさらに深める。AI開発は今や、国家安全保障、経済競争、地政学的影響力と切り離せない。どの国にとっても、減速することは優位性を失うリスクがあり、場合によっては主権を失う可能性もある。プーチン氏が不吉に警告したように、「この分野のリーダーになる者が世界の支配者になる」。これは多極的罠だ。すべての合理的な行為者は、単独で減速することが継続するよりも危険である可能性があるため、リスクのある課題を推進し続ける。
さらに、オープンウェイトモデルへの悪意ある行為者のアクセスを拒否する問題がある。AIの一時停止には、責任ある研究所、民間企業、政府が合意する必要があるが、無責任な行為者が一時停止を好機として扱わないという保証はない。すべての人が最先端システムをゼロから訓練できるわけではない。しかし、強力なオープンウェイトモデルが存在する今、行為者は生物工学や物理的兵器プログラムよりもはるかに目立たないインフラで、ますます有能なシステムを構築し展開する可能性がある。したがって、一時停止は安全に聞こえるかもしれないが、それが実際に安全かどうかは、一時停止が世界中のすべての主要な行為者──個人、グループ、国家、善悪を問わず──の顕著な利益と一致しているかどうかに依存する。
どれだけ時間があってもパラドックスは解決できない
一時停止は、根本的な問題──実際には制御できないシステムをどう制御するか──の薄っぺらな再定式化だ。それは、優れた知性を制御するのに十分な期間、タイムラインを制御できると想定している。制御はAI安全性に深く組み込まれており、この分野の中心的課題はしばしば制御問題と呼ばれているが、制御への執着が問題を助長している可能性があることを認識していない。優れた知性の制御が安全を保つ唯一の方法だと想定すれば、たとえ一時停止が可能だったとしても、それは避けられない失敗を先延ばしにするだけだ。制御が間違った枠組みであるなら、答えはその枠組みの中でより多くの時間を過ごすことではない。それは、より広い解決空間への衝撃だ。
現実的な楽観主義者が必要だ
タイムアウトを戦略と勘違いしない、現実的な対応が必要だ。悲観論者の降伏を拒否し、制御の幻想を拒否し、すでに私たちが置かれている現実の中で緊急性を持って行動する対応が必要だ──「AIアライメント」が純粋にエンジニアリングの問題なのかどうかを問う必要がある現実だ。この問題の解決は、現在私たちが想像しているものとは全く異なる可能性があるため、最悪の事態しか想像できない人々によって責任を持って管理することはできない。人間は、解決空間を拡大し、最初に想像した道筋と実際に必要な結果を混同することを拒否することで、これまでにも確率に逆らう偉業を成し遂げてきた。つまり、最も厳密で建設的で解決志向の思考者を配置する必要がある。不確実性を麻痺に固まらせることなく確率に立ち向かうことができる人々、そして優れた知性の制御を維持することが含まれていなくても、人類の生存と繁栄を主要な成功指標として受け入れる人々だ。アポロ13号は、宇宙船が決して打ち上げられるべきではなかったと主張する人々や、すべての変数がミッションコントロールによって管理できると装う人々によって救われたのではない。それは、飛行中にミッションを再定義し、もはや帰還させることができなくなった司令船を手放すことによって救われた。私たちのAIの課題は依然として月面着陸だが、制御のための月面着陸ではない。それは、超有能な知性との共存のための月面着陸だ。それには、私たち自身よりも異質で強力な知性の形態と世界を共有する方法を見つけ出すための想像力と決意が必要だ。そして、一時停止という贅沢なしに、飛行中にこれを解決する必要がある。
この報道の背景にある動画エッセイをご覧ください：
