文明が警報を聞き、その音を解決のための行動と見誤ることがある。
私たちは今、そのような時代を生きている。
OpenAIとAnthropicでの勤務経験を持つジェイコブ・コクソン氏は、この問題を極めてシンプルに表現した。「このテクノロジーの力を過小評価してはならない」と。
力（パワー）。これこそ、私たちが聞き流してはならない言葉だ。性能ではない。知能でもない。生産性でもない。力だ。
チューリング、ウィーナー、グッド、ホーキング、さらにその後のボストロム、ラッセル、ユドコウスキー、ヒントン、ベンジオ、クリスティアーノ、カールスミス、テグマーク、ウォズニアック、サツケヴァー、ハサビス、アモデイ、リーヒー、そして最近ではゲイツら各氏に至るまで（ウィル・スミス主演の映画『アイ,ロボット』といった作品を通じて、ポップカルチャーがこうした警告を劇的に表現してきた役割も忘れてはならない）、コクソン氏は不穏な可能性に向き合っている。それは、知能が単なる能力にとどまらず、「真の力と資源」を獲得するための自律的な手段となり、最終的には人類に存亡の危機をもたらすかもしれないという可能性だ。
ウィーナーとチューリングから現在に至るまでの4分の3世紀（75年間）、科学技術分野の著名人たちは、同じ本質的な警告をさまざまな形で表明してきた。自律的で超人的な知能は、一度生み出されれば単なる道具であることをやめ、人間の制御を超える力となり得る、という警告だ。
それ以来、人工知能をめぐる議論のほぼすべてが変わるべきであった。「知らなかった」という言い訳は通用しない。なぜなら、私たちを魅了し、今やほぼ光速で拡散する警告に対する、私たちの貪欲でパブロフの犬のような欲求は、もはや無知という贅沢を許してはくれないからだ。
だがそれは、こうした警告を消滅させる可能性のある解決策に対する、私たちの無関心を考慮していない。そうした解決策は、警告を生み出す条件を排除し、常に同じで決して革新的ではない刺激の連鎖（この刺激こそが、人々の関心を安価かつ大規模に引きつけ、無限に再利用することを可能にしている）を防ぐものである。しかし、こうした解決策は、常に警告を好む私たちの性質から、慎重に正反対かつ等距離の位置に置かれているのだ。
したがって、私たちは待ち続け、やがて同じ警告を伝える見出しがまた洪水のように押し寄せ、同じ問いが再び投げかけられ、同じ驚き、同じためらい、同じ深刻な懸念の表情が引き起こされるのを予期することになる。その間、私たちはガラスの瓶に閉じ込められたネズミのままであり、同じ動作を繰り返し、同じ道をたどり、まるで繰り返しそのものが進歩であるかのように堂々巡りをすることを強いられている。
あるいは、このループから抜け出し、次の事実を理解することもできる。
より速く計算するテクノロジーは、エンジニアリングの問題である。力を蓄積し、それを行使できるテクノロジーは、政治的な問題である。そして、十分に大きな政治的問題は、最終的には憲法上の問題となる。
人類はこれまでにもこの問題に直面してきた。国王は、権力は賢者の手にあれば安全だと主張した。帝国は、権力は文明人の手にあれば安全だと主張した。組織は、権力は専門家の手にあれば安全だと主張した。歴史の答えは驚くほど一貫している。支配者の人格は、権力の構造（アーキテクチャ）の代わりにはならない。すべての支配者が邪悪だったから立憲政府を発明したのではない。優れた支配者であっても人間であり、後継者は変わり、利害は衝突し、集中した権力は最終的に自己正当化を覚えるからこそ、私たちは立憲政府を発明したのだ。
なぜアルゴリズムの権力だけが、文明が最も苦労して勝ち取った教訓の一つから免除されるべきなのだろうか。
人工知能が安全であるか、あるいは安全になるかという問いは、私たちの視野を主に功利主義的な焦点に狭めてしまう。権力が安全であるべきだというのは有用であり、必要でさえある。しかし、安全性や確実性を求めるあまり、実用性そのものが権力を与えるという事実が見えなくなってはならない。そして、その権力が強大になったとき、その有用性よりもさらに重要な問いが生じる。その行使の正当性（レジティマシー）という問いだ。
何がアルゴリズムの権力を正当なものにするのか？
どのような目的のためにアルゴリズムの権力が生み出されるべきであり、その目的を定義する権限は誰にあるのか？これは、私たちが問いかけていない、立法的な問いである。
誰が、どのような権限の下で、どのような制限の範囲内でアルゴリズムの権力を行使することを許されるべきなのか？これは、私たちが問いかけていない、行政的な問いである。
その行使が公正で、正義にかない、合法であり、許容できるものであるかどうかを評価する独立した権限は誰が持つべきであり、それはどのような基準で判断されるべきなのか？これは、私たちが問いかけていない、司法的な問いである。
そして最後に、アルゴリズム的対抗権力の権限はいかに構成されるべきなのか。すなわち、アルゴリズムの権力そのものの行使に異議を申し立て、抑制し、停止し、覆し、あるいは撤回する力である。これは、私たちが問いかけていない、憲法上の問いである。
これが、Trias Algorithmica（アルゴリズム三権分立）1の前提である。
重大な影響力を持つアルゴリズムの権力が存在する場合、その規則を定義し、それを実行し、その正当性を判断する権限が同一の手に帰してはならない。
すべてのAI企業が邪悪だからではない。いかなる組織であっても、自らの権力の立法者、執行者、そして裁判官になることを求められるべきではないからだ。
そうした組織の中にいる人々は、チェック（抑制）されていない強大な権力がもたらす文明的な危険性を理解しているかもしれない。彼らは知的で、責任感があり、誠実で、安全な結果を心から望んでいるかもしれない。それにもかかわらず、彼らはこのような重大な権力の進歩の追求を推し進め続けるだろう。
これは、現代の大きな、しかし都合の良い幻想の一つを打ち砕く。すなわち、責任ある人々が責任ある行動をとることによって問題が解決される、という幻想だ。
もし企業AがAI競争のペースを落とせば、企業Bは落とさないのではないかと恐れる。企業Bは企業Cを恐れ、企業Cは企業Aを恐れる。そしてループは閉じる。それぞれが、開発の加速を責任ある行動として正当化できる。この不条理は完璧だ。
誰もが競争の危険を恐れるからこそ、まさにそのために全員が危険に向かって突き進むのだ。
その論理が不合理に思えるなら、それは間違いだ。これは、設計の悪いシステム内部における合理的な行動なのだ。
文明の安全を、競合他社が手に入れると信じている優位性を、他企業が自発的に拒否することに委ねるわけにはいかない。
責任あるアクターたちが、自分たち自身が恐れている結果へとシステム的に追い込まれるとき、その失敗はもはや道徳的なものではない。それは制度的なもの（システムの失敗）だ。
こうした警告を発している人々の多くは、最近、モデルの能力向上を一時的に禁止するという極端な措置まで検討している。そのような禁止措置を支持するかどうかは、ほとんど二次的な問題だ。
それが検討されること自体が、いかに議論が貧弱なものになっているか、そしてなぜその状態のままにしておいてはならないかを示している。
私たちは想像力を「加速（アクセル）」と「停止（ブレーキ）」、「すべてを作る」か「何も作らない」かという、2つのボタンに縮小してしまっている。
しかし、人類の文明はこれまでにも強力な技術や制度に直面してきたが、屈服か禁止かの永久的な二者択一を迫られることはなかった。
私たちは第3の可能性を発明した。権力を分散（分離）させることによって、権力を統治（ガバナンス）することだ。
一時停止は時間を稼ぐかもしれない。しかし、何のための時間なのか？
もし明日の一時停止措置（モラトリアム）が明けたとき、社会的影響力を強めるアルゴリズム・システムを、同じ企業群が、自己構築、自己配備、自己評価、自己承認して社会に導入する、同じ集中した権限を持ち続けているのだとしたら、私たちは問いを先送りしただけで、答えたことにはならない。
したがって、Trias Algorithmica1は、一時停止をめぐる議論が問いかけていないことを問うのだ。
何がアルゴリズムの権力の許容される目的を決定するのか？その権力が行使されるインフラを制御する権限は誰にあるのか？重大な影響を持つアルゴリズム・システムの導入を承認するメカニズムは何か？それらのシステムが公正で、合法で、容認でき、安全であるかどうかを評価する独立した組織は何か？その稼働を一時停止または停止できる権限は何か？その決定に対して異議を申し立てたり、不服を申し立てたりできるメカニズムは何か？機械を所有する者に対して「ノー」と言える対抗権力は何か？
これらこそが、アルゴリズムに媒介された文明における自由の構造（アナトミー）である。
規制されるべき当事者によって書かれた、お決まりの倫理憲章ではない。評価対象の組織に依存した、お決まりの安全委員会でもない。現在の管理者がリスクを理解しているからといって、前例のない権力の集中が慈悲深いままにとどまるという、ありふれた約束でもない。
私たちに必要なのは、もっと古く、もっと強固なもの、すなわち「対抗権力」である。
そしてそもそも、文明が並外れた信頼に依存せざるを得ないような、並外れたシステムを構築してはならない。
AI競争への警告が再び目に見える形で現れていることは、良い兆候ではない。私たちは少なくとも75年間、こうした警告を繰り返し目にしてきたのだから。
私たちは、警報が「家が燃えるかもしれない」と告げていることを認めざるを得ない。しかし、その甲高い音が鳴り止むと、誰もが警報を止めたことで火災の可能性が消え去ったかのように振る舞うのだ。
したがって、今重要な競争は、人工知能を目指す競争よりも大きく、それを止めようとする競争よりも賢明なものである。
それは、さらなる能力の向上が、より大きなアルゴリズムの権力を人々の生活に対する絶対的な権力へと定着させてしまう前に、現在のアルゴリズムの権力が絶対的な権力となることなく存在できる条件を確立するための競争である。
警告は主流となった。
今や、何がアルゴリズムの権力を正当なものにするのかという問いもまた、主流とならなければならない。
1 詳細については、『Trias Algorithmica: What Code Rules』を参照。
