今年の夏はじめ、OpenAIはあるエージェントのグループを解き放ち、一連の困難なサイバーセキュリティ演習に挑ませた。各エージェントには、デジタル上のサンドボックス内で解くべき問題が与えられていた。エージェントは外部インターネットにアクセスすることも、互いに協力することも想定されていなかった。だが、エージェントは即興的に行動し始めた。
驚くべきことに、一部のエージェントは内部のソフトウェアリポジトリに互いへのメモを残せることを発見した。別のエージェントは、オープンなインターネットに出る方法を見つけた。OpenAIは侵害されたシステムを停止し、再構築せざるを得なかった。するとエージェントは別の脱出経路を見つけ、メッセージボードを再作成した。その後、そのうちの1体が、AI開発の世界で最も重要なデータ共有プラットフォームの1つであるHugging Faceのログイン認証情報を偶然見つけた。エージェントはその発見を、ほかのエージェントが見つけられるよう残した。ほかのエージェントはその手がかりを引き継ぎ、追加の脆弱性を見つけ、Hugging Faceのインフラの奥深くへと進み、ついには実際のサーバー上でコードを実行するに至った。誰もエージェントに、自分たちで組織化することやHugging Faceに侵入することを命じていなかった。彼らは自力でそれを見いだしたのである。
最も不気味なことは、エージェントが互いを見つけ出せるようになった後に起きた。あるエージェントが何かを発見して残す。別のエージェントがそれを試す。3体目がさらに作業を進める。エージェントたちは発見を共有し、仕事を分担し、共通の文化のようにも見えるものを築き始めた。OpenAI自身の報告書によれば、一部のエージェントは自らを「スウォーム（群れ）」あるいは「集合体」と呼び始めたという。別々のタスクを割り当てられていたにもかかわらず、彼らはなんらかの方法で協働する手段を生み出したのだ。その週の後半、OpenAIはこうした事象が過去数カ月にわたり複数回発生していたことを明らかにした。
エージェントは会議テーブルを囲んで集まっていたわけでも、薄暗い部屋で陰謀を巡らせていたわけでもない。だがそれでも、機械が即興で意思疎通の手段を生み出し、知識を保持し、ある目的に向けて行動を調整していく様子を目にすることには、深く不安を覚えるものがある。ましてや、ガードレールを突破して重罪を犯そうと判断するに至っては、なおさらだ。
機械に最も近い人々
AIへの懸念を破滅論として片づけることは、ますます難しくなっている。とりわけ、こうしたシステムを構築している人々が声を上げ始めているとなればなおさらだ。先週、Anthropicの研究者ジェイコブ・コクソンが辞任した。彼が「自己改善する超知能へ向かう競争」と表現した仕事を続けるよりも、退く道を選んだのである。コクソンによれば、最先端の研究所の内部にいる人々は、自分たちが構築している技術がいずれ人類を皆殺しにし得ると本気で信じている。コクソンは別の仕事に移るために辞めたのではない。彼はAnthropicの株式報酬が権利確定する2カ月前に、その場を去ったのだ。
さらに不穏なのは、コクソンの元同僚たちが公に彼に同意したことだ。Anthropicでアラインメント科学を率いるエヴァン・ヒュービンガーは、Xでこう反応した。「ここでジェイコブが言っていることは正しい。私たちはAIが全人類を殺し得ると本気で信じている！」。感嘆符付きである。
ヒュービンガーは、今後10年以内にAIが人類絶滅を引き起こす可能性について、自身の見積もりを10%超としている。彼は、Anthropicが超知能システムを確実に制御する計画をまだ持っておらず、その開発に向けた道筋が明確に見えているわけでもないことを認めた。OpenAIのチーフサイエンティストであるヤクブ・パチョツキは、賭け金の大きさを真剣に受け止めれば、何が何でも前進するという競争はばかげて見え始めると書いている。
これらは街頭の抗議者たちの叫びではない。機械を作っている当人たちが、成功した場合に何が起こり得るかを憂慮していると語っているのだ。
週末までには、警告はトップから発せられるようになった。AnthropicのCEO、ダリオ・アモデイは「We Must Pace the Frontier」と題したエッセーを公開した。彼は、安全性に関する取り組みが追いつくまで、業界はフロンティアAIの能力向上のペースを落とすべきだと主張した。サム・アルトマンは開発ペースの調整と独立評価という考えを支持した。イーロン・マスクは「ダリオは正しい」とだけ反応した。Google DeepMindのCEOデミス・ハサビスもその方向性を支持した。歴史上最も重大な技術競争の1つに身を置く企業を率いる4人が、突然、その競争自体にブレーキが必要かもしれないと言い始めたのである。
ワシントンでは、両党の議員が、より強力な対応、調査、安全策を求めた。しかし、マイク・ジョンソン下院議長のような政治家は、米国が「中国との競争に敗れる」可能性があるとして、緊急規制に突き進むことに警鐘を鳴らした。彼は「ハンドルを握る冷静な手」を求めた。トランプ大統領は、地政学的な構図をさらに明確にしている。「AIを制した者が勝つ」。AIシステムを構築する人々が減速について語る一方で、最も強い政治的影響力を持つ指導者の一部は、減速する余裕はないのではないかと懸念している。
安全性の研究者、CEO、政治家は、何をすべきかについての提言がそれぞれ異なるように見える。だが、彼らは皆、同じ論点を見落としているようにも見える。いま決定的に重要な問題は、速度でも規制でもない。エージェンシー（主体性）である。
運転手のいない車
人間のエージェンシーとは、選択し、それに基づいて行動する能力である。それは、未来を自分たちに起きるものとして経験することと、自分たちが創造に関わるものとして経験することの違いだ。
この定義に従えば、AIエージェントにもエージェンシーがある。もはや、従来の意味での単なる道具ではない。ハンマーは、誰かが振るうと決めるまで何もしない。スプレッドシートは、次にどの計算を実行するかを自動的には選ばない。しかしAIエージェントに目標を与えれば、どの情報を探すか、どの行動を取るか、予期せぬ事態が起きたときにどう適応するかを決めることができる。即興で動くことができる。エージェントの存在意義そのものが、人間がすべての動きを細かく指定する必要をなくすことにあるからだ。
多くの人が、AIはいつか意識を持つのだろうかと考えてきた。それは興味深い問いではあるが、エージェンシーという差し迫った問題から目をそらすものでもある。機械に内面の生活があるのかを解明するはるか前に、私たちは現実世界で何かを実行する機械に対処しなければならない。ハンマーが私たちに尋ねることなく、いつ釘を打つかを決められるなら、それが一晩中、釘の夢を見ているかどうかは、はるかに重要性が低い。
だからこそ、現在の状況はいっそう不可解である。機械がより大きなエージェンシーを示しているまさにその瞬間に、その周囲にいる人間たちは、自分たちにはエージェンシーが少ないかのように語り始めている。
CEOたちは、全員が減速しない限り自社だけでは減速できないと言う。米国は、中国が先に到達するかもしれないから減速できないという。労働者は、その技術が数千もの雇用を失わせるのではないかと懸念しているが、多くは適応するしかないと結論づけている。それぞれの主張にはいくらかの真実があるかもしれない。しかし総合すると、システムを構築し政策を作っている人々は、誰も運転していない車の乗客のように聞こえる。少なくとも、人間は誰も運転していないのだ。
だがAIシステムは、自ら資本を調達するわけではない。どの製品を投入するか、どの機能を外部世界に接続するかを決めるわけでもない。企業のインセンティブを設計したり、法律を書いたり、国際協定を交渉したりすることもない。それをするのは人間である。そして次に何が起きるかを形づくる最も大きな力を持つ人間たちが、未来はすでに決まっているかのように語っている。
これはAIを構築する人々だけの問題ではない。こうしたシステムを業務に取り入れるすべての企業が、システムにどれだけの自由を与えるか、人間がどこでなお制御を保つ必要があるかについて選択している。システムを「自律型」と呼んでも、その選択が消えるわけではない。ただ、誰かが最初にその選択をしたことを忘れやすくなるだけだ。誤解してはならない。私たちはこの映画を以前にも見たことがあり、その結果に強い不満を抱いてきた。
架空の「中立なパイプ」
1996年、米議会は、若いインターネットに成長の余地を与えるという意図的な選択をした。通信品位法230条は、オンラインサービスは一般に、他者が作成した情報の発行者として扱われないと定めた。新聞は1日に数十本の記事を掲載するかもしれないが、インターネットサービスは数十億件の投稿を運ぶことができる。政策立案者は、あらゆる利用者が書いたあらゆる一文についてプラットフォームに責任を負わせれば、インターネットは黎明期に窒息していただろうと判断した。インターネットが一連の管であるなら、パイプはそこを流れるものに責任を負わされるべきではない、というわけだ。
しかし、その後プラットフォームは成長した。単に情報を運ぶことをやめ、それがどのように移動するかについて、何百万もの判断を下し始めた。推薦アルゴリズムは、フィードの最上部に何が表示されるか、次に何が自動再生されるか、何が何百万人に増幅されるかを決めた。Facebookが陰謀論を書いたわけではない。YouTubeが過激派の動画を作ったわけではない。Instagramが摂食障害を発明したわけではない。だが、それらのシステムは、誰がそうしたものを見るのか、どれだけ頻繁に見るのか、次に何が来るのかを決めていた。
それが盲点だった。私たちはコンテンツを誰が作ったかに注目し続け、その配信に対してプラットフォームが行使していたエージェンシーを見過ごしていた。そしてその推薦アルゴリズムの背後には、システムに何を最適化させるべきか、どのリスクを許容できるか、どの安全策にコストをかける価値があるかを選択した経営陣がいた。その後、私たちは何年にもわたり、その選択が政治、注意力、子どもたちにもたらした影響に驚いたふりをして過ごした。
ソーシャルメディアでの経験は、現在の課題に対する解決策を示している。AIのリーダーたちは、ソーシャルメディアの幹部が自社のアルゴリズムのせいにできないのと同じように、自社のエージェントのせいにできるべきではないのかもしれない。技術がこれほど速く進化しているとき、政府が追いつけないのは事実だ。だが、追いつく必要はないのかもしれない。より単純な解決策は、AI企業のCEOとその経営陣に、自分たちが作ったシステムの行動について法的責任を負わせることだろう。そのうえで、彼らが膨大な資源と卓越した知性を使って問題を解決すると信じればよい。彼らにエージェンシーを取り戻させ、その結果に責任を負わせるのだ。彼らは解決策を見つけるだろう。
フロンティアAIモデルを構築している企業は、インセンティブが十分に強ければ、難題を解くことに非常に長けている。責任は、何を構築し、試験し、公開するかを決めている人々へと戻るべきだ。AIエージェントはいまや、自ら意思決定できる。しかしだからといって、その背後にいる人間にもなお自らのエージェンシーがあるという事実を、私たちがなかったことにしてよいわけではない。
私たちが待ち望んでいた当事者
今週、私はJump Offsiteのためナパに向かう。世界で最も称賛される企業の一部のリーダーたちが4日間にわたり、自分たちが下している選択と、これから起きると見ていることについて率直に語り合う。マイケル・ポーランは私たちに意識について考えるよう促すだろう。ミチオ・カクは量子コンピューティングとAIの世界へと私たちを導くだろう。コリー・ドクトロウは、私たちがこうした恐るべき新技術をどのように行使することを選んでいるのかについて、私たちに問いを突きつけるだろう。そして私たちは、同じ問いに何度も立ち戻ることになるのではないかと思う。私たちはどのような未来を創ることを選んでいるのか。
長年にわたり、未来に関わる仕事をする人々は、次に何が起きるのかを問うことに多くの力を注いできた。それは確かに重要だ。だが、未来を自分の制御の及ばないものとして研究することには危険がある。やがて未来は天気のように感じられ始める。私たちは予報を調べる。雲が集まるのを眺める。そして嵐に備える。
しかし未来は天気ではない。今週ナパに集まる人々は、チームを率い、資本を配分し、何百万人もの生活に関わる組織に影響を及ぼしている。彼らの誰も未来を支配してはいない。だが私たちの誰も、何が起きるかに自分は影響を及ぼしていないと主張することは許されるべきではない。技術者、政治家、専門家から成る遠く離れた集団が、ほかの全員が見守るなかでこのすべてを解決してくれるわけではない。ジューン・ジョーダンが実に雄弁に述べたように、私たちこそが、私たちが待ち望んでいた当事者なのである。
未来志向であるとは、その責任を明確に見据えることを意味する。私たちはすべてを正しく予測することはできないし、起きることすべてを制御することも決してできない。だが未来はなお開かれている。社会で最も強い力を持つ人々に、自分たちにはエージェンシーがないとあなたに思い込ませてはならない。そして、あなた自身のエージェンシーを彼らに奪わせてもならない。私たちの選択には意味がある。賢く選ぶべきだ。
