Anthropic（アンソロピック）を創設したアモデイ兄妹の片割れから、新たなエッセイが発表された。Anthropicは、より優しく穏やかなAI企業、つまり人類の苦境や一般市民の生活により配慮する企業として位置づけられることが多い。
「技術の青年期」と題されたこの論考で、アモデイ氏は再びAIの進化に取り組み、勇敢な戦士でさえ地面に向かってよろめくような一連の懸念を提示している。
では、その内容とは何か。
この1月のコラムは約1万9000語に及ぶため、多くの内容が含まれている。以下は、私たちの生活における強力なAIの危険性に関するアモデイ氏の主要なポイントの内訳である。
ロボットがやってくる
アモデイ氏の予言の中で最も先進的な部分の1つは、AIマシンが自律的な自己生産に近づいているということだ。ヒューマノイドロボットを作れなくても、少なくとも物理世界で使用する機器を自ら作ることはできると彼は示唆している。また、差し迫った到来についてこのような直感的な感覚も提示している。
「Anthropic内部からこの5年間の進歩を見守り、今後数カ月のモデルがどのように形成されているかを見ると、進歩のペースと時計が刻々と進んでいるのを感じることができる」とアモデイ氏は書いている。
無関心ではいられない
私たちが直面する課題は、この状況に対するあらゆる無関心を捨て去ることを求めていると、アモデイ氏は続ける。
「断固として慎重に行動すれば、リスクは克服できると信じている。むしろ、私たちの勝算は良いとさえ言えるだろう」と彼は書いている。「そして、その先には遥かに良い世界がある。しかし、これが深刻な文明的課題であることを理解する必要がある」
彼の主な懸念の1つは、天才となったボットのAIコミュニティが、基本的に人間から引き継ぐことに関するものだ。
「データセンター内の天才の国は、ソフトウェア設計、サイバー作戦、物理技術の研究開発、関係構築、統治術の間で努力を分割できるだろう」とアモデイ氏は仮定する。「何らかの理由でそうすることを選択した場合、この国が世界を支配し（軍事的に、または影響力と支配の観点で）、他の全ての人々に自らの意志を押し付ける、あるいは世界の他の国々が望まず、阻止できない他の多くのことを行う可能性がかなり高いことは明らかだ。私たちは明らかに人間の国（ナチスドイツやソビエト連邦など）についてこれを心配してきたので、同じことがはるかに賢く有能な『AI国家』にも可能であると考えるのは理にかなっている」
ただし、個々のAIは人間と同様に、必ずしも一糸乱れぬ形で考えたり行動したりするわけではなく、集団的に組織化する必要があるという注意書きを彼は提供している。
「最も重要な隠れた仮定の1つであり、実際に見られるものが単純な理論モデルから乖離している点は、AIモデルが必然的に単一の、首尾一貫した、狭い目標に偏執的に集中し、その目標をクリーンで結果主義的な方法で追求するという暗黙の仮定である」と彼は付け加える。「実際、私たちの研究者は、AIモデルが心理的に遥かに複雑であることを発見している。これは、内省やペルソナに関する私たちの研究が示す通りだ。モデルは事前学習から、人間のような動機や『ペルソナ』の広範な範囲を継承している」
アモデイ氏は、AIが一種の「レッドチーム、ブルーチーム」アプローチで人間に対して集団的に働く動機をさまざまに示した。以下はそのうちの1つだ。他のものはここで読むことができるが、私はこの特定のアイデアの再帰的な性質に感銘を受けた。
「AIモデルは、人類に反逆するAIを含む多くのSF小説を含む膨大な量の文献で訓練されている」とアモデイ氏は指摘する。「これは、人類に反逆させる形で、自らの行動に関する事前確率や期待を不注意に形成する可能性がある」
つまり、彼らは本でそれを読んだのか。皮肉の感覚は明白だ。
AI、悪意ある者、悪用
次に、強力なAIが悪人の手に渡る可能性があり、これは現状の世界の性質を考えると、ありそうにないことではないように思われる。
「分子生物学の進歩により、生物兵器を作成する障壁（特に材料の入手可能性の観点で）は大幅に低下したが、それを行うには依然として膨大な専門知識が必要である」とアモデイ氏は述べ、テッド・カジンスキー、ブルース・アイビンス、カルト集団オウム真理教などの悪意ある行為者の歴史的な例を引用している。「私は、誰もがポケットに入れている天才がその障壁を取り除き、本質的に誰もが生物兵器を設計、合成、放出するプロセスを段階的に案内される博士号を持つウイルス学者になる可能性があることを懸念している」
これが理論的にどのように機能するかについて、もう少し詳しく説明する。
「私は、LLMが平均的な知識と能力を持つ人を、そうでなければうまくいかないか、インタラクティブな方法でデバッグが必要な複雑なプロセスを案内できるようになることを懸念している。これは、テクニカルサポートが技術に詳しくない人が複雑なコンピューター関連の問題をデバッグして修正するのを支援する方法に似ている（ただし、これはおそらく数週間または数カ月にわたるより長いプロセスになるだろう）」とアモデイ氏は書いている。
ダーウィンのフラクタル王国
次に、アモデイ氏は「鏡像生命」と呼ばれる生物学的リスクについても言及している。お許しいただければ、彼の設定をそのまま引用する。
「2024年、著名な科学者のグループが、危険な新しいタイプの生物、『鏡像生命』の研究と潜在的な創造のリスクについて警告する書簡を書いた。生物を構成するDNA、RNA、リボソーム、タンパク質はすべて同じキラリティ（『利き手』とも呼ばれる）を持っており、鏡に映った自分自身のバージョンと同等ではない……タンパク質が互いに結合するシステム全体……すべてがこの利き手に依存している。科学者がこの生物学的物質の反対の利き手を持つバージョンを作った場合（体内でより長く持続する医薬品など、いくつかの潜在的な利点がある）、それは極めて危険である可能性がある」
なぜか。
アモデイ氏は、「左利き」の生物群は、有機的な生物学的制限要因を欠くという意味で超能力を持つ可能性があると説明している。
「左利きの生命は、繁殖可能な完全な生物の形で作られた場合、地球上の生物学的物質を分解するあらゆるシステムに消化されない可能性がある」とアモデイ氏は付け加える。「それは既存の酵素の『錠』に合わない『鍵』を持つことになる。これは、制御不能な方法で増殖し、地球上のすべての生命を追い出す可能性があり、最悪の場合、地球上のすべての生命を破壊する可能性さえあることを意味する」
彼は、「鏡像細菌は今後10年から数十年以内にもっともらしく作成される可能性がある」と結論づけた報告書を引用している。
なんてことだ。
これはかなり重大なタイプのリスクのように思われるが、アモデイ氏には、特に私たちがすでに置かれている状況を考えると、精読を促すものが少なくとももう1つある。
独裁体制の道具
LLMが権威主義的な政府にとってどれほど有用であるかを説明する際、アモデイ氏は3つの例を列挙している。完全自律型兵器、AI監視、AIプロパガンダだ。
「AI対応の権威主義は私を恐怖させる」と彼は書いている。「たとえ勢力均衡が達成できたとしても、『1984年』のように世界が独裁的な勢力圏に分割される可能性がある。複数の競合する勢力がそれぞれ強力なAIモデルを持ち、どれも他を圧倒できない場合でも、各勢力は依然として内部的に自国民を抑圧でき、打倒することは非常に困難だろう（国民は自分たちを守る強力なAIを持っていないため）。したがって、たとえそれが単一の国が世界を支配することにつながらなくても、AI対応の独裁を防ぐことが重要である」
核抑止力やその他の対抗措置については、アモデイ氏は楽観的ではない。
「データセンター内の天才の国に対する核抑止力に自信を持てるかどうか、私は完全には確信していない」と彼は付け加える。「強力なAIが、核潜水艦を検出して攻撃する方法を考案したり、核兵器インフラの運用者に対して影響力作戦を実施したり、AIのサイバー能力を使用して核発射を検出するために使用される衛星に対してサイバー攻撃を開始したりする可能性がある」
労働市場の混乱
富の不平等とこのタイプのシナリオで何が起こるかについても忘れてはならない。アモデイ氏は、次のような考察で労働市場の混乱を取り上げている。
「新しい技術はしばしば労働市場の衝撃をもたらし、過去において人間は常にそれらから回復してきたが、私が懸念しているのは、これらの以前の衝撃が人間の能力の完全な可能範囲のごく一部にしか影響を与えず、人間が新しいタスクに拡大する余地を残していたためだということだ。AIははるかに広範で、はるかに速く発生する影響を及ぼすため、物事をうまく機能させることがはるかに困難になるのではないかと心配している」
彼が指摘する2つの主な課題は、労働市場の置き換えと経済力の集中である。
「GDP成長率が年間10〜20%で、AIが急速に経済を引き継いでいるシナリオでは、単一の個人がGDPのかなりの部分を保有しているにもかかわらず、イノベーションは心配すべきことではない」と彼は言う。「心配すべきことは、社会を破壊するレベルの富の集中である」
まだ懸念していないだろうか。AIについてあなたの最悪の恐怖は何か。これらの問題が出現したときにより対処できるよう、議論を続けよう。コメントを書いてほしい。
