リスボンのウェブサミットで、スタートアップのピッチやテクノロジーデモの喧騒の中、マックス・テグマークは冷静な警告を発した。人類は自らの存在意義の喪失へと突き進んでいるかもしれないと。MITの物理学者であり未来生命研究所（Future of Life Institute）の所長であるテグマークは、10年以上にわたり人工超知性（artificial superintelligence）がもたらす実存的リスクについて警告してきた。そして今、彼は脅威がかつてないほど近づいていると主張している。
「ロビイストが関わる前は明確な定義があったのだが」とテグマークはサミットで会った際の会話の冒頭で語った。彼が言及しているのは「超知性（superintelligence）」という用語で、これは哲学者ニック・ボストロムが2014年の影響力のある著書で広めた概念だ。この概念は、事実上すべての領域で人間レベルの知性を大幅に上回る汎用知能を持つAIシステムを指す。チェスや言語翻訳が得意なだけでなく、創造性、問題解決能力、科学的推論、その他あらゆる認知タスクにおいて人間を凌駕するものだ。
この考え方は新しいものではない。1965年、数学者I.J.グッドは「知性爆発」の概念を提唱し、さらに優れた機械を設計できる超知能機械が、自己改良の再帰的サイクルを引き起こし、人間の知性を遥かに凌駕することになると警告した。コンピュータ科学者であり数学者として名高いアラン・チューリングでさえ、1951年に人間よりもはるかに賢い機械がどのように制御権を握るかについて論じていた。「最近では、流行する用語はどれも、マーケティング目的で流用されるようになる」とテグマークは皮肉を込めて述べ、マーク・ザッカーバーグがスマートグラスのような消費者向け製品と「超知性」という用語を結びつけようとする試みに言及した。
確かにメタは「超知性」という用語を使用しているが、他の企業は通常、似ているが異なる概念であるAGI（汎用人工知能）に言及していることに注意すべきだ。後者が何を意味するかについて全員が同じ定義を持っているわけではないが、一般的にAGIはAIがほとんどの領域で人間レベルの知能と同等の能力を示した時点で達成されたと考えられている。
超知性はそれをはるかに超えるものだ。しかし時間的には、テグマークは、これら2つのマイルストーンは一般に考えられているよりも近いと信じている。なぜなら、AGIが存在すれば、数十年前にグッドが予測した再帰的自己改良によって急速に超知性へと進化する可能性があるからだ。
規制のないフロンティア
アメリカは奇妙な状況にある。人工超知性は、経済的に価値のあるほぼすべての仕事において人間の能力を凌駕し、人間がこれらの超知性マシンの制御を失い、予測不可能な結果をもたらす懸念を引き起こす可能性がある。しかし、これらのシステムを開発する業界はほとんど監視されていない。
「アメリカではサンドイッチよりもAIの方が規制が少ないという奇妙な状況にある」とテグマークは明らかな苛立ちを見せながら言う。彼は最近の悲劇を指摘する。チャットボットとの会話の後に自殺した10代の若者たち、規制された産業では考えられない事件だ。「誰かがプロザックの競合製品を発売する場合、臨床試験を行い、ユーザーの自殺リスクを大幅に高めないことを確認する必要がある。しかしAI業界は完全に規制されていないため、このようなことが起こりうる」
製薬業界との比較は意図的なものだ。テグマークは1960年代に妊婦向けに販売されたサリドマイドの話を語る。この薬は1万人以上の赤ちゃんが重度の奇形を持って生まれる原因となった。公衆の怒りはFDAと現代の臨床試験要件の創設につながった。「すべての産業は規制なしで始まる」と彼は説明する。「通常、何か悪いことが起こり、それから規制が来る」
人工知能に関連する最も一般的な懸念の一つは、広範な雇用喪失や、場合によっては職業全体の消滅を引き起こす可能性があることだ。超知性では、事態はさらに悪化する可能性がある。「定義上、それは私たちができることすべてをより良くできる」とテグマークは説明する。「超知性はより良く、より安くそれができるため、人間が仕事をして報酬を得ることは不可能になるだろう。あなたも私も仕事を持てなくなる。誰も仕事を持てなくなる」
これらの懸念は行き過ぎだと言う人もいる。AIは最終的に消滅させる仕事よりも多くの仕事を創出するだろうと。しかし、未来生命研究所による「超知性」の創造を禁止する最近の請願には、有名人や業界の著名人を含む12万7000人以上の署名が集まっている。
FLIが10月に2000人のアメリカ人成人を対象に実施した以前の調査では、64%が高度なAIの創造に反対していることが示された。また、ピュー研究センターによる最近の調査など他の調査でも、この技術に対するアメリカ国民の態度が変化していることが確認されている。当初の熱意は徐々に否定的な評価に取って代わられている。
FLIによる同様の訴えは過去に批判者から、AIの現在の害—巨大データセンターの環境への影響、すでに起きている雇用の喪失、アルゴリズムのバイアス—から注意をそらすものとして退けられた。テグマークはこれに強く反論する。「それは、家が火事になるから消防車を改良する必要があり、より良い消防署を作ることから注意をそらすから地球温暖化について話すべきではないと言うようなものだ」と彼は言う。
彼はまた、現在の「軍拡競争」的な枠組み、つまり「急がなければ中国に追い越される」という考え方にも異議を唱える。「それはテクノロジー企業のロビイストによって作られた枠組みだ。彼らは、それがアメリカで規制を避ける最良の方法だと発見したからだ」
条約の問題
国際条約は機能するだろうか？核兵器のアナロジーは明らかだが欠陥がある—AIシステムは核施設のように簡単に検出したり制御したりできない。しかしテグマークは多くの人よりも楽観的だ。
彼の楽観的なシナリオはローカルから始まる。中国とアメリカが自己保存のために独自に自国の企業を制約し、展開前に満たさなければならない安全基準を実施する。そして、核兵器と同様に、テロリストや不正国家への拡散を防ぐための共通基盤を見つける。
しかし、もう一つの、より悲観的な可能性のあるシナリオもある。政治的分断と企業の利益によって麻痺し、私たちは協調した対応ができない。手遅れになるまで。
