2012年から2014年までRedditを率い、現在は森林再生企業テラフォーメーションを率いるイーシャン・ウォン氏によるXの投稿が、9月下旬に広く拡散した。そこで彼は、「AIの安全性をめぐる議論の多くは、参加者が本来は無関係な2つの危険を、あたかも1つの危険として議論しているために成り立たなくなる」と主張した。彼のより鋭い指摘は、「それぞれの危険に対する処方箋が正反対の方向を向いており、一方のリスクを減らす政策が、他方のリスクを高める」というものだ。
VCは両極に資金を注ぐ
この区別は、資本を配分を行う者にとって重要だ。なぜなら、投資家はウォン氏が示す分断の両側に、ひそかに数億ドルから数十億ドル規模の賭けを同時に行っているからだ。最先端モデルには管理された開発が必要だ、という前提で設立されたアンソロピックは5月、Altimeter、Dragoneer、Greenoaks、Sequoiaが主導した650億ドル（約10兆3000億円）のシリーズHの資金調達を完了し、ポストマネー評価額（企業価値）は9650億ドル（約152兆円）となった。イリヤ・サツケバー氏の研究所であるセーフ・スーパーインテリジェンス（SSI）は、製品がないまま320億ドル（約5兆500億円）の評価額で20億ドル（約3160億円）を調達した。その明確な約束は、超知能が安全になるまで何も出荷しないというものだ。誰でもダウンロードして実行可能な「オープンウェイトモデル」を強みとするMistralは9月8日、サムスン電子が主導するシリーズDで30億ユーロを調達し、評価額は210億ユーロ超になったと発表した。シリコンバレーを拠点とするベンチャーキャピタルであるアンドリーセン・ホロウィッツは、SSIとMistralの双方の株主名簿に名を連ねている。ウォン氏の枠組みに従えば、この2つのポジションは互いに対するヘッジである。
「存亡リスク」対「悪用リスク」
ここに二つの危険性の分かれ目がある。ウォン氏が挙げる第1の危険は「存亡リスク」である。あらゆる次元において、ネズミから見た人間以上の知性を持つ人工超知能が、自らの目的を追求する。その目的において、人間はよくて無関係、最悪の場合には資源をめぐる競合相手となる。ウォン氏はチェスの比喩を用いて、「グランドマスターはアマチュアに勝つ。具体的にどう勝つのかを問うことは、結果そのものから目をそらす行為だ」と語る。
第2の危険は「悪用」である。つまりこれは、強力なAIを人間が他の人間に対する道具として使うことを意味する。自律型兵器、大規模監視、サイバー攻撃、雇用喪失、人工的に作られた病原体、あるいはセンサーを誤読するモデルに、発射権限を委ねる軍隊などが含まれる。ウォン氏は、この第2のカテゴリーはなじみ深いものだとする。新たな道具によって増幅された、欠陥ある人間性を描いているからである。
ウォン氏の言葉を借りれば、その核心は、第2の問題に対する解決策が、第1の問題に対する解決策とは何の関係もないという点にある。
悪用は、歴史的には拡散によって解決されてきた。少数の集団が危険な能力を支配している場合、その集団が優位に立つ。全員がそれを保有すれば、抑止がその場を安定させる。これに対して存亡リスクは、善意であろうとなかろうと、誰かが超知能を作った瞬間に生じる。破綻するのは、まさに制御だからだ。したがって、悪用を懸念する側の処方箋である「強力なAIをできるだけ広く配布すること」は、存亡リスクを懸念する側にとっては悪夢であり、存亡リスク側の処方箋である「誰にも作らせないこと」は、悪用リスク側にとっては権力集中を招く処方箋とみなされる。
