安全の「処方箋」が相互リスクを増幅
2023年の英国AI安全性サミットは、悪用リスクと制御喪失リスクを軸に議題を組み立てた。その後、学術研究はこの二分法をさらに複雑にしている。アトゥーサ・カシルザデ氏は「Philosophical Studies」誌に寄稿し、「決定的な存亡リスクと累積的な存亡リスクを区別し、超知能が登場しなくても悪用による被害が積み重なれば、文明崩壊をもたらし得る」と論じている。これこそが、ウォン氏の投稿の弱点である。累積した悪用が存亡リスクになり得るなら、2つのカテゴリーは彼が主張するほど切り離せるものではなく、拡散は双方を助長しかねない。
ウォン氏はまた、研究所が実際に資金を投じているケースにも触れていない。超知能にははるかに及ばないシステムにおけるミスアライメント、すなわち実運用されたモデルが意図しない目的を大規模に追求する場合である。アンソロピックのシリーズHの発表では、安全性と解釈可能性の研究に資金を充てるとしている。これはウォン氏が掲げる両極のいずれでもなく、現在のモデルの制御に関わるものだ。
それでもこの投稿は、AI政策に関するパネル討論に参加したことのある人なら誰もが認識するパターンを説明している。ある登壇者は生物兵器能力の底上げに言及し、別の登壇者は道具的収束に言及する。モデレーターはそれを意見の相違として扱うが、実際にはかみ合わない2つの独白に過ぎない。ウォン氏の貢献は理論というより、診断である。
投資家が見極めるべき真の問い
投資家や創業者にとって、この枠組みはデューデリジェンス上の問いに変換できる。
- 企業の安全性に関する説明が、どの危険に対応しているのかを問う。レッドチーミングと悪用防止のロードマップは、制御喪失については何も語らない。その逆も同じである。
- カテゴリーごとに規制リスクを整理する。計算資源のしきい値（限界ライン）とライセンス制度は存亡リスク側を対象とし、輸出規制とコンテンツ規則は悪用を対象とする。ポートフォリオは一方にロング、他方にショートという構えを取り得る。
- オープンウェイトとクローズドなフロンティアモデルへの投資ポジションはヘッジとして扱い、単一のAI投資仮説としてではなく、そのように価格付けする。
- ピッチの途中でカテゴリーをすり替える創業者に注意する。拡散を安全性として売り込む、あるいは制限を安全性として売り込むにもかかわらず、そのトレードオフを明示しない場合、それこそがウォン氏の描く兆候である。
約1兆ドル（約158兆円）の帳簿上の価値は、製品を出荷しながら制御を保てるという研究所に置かれている。320億ドル（約5兆500億円）は、一切出荷しないことを選ぶ研究所に置かれている。240億ドル（約3兆7900億円）は、重みを公開する研究所に置かれている。それぞれは、ウォン氏の投稿の一方の読み方では合理的であり、もう一方の読み方では無謀である。資本がそれらの読み方を収束させるまで、パネル討論ではすれ違いが続き、資本は双方へ流れ込み続けることだろう。
