AIの破滅的リスクを、誇大宣伝として退けることも、パニックに陥ることもなく評価するにはどうすればよいのか。この問いは生産的な議論を麻痺させてきた。一方では懐疑派がAIの安全性への懸念を誇張された憶測だと批判し、他方では提唱者たちが生物兵器、暴走システム、インフラ崩壊などが10年以内に現実化する可能性を警告している。
規制と政治機関を研究するハーバード大学の政治学教授ダニエル・カーペンター氏は、この行き詰まりを打開する方法を見つけたと考えている。学生グループと協力し、カーペンター氏はダーク・スペキュレーションと呼ばれる手法を開発した。これはウォーゲーミングと保険引受人がリスクの価格設定に使用する分析手法を組み合わせた体系的アプローチだ。
防衛請負業者やテクノロジー企業が実施する従来のリスク評価とは異なり、ダーク・スペキュレーションは災害がどのように展開するかだけでなく、機関が新たな脅威にどう対応するかを明示的にモデル化する。このフレームワークは、AIの最も危険な可能性を無視することも、それらを避けられない大惨事として扱うこともない中間地点を提供する。
ダーク・スペキュレーションは極端なAIリスクを考える新しい方法を提供するが、今日の保険および賠償責任システムがそれ自体で役割を果たす準備ができているかについては、全員が同意しているわけではない。ミネソタ大学のダニエル・シュワルツ氏とタフツ大学のジョセフィン・ウルフ氏という法学者たちは、多くのAIインシデントが「法律上報告が義務付けられておらず、したがっておそらく公表されていない」と指摘している。これにより保険会社は信頼できるデータをほとんど持たないまま作業することになる。この隔たりこそが、ダーク・スペキュレーションのようなアプローチが支援を目指す領域である。
一方で、このような構造化されたアプローチでさえ、最悪のシナリオに過度の重みを与えていると主張する人々もいる。マーク・アンドリーセンのようなテック投資家は、AIの破滅論が政策の優先順位を歪める危険性を警告し、メタの元チーフAIサイエンティストであるヤン・ルカン氏はAIの実存的脅威を非現実的だとして繰り返し否定している。この観点からすると、シナリオ重視のフレームワークは憶測に基づく不安を正当化し、より差し迫った課題に対処することなく官僚的な摩擦を増やすリスクがある。
インタビュー：AIリスクの評価
カーペンター氏の研究について話を聞いた。
パウロ・カルヴァオ：最先端AIリスクを巡る公の議論は、楽観論と実存的恐怖の間で急速に二極化する傾向があります。あなたの論文は構造化された代替案として「ダーク・スペキュレーション」という概念を導入していますが、このアプローチで解決しようとしている問題は何ですか？
ダニエル・カーペンター：AIリスクを議論する際、社会はしばしば最も声の大きい、あるいは最も極端な意見に不釣り合いな注目を与えます。変革的技術に関するどんな議論においても、起こりうる問題を大惨事として捉える破滅論者と、その技術を無条件の善と考える楽観論者が常に存在するでしょう。問題はそうした声が存在することではなく、それらが議論の場の大半を占めてしまうことです。社会の課題は、慎重で思慮深く、実証に基づいた分析に声を与える方法です。
ダーク・スペキュレーションは、その中間地点のための空間を作る試みです。定性的なシナリオ構築と定量的推論を組み合わせることで、リスクが無視されることも、センセーショナル化されることもありません。目標は大惨事を予測することではなく、妥当な失敗モード、それらがどのように展開する可能性があるか、そして実際に起きた場合に現実的な対応がどのようなものになるかについて真剣に推論することです。
カルヴァオ：あなたの研究の印象的な側面の一つは、物事がどのように悪化するかだけでなく、リスクが顕在化した際に機関がどのように対応するかを想像することを強調している点です。なぜその区別がそれほど重要なのでしょうか？
カーペンター：多くのAIリスクシナリオの共通の欠陥は、失敗が真空状態で展開すると想定していることです。現実世界では、政府、企業、保険会社、規制当局が反応します。彼らは学び、適応し、リソースを動員します。それは多くの場合不完全ですが、まったく行動しないということはほとんどありません。私たちはこれらの行動を緩和策と呼んでおり、分析のために生成されるどのシナリオも、これらを考慮する必要があると考えています。
妥当な緩和戦略を明示的にモデル化することで、リスクのより現実的な像が得られます。この論文では、悪意ある行為者がLLMを使用して致命的な生物兵器を開発し、それを朝のラッシュアワー中に地下鉄システムで拡散させ、潜在的に数百または数千人を殺害するといったシナリオを使用しています。これは恐怖を増幅するためではなく、警告サインが現れた時点で公的機関がどのように対応する可能性があるかを示すためです。機関の対応を考慮すると、多くのシナリオは黙示録的というよりも、深刻だが管理可能な危機のように見えます。その区別は、健全な政策と投資決定にとって非常に重要です。
カルヴァオ：あなたはまた、引受人のようなリスクの価格設定に慣れた人々がAIガバナンスの議論で重要な役割を果たせると主張しています。彼らの視点はどのように会話を変えるのでしょうか？
カーペンター：引受人やリスクの専門家は、悪い結果について考えることで生計を立てています。しかし重要なのは、彼らは最悪のケースを想像するだけでなく、確率を割り当てるよう訓練されていることです。引受人はすでに、9月11日の攻撃後に作られたテロリスク保険プログラム（TRIP）におけるテロリスクの考察において重要な役割を果たしています。
リスク分析にその規律を導入すると、興味深いことが起こります。最も極端または非現実的なシナリオの多くは、確率的精査に耐えられないという理由だけで重要性が低下します。同時に、より平凡だがリアルなリスクがより明確になります。これはAIリスクを軽視するものではなく、それに対する理解を鋭くするものです。
カルヴァオ：一部の読者は、このような枠組みが必然的により多くの規制につながると想定するかもしれません。しかしあなたは逆もまた真であると示唆しています。政策立案者や業界のリーダーはそれをどのように解釈すべきでしょうか？
カーペンター：これは必ずしもより多くの規制を提唱する論文ではありません。実際、私たちが提案する方法は、特定の状況下では規制緩和を支持することもあり得ます。重要なポイントは、規制的かそうでないかを問わず、どのような政策アプローチも費用便益分析によって導かれるならば、その方程式の両側を厳密に検討する必要があるということです。
費用便益分析には、特にAIについては、データが限られているため憶測が伴います。サイバーセキュリティ、AIリスク、テロリスクなどの分野では、体系的かつ積極的に計画することが必要です。実際、多くの政府、シンクタンク、学者、保険会社がすでにこれを行っています。
政府が一切介入しない世界でさえ、AI企業は依然として保険の問題、賠償責任のリスク、評判リスクに直面しています。ダーク・スペキュレーションは、それらのリスクについて体系的に推論する方法を提供します。それは、より良い意思決定のためのツールであり、あらかじめ決められた政策アジェンダではありません。
カルヴァオ：あなたの見解では、このフレームワークは、人間の主体性（実存的恐怖ではなく）がAIの未来を導くべきだというより広範な議論とどのように一致していますか？
カーペンター：実存的恐怖は判断を麻痺させる傾向があります。対照的に、人間の主体性は責任、選択、制度的能力に関するものです。私たちが提案しているのは、不確実性に直面した際に主体性を運用する方法です。
抽象的リスクから現実世界の決断へ
その運用はすでに始まっています。カーペンター氏の次のプロジェクトは、壊滅的なグローバルリスクを軽減するための高インパクトプロジェクトを支援する慈善団体であるCoefficient Givingから資金提供を受けています。このプロジェクトでは、さまざまな機関がどのようにウォーゲーミング演習を組織し、シナリオ生成と引受実務をどのように組み合わせることができるかを検討します。彼はこれを「ウォーゲーミングの産業組織」と呼んでいます。
この取り組みは、政策立案者がまさにダーク・スペキュレーションが評価するように設計されたAIの極端なリスクと格闘している時期に行われています。高度なシステムの開発者に安全対策の開示と重大なインシデントの報告を義務付けるカリフォルニア州の新しいAI法は、発生する可能性は低いものの、発生した場合には不釣り合いな害をもたらす可能性のある稀なイベントに立ち向かう取り組みの高まりを反映しています。州が前進し、政権が連邦AI基準を検討する中、これらの低確率・高影響リスクについて明確に推論する能力は、イノベーションを凍結することなく実際の危険を軽減する規制アプローチの形成に役立つでしょう。
