AI

2026.03.06 15:51

ダボスとインドがAIに熱狂する一方、パリはAI安全性の危機を訴えた

stock.adobe.com

stock.adobe.com

2026年で最も重要なAIガバナンス会議は、ダボスではなかった。ムンバイでもない。パリで起きたのだ。多くのビジネスリーダーが耳にしたこともない部屋で。そしてそこで語られたことは、今後あらゆる取締役会の議題に載るべき内容だった。

スイスで経営者たちが交流を深め、インドのAIへの野心に拍手を送る一方で、65カ国から800人を超える研究者がユネスコ本部に集い、国際安全・倫理AI協会(International Association for Safe and Ethical AI)の年次会議としては2回目となる「IASEAI'26」に参加していた。彼らがそこにいたのは祝うためではない。いま何がすでにうまくいっていないのか、そして提示されつつあるガバナンス上の対応が、解決すべき問題に対してなぜ十分ではない可能性があるのかを、正確に、記録に残る形で名指しするためだった。

その後に続いたのは、今年のAIをめぐる議論として最も率直な3日間だった。

IASEAIとは何か、なぜ重要なのか

IASEAIは、イングランドのブレッチリー・パークで開催された2023年のAI安全サミットを起点に生まれた。スチュアート・ラッセルジェフリー・ヒントンヨシュア・ベンジオマックス・テグマークケイト・クロフォードらAI分野の第一人者を数多く含む運営委員会が、AIの能力が増大するのと歩調を合わせて開発を進めるには、時折のサミットではなく恒常的な機関が必要だと結論づけたことが背景にある。安全の取り組みには会議の宣言ではなく制度的インフラが必要だと長年主張してきた研究者でAIガバナンスのアーキテクトであるマーク・ニッツバーグが共同創設者となり、現在は暫定エグゼクティブ・ディレクターを務める。IASEAIは2024年11月、非営利団体として正式に法人化した。

組織の運営責任者にニッツバーグが選ばれたこと自体が、IASEAIが何を目指しているのかを示すシグナルである。彼は著名研究者ではない。専門家の合意を持続的な制度に変えていく、華やかさのない仕事に焦点を当てる「つくり手」だ。その経歴はAI研究、政策、そして多くの安全性議論が完全に素通りしてしまう組織設計の問いに及ぶ。すなわち、誰が決めるのか、誰が検証するのか、何かが起きたとき誰が責任を負うのか、そしてそれを実効性あるものにする仕組みがあるのか、という問いである。

OECD本部で開かれた2025年の初回会議では、拘束力のある安全基準と国際協調を求める10項目の行動要請(Call to Action)がまとめられた。2026年にユネスコ本部へ戻ったことは、制度的正統性が高まったことと、危機感が増していることの双方を示していた。

会議の3週間前、チューリング賞受賞者のヨシュア・ベンジオが主導し、30カ国超から100人以上の専門家が執筆した第2回国際AI安全報告書が公表され、ニッツバーグの取り組みを駆動する中心的なパラドックスが確認された。汎用AIはすでに大学院レベルの数学を解き、プロダクション品質のソフトウェアを書き、タンパク質を設計できる。しかし同じモデルが依然として幻覚を起こし、複数ステップの推論では破綻する。産業を変革するほど強力でありながら、壊滅的な失敗を引き起こし得るほど信頼性に欠ける。そのパラドックスが、3日間の議論を規定した。

2026年、最大のAI安全リスクは何か

会議は、脅威評価を思わせるテーマに沿ってセッションを編成した。アラインメントと価値学習、エージェント安全性、制御と封じ込め、戦争におけるAI、解釈可能性、そして仕事の未来である。「エージェント安全性」が独立したトラックとして設けられたことが、最も重要なシグナルだった。AIシステムがチャットボットから、ウェブを閲覧し、コードを実行し、購買を行い、他のエージェントと連携する自律的エージェントへと進化するにつれ、安全性の課題は根本的に変わる。もはや不快な出力をフィルタリングする話ではない。現実世界で行動するシステムが、意図しない、しかも元に戻せないやり方で行動することを防ぐ話である。

この転換は仮定の話ではない。2026年2月だけでも、OpenAIはパーソナルAIエージェントを加速させるためOpenClawの創業者ピーター・シュタインベルガーを採用し、アリババは「エージェントAIの時代」に向けてQwen3.5を明確に打ち出して投入し、DeepSeek V4は、2025年1月のリリースが1日でNvidiaの時価総額を6000億ドル削り取ったとされる出来事の「続編」として登場した。AIの軍拡競争はもはや企業間ではない。国家間である。そして配備されるエージェントは、週を追うごとに自律性を増している。

IASEAIの研究者は実際に何を見いだしたのか

スチュアート・ラッセルは会議冒頭で、「証明可能に有益なAI(provably beneficial AI)」の枠組みを提示した。人間の目的に関する不確実性を内蔵し、固定目標を制約なく追い求めるのではなく、人間の判断に委ねるよう設計されたシステムである。彼の比喩は苛烈だった。人類がいま辿っているAIの軌道は、「世界中の人々が、これまで一度もテストされたことのないまったく新しい種類の飛行機に乗り込むようなものだ。離陸する。そして二度と着陸しない」。2025年と2026年の違いは、その飛行機がいま加速していることだ、と彼は述べた。

ジェフリー・ヒントンは、この瞬間を気候変動をめぐる初期の論争になぞらえた。科学的コンセンサスは最終的に形成されたが、それは高くつく不作為の年月を経てからだった。遅れのコストは線形ではない。能力のカーブとともに複利的に膨らむ。

商業面で最も切迫した発見は、EU AI法にも取り込まれたAI操作に関する研究で知られるGoogle DeepMindの研究者マティヤ・フランクリンからもたらされた。「仮想エージェント経済(Virtual Agent Economies)」に関する彼の論文は、自律的AIシステムがすでに、人間の監督を超える規模と速度で取引し、交渉し、協調する、巨大で自発的なエージェント経済へ向かう軌跡を記録している。誰も設計していない。誰も統治していない。そして、自社のAIエージェントが、法務チームなら決して承認しなかったであろう約束をしてしまうことが何を意味するのかを、主要企業で完全に検討したところはない。DeepMindでの共著者であるイアソン・ガブリエルは、TIMEがスチュアート・ラッセルと並んでAI分野で最も影響力のある100人の1人に選んだ人物でもあるが、その分析を拡張し、何百万ものAIアシスタントがユーザーの代理としてシステム間で相互作用する際に生じる操作と不平等のリスクへと踏み込んだ。そこには、いかなるガバナンス枠組みも対処するようには作られていないリスクがある。

最も衝撃的なセッションは、本物の記録が持つ証拠価値を守る人権団体WITNESSのズザンナ・ヴォイチャクによるものだった。彼女の指摘は、会場のあらゆる技術論争を貫いた。ディープフェイクは主として技術の問題ではない。証拠の問題である。加害者が人権侵害の本物の映像を「AI生成だ」と退けられるようになり、しかも検出ツールが紛争地帯のような「顔ではないコンテンツ」に対して機能しないとき、説明責任のインフラそのものが攻撃されている。この議論は人権記録にとどまらない。法廷、取締役会、そして検証済み情報に依拠して意思決定を行うあらゆる組織へと及ぶ。

米国はAI安全性のリーダーシップを放棄したのか

この問いはIASEAI'26のメインステージで明言されたわけではない。そうする必要がなかった。答えは空席に表れていた。

米国は意味のある代表団を送らなかった。65カ国超からの欧州機関、アジアの政府、市民社会組織が拘束力ある安全枠組みや内部告発者保護を議論する一方で、ワシントンの姿はほとんどなかった。私的に語った参加者は、米国の姿勢は日程の都合ではなく戦略的選択だと述べた。

その選択は政策の記録から読み取れる。バイデン政権が2023年に出したAI安全に関する大統領令は、主要開発者による自発的コミットメントを確立した。現政権はそれを2025年1月に撤回し、安全調整よりも「米国のAI覇権(American AI dominance)」を明確に優先する枠組みに置き換えた。さらに2025年12月の大統領令は州のAI法を先取りして無効化することを提案し、憲法学者が意図的な空白と表現する状況を生み出した。連邦法は産業を拘束するには弱すぎ、州法は断片化しすぎて穴を埋められず、国際枠組みは競争力への制約として退けられる、という空白である。

同盟国の代表者は、記録に残らない会話の中で驚くほど率直だった。彼らは米国抜きで安全枠組みを構築しており、その枠組みが、ワシントンが何をしようと、市場規模という重みだけで事実上の世界標準になると見ている。IASEAIを築く過程で複数政府の政策担当者と関わってきたニッツバーグは、一貫してこう主張してきた。ある大国が生んだガバナンスの空白は、空白のままではいない。姿を見せた者が埋めるのだ。

ガバナンス体制が持ちこたえた瞬間があった。1度だけ。幸運で。

米国のAI政策が実際にどこに立っているのか、その最も鋭い証拠はAnthropicから示された。CEOのダリオ・アモデイは最近、政府契約の継続条件として、国防省がClaudeから2つの特定の安全策の削除を要求したと明らかにした。国内の大規模監視を可能にする能力と、人間の監督なしに完全自律型兵器を動かす能力である。Anthropicは拒否した。トランプ大統領はAnthropicを政府システムで使用することを禁じ、国防総省はAnthropicを「サプライチェーン・リスク」に指定する見通しだ。これは従来、敵対国に対して用いられてきたラベルである。その一方で、Claudeは国家安全保障に不可欠だとも呼んでいる。

ガバナンス体制は、異例の状況下で、1社について、1度だけ持ちこたえた。Anthropicが拒否できたのは、資金的な余力、世間的な注目度、そして創業のミッションがあり、政治的コストを吸収できたからだ。政府契約で事業を行うAI企業の大半には、そのどれもない。報道でほとんど問われなかった論点がある。どれほど多くの企業が同様の要求を受け、拒否が現実的な選択肢ではなかったために、黙って従ったのか。

IASEAIから米国が欠席していることで、こうしたパターンが可視化される。世界で最も能力の高いAIシステムを構築した国は、それを主として枠組みと説明責任ではなく、圧力と調達を通じて統治することを選んだ。これはガバナンス体制ではない。幸運である。そしてそれは、産業全体にわたって安定して繰り返される種類の幸運ではない。

実はAI安全性の物語である「レイオフ」

IASEAIが閉幕したのと同じ週、Blockは従業員約4000人、つまり労働力のほぼ半分を解雇すると発表した。ジャック・ドーシーの株主向け書簡は明快だった。人員増ではなくAI自動化だ。Blockの株価は24%上昇した。ドーシーは、大半の企業が1年以内に追随すると予測した。

これは雇用の話ではない。安全性コミュニティが自らの領分として取り込むのが遅れてきた、AI安全性の話である。AIが資本と労働を体系的に切り離すと、雇用に連動する税収は縮小し、消費需要は弱まり、社会の安定は、どのセーフティネットも対応するよう設計されていない速度で損なわれていく。過去の技術的破壊と異なり、AIによる代替の速度と集中は、新たな仕事が生まれるという歴史的パターンを上回っている。取締役にとっての問いは、自社の業界がBlockの結論に至るかどうかではない。顧客の業界が先にそこへ到達したとき、自社の顧客基盤に何が起きるのか、である。

いま利用可能な最良のAIガバナンス枠組みとは

IASEAIで最も実行可能なアイデアは、ジョンズ・ホプキンス大学でAIアラインメントとガバナンスのブルームバーグ特別教授を務めるジリアン・ハドフィールドと、ブリ・トリースが率いるFathomのチームから提示された。独立検証機関(Independent Verification Organizations)を中心に据えた彼らのAIのための独立監督マーケットプレイス(Independent Oversight Marketplace for AI)は、現在流通している枠組みの中で最も実務的なガバナンスの設計図である。専門家主導のIVOがAI安全基準を検証し、州政府がマーケットプレイスを認可する。認証を得た企業は信頼に足るシグナルを獲得できる。この枠組みは、立法ではなくイノベーションの速度で動く。

ただし、誠実な支持者たち(ニッツバーグを含む)は1つの構造的欠陥を率直に指摘している。任意の認証は逆選択を生む。検証を最も熱心に求める組織は、ほぼ定義上、最も問題を起こしそうな組織ではない。IVO認証を調達要件や賠償責任リスク、保険料の算定に組み込まない限り、この枠組みは、そもそも信頼シグナルを必要としていなかった組織に対する信頼シグナルになってしまう恐れがある。

前進の道筋は明快だが、はっきりと言う必要がある。任意のガバナンスは、義務のガバナンスへ至る橋である。いまIVO認証に向けて構築する企業は、義務化が来たとき構造的優位を得る。今日AI安全性をコンプライアンスコストとして扱う取締役会は、2010年にサイバーセキュリティをIT費用として扱った組織と同じ誤りを犯している。顧客も規制当局も人材も、同じ問いを投げかけている。あなたのAIは信頼できるのか。

Alpha Institute for AI Governanceは、取締役会向けに特化して設計されたIVOの1つであり、ディレクターが組織レベルのAIガバナンス成熟度を評価・検証するのを支援する。自律エージェントが、現行の法的枠組みが想定していない形で企業に代わって取引を始めるにつれ、独立検証は評判の問題ではなく、受託者責任(fiduciary)の問題となる。

次回会議までに取締役会が答えるべき4つの問い

最終ワークショップで、あるIASEAI参加者はこう言った。「私たちは飛行機を造り、飛ばし、安全マニュアルを書いているのを同時にやっている。問題は、揺れがひどくなる前にマニュアルを書き終えられるかどうかだ」

乱気流はすでに始まっている。肝心な点を突く問いは4つだ。

取締役会は「安全なAI」を、コンプライアンス用語ではなく技術的用語で、自らが書いた1文として定義できるか。できないなら、定義していないシステムを統治していることになる。

いまこの瞬間、どこで自律AIエージェントが、意思決定を行っている、あるいは意思決定に影響を及ぼしているのか。しかも、その意思決定が結果を生む前に人間のレビューがないままに。理論ではない。いま、である。

取引先のAIベンダーのうち、Anthropicほどの知名度と覚悟がなかったとしても、国防総省の要求に従わなかったのはどこか。その問いに答えられるほど、ベンダーの安全コミットメントを把握しているか。

Blockの労働力に関するテーゼが自社の業界に到達したとき、同じ判断を下した競合各社の顧客に何が起きるのか。コスト削減の向こう側で起きる需要破壊をモデル化しているか。

次に来るものを乗り切る組織は、最も速く動いた組織でも、最も慎重に動いた組織でもない。自分たちが何を作っているのか、それが自分たち抜きで何をし得るのか、そしてそれがそうしたときに自分たちが何に責任を負うのかを、正確に理解していた組織である。

マニュアルはまだ完成していない。飛行機はすでに空にある。いま重要なのは、次の1ページを誰が書くのか、ただそれだけだ。

forbes.com 原文

タグ:

advertisement

ForbesBrandVoice

人気記事