AIの緊急停止は機能するか──承認手続き、対象リスク、被害基準の問題
流出した草案には「協議用」との表示があり、法案名や一部の期限・制裁金額などには未確定の記載が残っている。AIの停止は、開発企業や利用者が押す単一の装置ではなく、裁判所が開発企業などに稼働を制限するよう命じる仕組みだ。停止命令によって、AIの学習済みの数値データ（モデルの重み）や学習データ、プログラムの削除・破壊まで求めることは禁じられている。
米商務省と連邦裁判所の二段階手続きは、緊急停止を遅らせかねない
法案の仕組みは、表面的には理にかなっているように見える。議論を長引かせず、すぐに法制化すればよいと考える人もいるだろう。だが、具体的な条件を検討すると、重大な問題が浮かび上がる。
まず、停止命令を申し立てられるのが商務省だけという点だ。他の連邦機関がAIの暴走を察知して緊急停止を求めても、商務省に事情を伝えなければならない。その間にAIが甚大な損害を引き起こす恐れがあり、行政上の手続きが対応を遅らせる可能性がある。
商務省はAIの停止を直接命じることもできず、連邦裁判所の判断が必要になる。司法の審査は、商務省が性急に判断することを防ぐ利点がある。反面、審査に時間がかかれば、AIが被害を広げる猶予を与えかねない。
停止命令の対象は4類型、列挙されていない危険には対応できない可能性
さらに深刻なのは、停止命令の対象となる危険が4類型に限定されていることだ。生物兵器への支援、AIが開発者の制御を逃れる行為、攻撃的なサイバー活動はいずれも重大な危険だ。4番目は、AIによる研究開発の自動化が、前の3種類の危険を大幅に増大させる場合を指す。危険の種類を具体的に列挙しても、対象外となる深刻な事態が残る可能性はある。
AIの暴走による危険な事態は、法案が挙げる4類型以外にも考えられる。商務省と連邦裁判所が停止を急いでも、開発企業が「規定された危険には該当しない」と主張し、AIを動かし続ける可能性さえある。
損害約1580億円超、死者・重傷者50人超という停止基準は妥当か
損害額について「10億ドル（約1580億円）超」とした条件は高すぎるとして、ネット上では批判の声も出た。想定される損害が8億ドル（約1264億円）でも、大した問題ではないと見過ごせるはずがない。なぜ10億ドルが境界になるのか。草案が定めるのは、実際に損害が出てからの停止基準ではなく、予見される被害規模に基づく危険の定義である。
金額以上に重いのが、「死者と重傷者の合計が50人を超える」という人数基準だ。AIによって20人が死亡する恐れがあっても、停止を求めないのか。49人ならどうなのか。死亡または重傷を負うと予測される人数が50人なら、人数の基準には達しない。51人なら超える。友人や家族を失う危険に直面した人が、この線引きを受け入れられるだろうか。
人命を人数で線引きするのは、キルスイッチに限らず法律上の難題だ。死者や重傷者が何人に達する危険があれば停止を認めるのか。感情的な反発も避けられず、厳しい判断を迫られる。
AIの安全性を確保するには、緊急停止装置を超える発想が必要になる
AIが社会の至る所で使われるほど、人々が被害に遭う危険も高まる。SF作品のようにAIが反乱する場合も、日常的な誤動作や悪意あるハッキングによって暴走する場合も、確実に停止できる手段が必要だ。しかし、停止に必要な技術と法律の条件を整えるのは難しく、規制に抜け穴や思わぬ問題が生じかねない。
開発企業に停止装置を法律で義務付けるべきか。義務をどう徹底させ、誰が発動を決めるのか。キルスイッチが意図どおり動くと保証できるのか。AIが巧妙に停止を回避したらどうするのか。解決すべき問題は多い。
アルベルト・アインシュタインは「人類が生き残るには、まったく新しい考え方が必要になる」と述べた。AIのキルスイッチは、人類の生存を確かなものにできるのだろうか。そもそも緊急停止装置を必要としないAIを設計するべきだという主張もある。停止装置が必要になった時点で人類は戦いに敗れ、破滅へ向かっているという見方さえある。新しい発想なしに、この社会的な難題を解決することはできないだろう。
