AI停止装置を義務化すべきか、誰が発動し、どう止めるのか
一般にAIキルスイッチを法制化する際には、技術的な難しさとは別に、少なくとも3つの判断が必要になる。
第1に、開発企業が自主的に停止装置を導入するのか、法律で義務付けるのかという問題だ。導入の必要性は企業に判断させればよく、法律は要らないとの考え方がある。だが、企業が停止装置を導入せず、AIが暴走すれば、社会全体が被害を受けかねない。だからこそ、導入を法律で義務付けるべきだという主張もある。
第2に、誰が緊急停止を決めるのか。開発企業に任せれば、自社のAIを停止させることをためらい、社会の安全を危険にさらす恐れがある。政府が判断するべきだという意見に対しては、政府にAIを止める権限を集中させれば、国家による監視や支配を招くという反発が起きる。
第3に、キルスイッチでAIをどのような状態にするかという問題も残る。再起動させるだけならAIはすぐに動き始め、危険な動作を繰り返すかもしれない。完全に停止させても、高度なAIが自力で再起動する可能性を懸念する声がある。AIそのものを消去すべきだという意見もあり、停止の意味さえ定まっていない。
アンソロピックが非公開で提示とされる法案草案、AI停止の仕組みと5つの要点
ネット上に流出したとされる37ページの法案草案は、AIに停止ボタンを組み込むことを直接義務付けるものではない。一定の条件を満たした場合に、米商務省が裁判所へ申し立て、最先端AIモデルの開発、外部への提供、社内利用の停止を命じてもらう制度を設ける。草案には安全管理や事故報告などの規定もあり、緊急停止に関わる主な内容は次の5項目に整理できる。
（1）手続きの開始者：AIモデルの停止命令を裁判所に申し立てられるのは米商務省で、他の連邦機関は、この法律に基づく停止命令を直接求められない
（2）発動の承認者：商務省の申請を受け、首都ワシントンの連邦地裁が停止命令を出すか判断する。裁判所は差し迫った危険の存在に加え、停止が必要で、より制限の小さい方法では危険を十分に防げないことなどを審査する
（3）対象となる危険：生物兵器の製造・放出への専門的支援、AIが開発企業や利用者の制御を逃れる行為、攻撃的なサイバー活動、前の3種類の危険を大幅に増やすAI研究開発の自動化の4類型。単一の事故によって、50人を超える死者・重傷者、または財産に10億ドル（約1580億円）超の損害・損失をもたらす、予見可能で重大な危険が対象になる。停止命令を求めるには、危険が差し迫っている必要がある
（4）独立した評価：一定規模以上の開発企業は、登録された独立評価者によるAIモデルの検証を受ける。差し迫った危険に関する評価は、開発企業に意見を述べる機会を与えた期間を除き、評価完了後72時間以内に企業と商務省へ送る。新たな情報によって従来の評価が覆り、重大な危険が差し迫る場合には、72時間以内の追加報告も求める
（5）安全性の試験：対象となる大規模AI開発企業には、自社によるモデルのリスク評価と独立評価者による検証に加え、開発環境のセキュリティー試験なども義務付ける
