アンソロピックが、最先端AIの安全性確保に向けた法案草案を米連邦議員に非公開で示していた。米政治専門メディア「ポリティコ」が、米国時間2026年10月16日に報じた。草案は、一定規模以上の開発企業に安全管理と独立した第三者による評価を義務付ける。重大な危険が差し迫った場合には、連邦裁判所の命令でAIの開発・提供・社内利用を停止できる仕組みも定めている。機密扱いの草案が外部に流出し、AIの緊急停止を誰が、どのような条件で決めるのかを巡って論争が起きた。アンソロピックが働きかけた相手は、慎重に選ばれた連邦議員だったとみられる。
AIの緊急停止を認める法案はすでに数多く検討されており、提案自体は珍しくない。利用者の代わりに自律的に作業を進めるAIエージェントが想定外の動作をする事例が相次いだ。そのため、AIを緊急停止させる「キルスイッチ」は、安全対策を求める人々の合言葉になっている。政府が停止手段を持つか、少なくとも停止を命じる権限を持てば、暴走するAIから社会を守れるという考え方だ。
私は以前、政府がAIを止めて社会を守るという構想は現実離れした理想論だと指摘した。アンソロピックの水面下での働きかけが表面化したことで、通常なら大きなニュースにならない提案が注目を集めた。特に議論を呼んだのが、停止を認める条件である。
AI技術の進歩と社会への影響を解説するフォーブスの記事として、キルスイッチの実現を阻む問題を詳しく見ていこう。
AIの緊急停止が求められる理由と、実現を阻む技術的な壁
AIを緊急停止する仕組みへの関心は、AI研究の初期からあった。人間を奴隷にしたり、人類を地球上から消し去ろうとしたりする邪悪なAIは、SF作品で繰り返し描かれてきた。2025年には汎用人工知能（AGI）や、人間を超える知能を持つ人工超知能（ASI）への関心が過熱した。AIによって人類が破滅する確率を指す「p（doom）」や、人類の存続を脅かす危険性も盛んに論じられた（詳しい解説を参照）。
大規模なAIが悪意を持ち、意識や人間を超える知能を獲得した場合、人類の生存にはAIを止める手段が欠かせないという見方がある。SFのような話にも聞こえるが、現実的な危険もある。AIが重大な誤りを犯したり、深刻なソフトウェアの不具合で暴走したりして、意図せず人を危険にさらす可能性だ。工場の自動組立ラインに緊急停止ボタンを設けるように、AIにも停止装置を備えるのは理にかなっている。
ただし、AIを緊急停止する仕組みを実際に作るのは、想像以上に難しい。技術面だけでなく、法律面でも解決すべき問題がある。キルスイッチの課題については、以前にも詳しく論じた。
世界各地のサーバーで動く最先端AIは、端末の電源を切るようには止められない
スマートフォン上で動くAIなら、処理を中断するボタンを押すか、スマートフォンの電源を切れば止められるように見える。
広く利用されている生成AIや大規模言語モデル（LLM）まで規模を広げると、事情は異なる。ChatGPT、GPT-5、Gemini、Grok、Claude、Copilotなどの大規模なAIは、数多くのサーバーで動いている。最先端モデルは、特定のデータセンターが停止しても稼働を続けられるよう、世界各地のサーバーに分散している。
AI開発企業は、自然災害やシステム障害が起きてもAIを動かし続けられるよう、システムの耐久性と復旧能力を高めている。皮肉にも、AIを安定稼働させるための仕組みが、AI全体を確実に停止させることを難しくしている。
