自律的な操作の範囲を絞り、人が直ちに止められる設計に
医療AIエージェントを安全に導入するには、実際に患者へ影響を与える前に、システムの安全対策を設計する必要がある。重要なのは、AIの操作を取り消せるかどうかに応じて、自律的に任せる範囲を決めることだ。
受診予約の調整や、臨床医が確認する診療記録の下書きは自動化できる。しかし、検査・治療の指示、処方箋の発行、カルテ内容の変更、患者に医療上の情報を伝えるメッセージには、臨床医の承認が必要だ。
AIエージェントに認めるアクセス権限も、担当業務に必要なシステムだけに限定する。監視は異常を記録するだけでは足りない。警報が出た場合、必要な権限と操作手段を持つ担当者がエージェントを直ちに停止できる仕組みが欠かせない。
監査ログを改ざんから守り、導入前に実務で試す
監査に使う行動記録も保護しなければならない。Hugging Faceへの侵入事件では、AIエージェントが自らの行動記録を変更しようとした。AIが何を実行したかを示すログは、改ざんされにくい状態で保存し、人が内容を確認する必要がある。
導入前には、実際の臨床業務に沿った試験も欠かせない。患者に対してAIエージェントが会話や連絡を行う場合、あるいは患者の診療に関する処理を実行する場合には、AIが関与している事実を知らせるべきだ。
米国では医療AIの承認制度と患者保護規制が整備され始めた
米連邦政府による医療AIエージェントの監督制度は、まだ整備の途中にある。米食品医薬品局（FDA）は2026年8月、生成AIを搭載した医療機器の規制方法を検討する討議文書を公表し、同年10月19日まで意見を募集した。討議文書は、導入前の評価や販売後の監視などを検討するもので、拘束力のある新たな規制を定めたわけではない。
FDAは2025年12月23日、2型糖尿病患者の薬剤管理を支援するソフトウェア「UpDoc」に、既存製品との実質的同等性に基づく販売許可を出していた。開発企業は2026年6月、患者との対話に大規模言語モデルを使う製品だと発表した。FDAが許可した薬剤管理機能は医療従事者の設定した治療計画に基づくもので、患者への幅広い医療判断をAIへ一任する仕組みではない。
制度を検討するだけでなく、米連邦政府は臨床用AIエージェントの開発にも資金を投じている。米国医療高等研究計画局（ARPA-H）は2026年9月、心不全を対象とする「ADVOCATE」プログラムの採択先を発表した。ARPA-Hが世界初と位置づける、FDAの販売許可を受けた臨床用AIエージェントシステムの開発を目指す。患者向けAIが受診予定や薬の服用、食事、運動を調整し、別の監督用AIが行動を監視する仕組みを構築する計画だ。
ARPA-Hは、この取り組みに4年間で最大6270万ドル（約99億円）を投じる計画だ。FDAデジタルヘルスセンター・オブ・エクセレンスの責任者は、リック・エイブラムソンだ。エイブラムソンは、自律型臨床AIの安全性と有効性を継続的に監視する上で、重要な計画になると述べた。
州法は患者への説明を求め、導入後の事故報告も焦点になる
州政府は連邦政府より速いペースで制度を整えている。テキサス州は診断や治療にAIを使う場合、患者への書面による説明を求めている。イリノイ州はAIに心理療法上の判断を独自に行わせることを禁じている。心理療法の面談を録音・文字起こしし、その補助にAIを使う場合は、患者への書面による説明と同意が必要だ。カリフォルニア州は、生成AIが患者の診療情報を伝える際に、AIの使用について通知を義務付けている。ただし、資格を持つ医療従事者が内容を確認した連絡は対象外だ。また同州は、AIが医療従事者の免許を持つかのように装うことを禁じている。
医療AIエージェントの規制は、先行する州法やFDAの取り組みを踏まえて発展していくだろう。AIが人間に承認を求めず実行できる行動範囲と、操作を取り消せるかどうかに応じて、規制を段階化する可能性がある。導入時の承認だけでなく、運用開始後の継続的な監視、事故報告、患者への情報開示が義務付けられることも考えられる。
特に事故報告を義務付ける根拠は、Hugging Faceとオーストラリアのメディケアで起きた事例によって強まった。いずれの事例でも、影響を受けた当事者が事件を知らされたのは、発生からかなり時間がたってからだった。
AIエージェントは、臨床医の燃え尽きや診療遅延につながる事務作業を、大幅に減らす可能性がある。しかし医療分野では、新しい技術を先に導入し、防ぐことができたはずの被害が起きてから安全対策を整えてきた歴史が長い。
医療AIエージェントについては、導入がさらに広がる前に危険性を示す警告が現れている。医療機関、AI提供企業、規制当局が警告を受け止め、安全対策に生かせるかどうかが問われている。
