筆者は以前、臨床向け人工知能（AI）が、承認後にほとんど変化しないペースメーカーやCTスキャナーのような医療機器を念頭に設計された規制枠組みに、いかに挑戦し始めているかを検討した。対照的にAIソフトウェアは、時間の経過とともに更新でき、性能を向上させたり、患者ケアにおける役割を拡大したりできる。問われているのは、その違いが存在するかどうかではない。どう対処すべきかである。
この論点が注目を集めたのは12月29日、米食品医薬品局（FDA）がパブリックコメントの募集を開始し、市民請願を対象としたときだ。請願では、特定の放射線科向けAIツールに対する監督を、アップデート導入前にFDAが繰り返し審査する形から、ソフトウェアが進化する過程を継続的に監督する形へと移行し得るとしている。つまり、AIがすでに使われている「導入後」の期間に、より多くの責任を移すという提案である。
この移行は、より根本的な問いを提起する。AIがすでに臨床で使われている段階で安全性を評価するならば、実際の安全性を確保する責任は誰にあり、説明責任を果たすためにどのような仕組みが必要なのか。
規制当局は要件を定め、メーカーは性能を監視できる。しかし、ひとたびAIが使われ始めれば、結果とともに生きるのは患者、医師、医療システムである。これらのツールが臨床ケアの中で進化し続けるにつれ、賭け金が上がっているにもかかわらず、責任の所在はますます不明瞭になる。
速度対安全：動く標的をどう捉えるか
臨床AIは、時間の経過とともに変化するよう設計されつつある。ソフトウェアのアップデートは性能を改善し、AIができることを広げ、あるいは新たな医学的知見を反映するかもしれない。こうした変更は臨床的な妥当性を維持するために必要なことが多いが、固定された製品を前提に構築された規制モデルに挑戦を突きつける。
カリフォルニア大学サンディエゴ校ヘルスで戦略的インパクトおよび成長のディレクターを務めるKei Nakagawa（MD）氏は、導入後に求められることが明確で、かつ強制力をもって執行可能でなければ、ライフサイクル（製品ライフサイクル）を通じた監督は機能しないと述べた。
「市販前の摩擦を減らすなら、市販後監視は任意ではない」と同氏は言う。「私たちが扱っているのは新種の臨床AIであり、枠組みは象牙の塔の外でも機能しなければならない」
RevealDxのCEOであるChris Wood氏は、同社の公開書簡で、CADx（コンピュータ支援診断）ツールには固有の安全性上の懸念があると記した。また、多くの人は、この請願が検出（detection）とトリアージ（triage）を超える範囲に及ぶことを理解していないかもしれないとも述べた。
「私が話すほとんどの人は、この請願が検出とトリアージにしか言及していないと思っている。しかし文面どおりに解釈すれば、副作用は深刻になり得る。なぜならCADe（コンピュータ支援検出）を超えて、CADxに及ぶからだ」
同氏の指摘は、請願の下で進むより広範な転換を浮き彫りにする。安全性は、AIがすでに使用されている後に評価されることになり、FDAによる反復的な審査に依存するのではなく、現実の臨床現場へと、より多くの責任が移される。
医療システムの監督能力
AIの性能を監視するための専門のガバナンス委員会、検証プロトコル、医療情報（インフォマティクス）基盤を備える機関もある。他方で、そうではない機関もある。
ジョンズ・ホプキンス・ヘルスシステムの放射線科戦略・イノベーション担当エグゼクティブディレクターであるAndrew Menard氏は、FDAがパブリックコメントを求めたことは、適応型AIをどう統治すべきかについての不確実性の大きさを示していると語った。
同氏が同業者と交わした会話では、既存の規制経路は実行不可能な負担を生むと考える人々と、監督の移行が新たなリスクを生みかねないと懸念する人々の間で意見が分かれているという。その対立の中心にあるのは、責任に関する実務的な問いだと同氏は言う。「学術医療センターには、AIの安全性を監視できる人材と専門性が概ねある。真のリスクは、同じ資源を持たない小規模な場所で何が起こるかだ」
医療分野の連合体であるCoalition for Health AI（CHAI）でオペレーション責任者兼ゼネラルカウンセルを務めるBrenton Hill氏は、ライフサイクル監督が機能するのは、安全性モニタリングが主要な学術センターの外側にまで及ぶ場合に限られると述べた。「イノベーションをより速く動かすのなら、最大級の医療システムだけでなく、小規模病院でも機能するセーフティネットを構築しなければならない」
Hill氏は、全国的な安全性を確保するためには、規模や地域を問わず医療システム間で共有されるガバナンスモデルが重要になるという点で、CHAIの医療提供者コミュニティ内にコンセンサスがあると述べた。
医師は最後の防波堤なのか
大規模なマルチサイトの民間診療グループで診療に携わる放射線科医のScott Mahanty（MD）氏は、請願の方向性を支持する一方で、その成功は強固な執行メカニズムにかかっていると述べた。
「だからこそ、私の見立てでは、この請願の受け入れ可能な唯一の形は『牙』を伴うものだ」と同氏は言う。「市販後計画に求める最低限の要素、性能ドリフト（performance drift）の扱いに関する明確な期待、過小代表（under-represented）の集団への配慮、そして重要な実世界の所見がどのようにユーザーへ伝達されるかに関する明確な要件だ」
別の人々は、すべてのAIが同程度のリスクを伴うわけではないことを強調した。
Triad RadiologyのCEOでRevealDxの最高医療責任者でもあるLauren Nicola（MD）氏は、その違いは、医師がAIの示す内容を独立して確認できるかどうかに尽きると述べた。
「ツールによっては、医師がその場で答えをダブルチェックできる」と同氏は言う。「できないものもある。それによってリスクはまったく異なる」
同氏は、放射線科医には自らが規制当局として振る舞うための時間も資源もないと付け加えた。
それでも、AIが臨床ワークフローにより深く組み込まれるにつれ、医師が最終的な安全弁としての役割を担う場面は増えていく可能性がある。
欠けているロードマップ：臨床AI規制の未来
請願を取り上げてパブリックコメントを求めたことで、FDAは、導入後も進化し続けるソフトウェアに対し、既存の規制ツールがもはや完全には整合していない可能性を示した。
ライフサイクル監督はおそらく不可避だが、AIがすでに使われている後に起きることへ、より多くの責任を移す。安全チェックの比重が臨床実務に移るほど、責任は規制当局の外へと広がり、メーカーと、これらのツールに日々依存する臨床家の手に委ねられていく。問われているのは、医療AIがどう規制されるかだけではない。患者ケアの一部となったとき、その安全性を誰が「所有」するのかである。
ただし、所有だけでは十分ではない。AIの性能をどう点検し、問題が生じたときにどうするのかについて明確なルールが必要だ。なぜなら、これらのツールが規模も資源も異なる病院へ広がるにつれて、真の試金石となるのは、医療システムが責任者が誰かを知っているかどうかだけでなく、時間の経過とともに患者の安全をどう守り続けるかという点だからである。この請願は、AIが日常医療の一部になるなかで患者の安全を守るために、メーカー、医療システム、臨床家、規制当局がどのように協働するのかについての明確なルールが急務であることを浮き彫りにしている。
開示：筆者はCoalition for Health AIのワーキンググループに参加している。筆者の雇用主も同連合体のメンバーである。
