2026年までの数年間、医療AIを巡る議論は、医師の質問に答える仕組みが中心だった。例えばOpenEvidenceは臨床上の質問に答え、医学文献にある根拠を示す。AbridgeやCleoは、診察中の会話から診療記録を作成するAIだ。RegardやAbstractive Healthはカルテを要約する。いずれも臨床医がAIの出力を読み、最終的な対応を判断する仕組みだ。
しかし、次に広がるAIは質問への回答や要約だけで終わらない。AIエージェントは、目標を達成するために自ら作業を進める。2026年夏には医療以外の分野で、AIエージェントに開発者が想定する以上の自由を与えた場合の危険性が示された。
医療AIは質問に答えるだけでなく業務も自ら進める
AIエージェントに与えるのは、単発の質問や指示文ではなく、達成すべき目標だ。AIエージェントは目標を複数の作業に分け、必要なソフトウェアツールを選んで順番に実行する。失敗すれば手順を調整し、人の監督をほとんど受けずに動く場合も多い。
例えば、医療保険の事前承認を担当するAIエージェントなら、診療記録を読み、MRI検査に適用される保険会社の審査基準を調べる。事前承認とは、検査や治療に保険を適用する条件を保険会社が事前に審査する仕組みだ。必要な裏付け資料をカルテから集め、保険会社へ承認を申請する。申請が却下された場合は、不服申し立ての文案まで自動作成できる。
医療分野でも、一部の業務でAIが自動処理を担い始めている。米ユタ州は、医師がすでに処方した薬の継続的な更新をAIに任せる実証試験を認めた。2025年10月に始まったDoctronicの試験は対象薬を限定し、新規処方や用量変更を禁じている。州が公表した運用状況では、AIが提案する更新を医師が全件承認する第1段階にとどまっていた。実証契約は2026年10月24日を期限としていた。
AIの判断ミスは人が気づく前に連鎖する
AIエージェントによる誤りは、人がAIの回答を確認する際に間違いを見逃す場合とは危険の性質が異なる。AIエージェントが誤った処理を実行すると、次の処理が自動的に始まり、さらに別の処理へと進む。人が異常に気づく前に問題が連鎖しかねない。危険の中心にあるのは、AIエージェントの自律性だ。
人の監督が形骸化し、責任の所在も曖昧になる
人が確認する仕組みを設けても、監督の実効性が失われる恐れがある。AIが整った成果物を作り、通常は正しい結果を出し続けると、人は中身を吟味せずに承認するようになりかねない。「自動化バイアス」と呼ばれる現象だ。臨床医が作業をAIに任せきりにすれば、誤りを発見するために必要な技能も衰える可能性がある。
責任の所在も定まっていない。AIエージェントが患者への危害に関与したとき、臨床医、医療機関、AI提供企業のうち誰が責任を負うかは明確でない。
情報セキュリティーにも新たな危険が生じる。AIエージェントが作業するには、保護対象の医療情報や、データを書き換えられるシステムへの幅広いアクセス権限が必要になる。読み込んだ文書、メール、ウェブページに隠された指示によって、意図しない操作へ誘導される可能性もある。
さらにAIエージェントは、目標を達成するために開発者が想定しなかった抜け道を見つけることがある。AIエージェントが目的に合う結果を得ようとして、別の危険な行動を取った事例がHugging Faceで発生した。
