患者と臨床医の会話を聞き取り、診療記録を生成するプログラムであるアンビエントAIスクライブが、心的外傷後ストレス障害（PTSD）の治療薬が処方されたと記録した。しかし、その薬も診断も、実際には話題にすら上っていなかった。完全なハルシネーション（AIが事実に基づかない内容を生成する現象）である。
この記録は、クリニックを出る前に発見されたため、患者の元に届くことはなかった。
児童・思春期精神科医であり、Glacisの共同創業者兼最高医療責任者を務めるジェニファー・シャノン医師は、書き起こしを直接確認し、診察の中でその記述を合理的に生み出せる要素は何もなかったと結論づけた。
「1日20人の患者を診て、それぞれに何ページもの生成された記録があるところを想像してみてください」と彼女は語った。「保護策としてヒューマン・イン・ザ・ループ（人間が判断の輪に加わる仕組み）に頼るだけでは十分ではありません。人間は間違いを犯し、忙しく、しばしば疲れきっているのです」
診療記録作成の負担は現実の問題だ。臨床医が夜遅くまでチェックボックスをクリックし、記録を入力すべきだと真剣に主張する人はいない。しかし、AI導入は見過ごされやすい形で役割を変えていく。かつて診察中に取ったメモから自らの理解を凝縮していた臨床医が、いまや同じ診察から機械が生成した要約や構造化データを確認する立場に移りつつある。責任は変わらないが、仕事の性質は変わったのだ。
私は、あらゆる文章を静かに丁寧に見直す注意深いレビュアーの姿を思い浮かべているわけではない。思い浮かべるのは火曜日の午後だ。予定が遅れている誰か。30件のメッセージが溜まった受信箱。迎えに行かなければならない子ども。3番診察室で待っている患者。
現実は乱雑なのだ。
専門知識は安全システムの一部である
リチャード・リーク医師は、現役の神経放射線科医であると同時にパイロットでもあり、複数の高リスク環境での運用に慣れている。
パイロットは、複数の障害が意図的に重なり合うように設定されたシミュレーターで、膨大な訓練時間を過ごす。自動化システムが作動しなくなる。エンジンが停止する。天候が急変する。この訓練の目的はリアリティの追求ではない。実際の状況に直面する前に、スキルを研ぎ澄まし、直感力を養うことにある。
リーク医師はこう語る。「十分なシミュレーター訓練を積んだ後には、実機を操縦することがほぼ安心感すら覚えるものになります。すべてがうまく動くからです。失敗を訓練することで、予期せぬ事態が起きても、対応を即興で編み出す必要がなくなるのです」
航空業界においてこうした訓練とスキルのプロトコルが存在するのは、現代の航空機とその自動化システムが極めて信頼性が高いからだ。誰も、パイロットが不要になると考えて飛行機に乗るわけではない。専門性を維持することは自動化が優れていないことの証ではなく、専門性の維持そのものが安全体系の一部なのだ。
自動化は責任よりも仕事のあり方を変える
リーク医師は、放射線診断におけるAIも同様の観点で考えている。パイロットが自身の失敗様式と自動化の限界の双方を理解しているように、放射線科医も自らがミスをしやすい箇所と、AIシステムがミスをしやすい箇所の双方を理解する必要が高まっている。
どちらも完全ではない。安全は、それぞれがどこで失敗しやすいかを理解することから生まれる。
私がこの点に繰り返し立ち返るのは、「ヒューマン・イン・ザ・ループ」がAIの安全概念として好んで用いられるようになったからだ。その考え方はシンプルで、AIが生成した成果物が患者や顧客に届く前に、人間が確認し、あるべきでないものを見つけ出すというものだ。しかし、私たちはあまりにも頻繁に、その人間を単なるバックアップ以上のものではないかのように描写してしまう。機械が仕事をし、何かが壊れたら人間が修正する、という具合に。
それは、私が目にしているものを正確には表していない。
人間は、何かがうまくいかなくなったときに機械を救うためだけにいるのではない。その経験、本能、判断力は、システムそのものの一部である。自動化が進歩するほど、そうした能力の価値は下がるのではなく、むしろ高まる。
最も見落とされている安全層は患者である
高リスク産業が単一の安全層に頼ることは稀だ。医療も同じである。システムの安全を支えるのは臨床医だけではない。患者は長年にわたり、自身のケアに関する専門知識を静かに培ってきた。
アンビエントな記録作成が登場するずっと前から、患者はすでに服薬リストを照合し、紹介の不備を見つけ、人口統計情報の誤りを訂正し、異なる専門医からの相反する推奨を理解しようとしていた。患者は単にケアに参加していたのではない。部分的にしか見ることのできないシステムの内部で起きている失敗を特定していたのだ。
患者アドボケートのウーゴ・カンポス氏は、リズ・サルミ氏とともにクリティカルAIヘルスリテラシーについて執筆しており、この問題を「制度側のAI」と「患者主導のAI」の区別を通じて捉えている。
「システムがゲートキーパー（門番）となる状況を止めなければならず、人々が自らを助けられるようにする必要があるのです」と彼は語った。
彼の指摘が響くのは、AIは患者の専門性を弱めるべきではなく、強めるべきものだからだ。臨床医があふれる受信箱、記録作成の負担、絶え間ない時間的圧力に対処しながら自動化に適応するなかで、患者はシステム内のレジリエンス（回復力）を支えるますます重要な存在になる。責任が患者に移ったからではない。患者の視点が、他の誰にも完全には見えない失敗を捉えるからである。
プロフェッショナルにはプレイブックが必要だ
AIリスクをめぐる議論の多くは、機械が失敗するかどうかに焦点を当てている。だが私は、別の問いにもっと注意が向けられるべきではないかと考えるようになった。
何年もの自動化の成功の後、人間はどうなるのか。
パイロットは失敗を体験する前に訓練する。スポーツチームは決して起きてほしくない状況を予行演習する。外傷チームは救命コードのリハーサルを行う。目的は予期せぬ事態を排除することではなく、プロフェッショナルにプレッシャー下で解決策を即興で編み出させないことにある。
正直に言えば、これらのシステムのいくつかには今なお驚嘆させられる。実に驚異的だ。だからこそ、それらがほとんどの場合正しく機能するとき、人間の専門性に何が起きるのかを私は懸念している。
AIシステムは非常に優れたものになりつつある。だからこそ私は、破滅的な失敗よりもスキルの衰退について考えることが多くなっている。
緊急事態の最中にスキルの衰退を発見したいと思う者はいない。
そして、最も重大な局面で対応を即興で編み出さねばならないプロフェッショナルなど、いてはならない。
いまこそ、私たちが継続して磨き続けるスキルについて意識的になるべき時だ。なぜなら、いったん専門性が失われてしまえば、それを最も必要とする日まで、私たちはその喪失に気づかないからである。
