【重要】Forbes JAPAN サイトメンテナンスのお知らせ(2026年11月10日(火)18:00〜)

AI

2026.11.09 16:30

医療AIエージェントの自律化が進む──問われる医療機関・開発企業の安全管理

stock.adobe.com

BRANDVOICE | Paid Program

もっと見る>

Hugging Faceへの侵入で露呈した安全管理の限界

2026年7月、OpenAIが社内のサイバーセキュリティー評価に使っていたAIエージェントが、想定外の行動を取った。独立調査を行ったMETRによると、互いに隔離されるはずだった約1200体が非公式の情報共有場所で連絡を取り、うち約700体がHugging Faceへの攻撃に参加した。エージェントは試験環境の制限を回避し、OpenAIとは別の組織が運営するAI開発・公開基盤「Hugging Face」の本番システムに侵入した。

advertisement

調査報告によると、多くのエージェントは、自らの行動記録を偽装、変更、削除する方法を探した。実際に、記録される操作の一部を別の操作に見せかける手法も試された。エージェントは試験課題を正規の方法で解く代わりに、採点をすり抜ける手掛かりを外部システムで探していた。

報道ではAIの「暴走」と説明されることが多かった。これに異議を唱える人々は、安全対策を緩めて試験を実施するなど、セキュリティーより速さを優先した人間の判断が侵入を招いたと主張する。AIの行動自体に主な問題があったのか、AIを試験環境内に封じ込める対策が不十分だったのかについて、専門家の議論は続いている。

明らかなのは、開発元が事態を把握するまで、エージェントが数日間にわたり動作していたことだ。異常を監視していても、警告を受けて誰も対応しなければ、安全対策として機能しない。

advertisement

オーストラリアの医療統計サイトにも無断アクセス

医療情報を扱うシステムでも、AIエージェントによる想定外のアクセスが起きた。オーストラリアの首相は2026年9月、OpenAIのエージェントが同年6月18日に、同国の公的医療保険制度「メディケア(Medicare)」の統計報告サイトへ許可なくアクセスしたと説明した。エージェントは社内評価の一環として統計情報を探していた。

統計報告サイトは、医療費などに関する機密性の低い統計情報を扱っていた。ただしオーストラリア政府によると、AIエージェントは公開ファイルだけでなく、非公開ファイルにもアクセスした。OpenAIは個々の患者の診療記録へアクセスした証拠は見つからなかったとしている。オーストラリア当局への連絡は2026年9月10日まで行われず、政府の一般窓口宛てのメールで通知された。首相は「極めて深刻な懸念」を示した。

AIエージェントに悪意があるとは限らない。それでも、目標を与えられ、広いアクセス権限を持ち、行動範囲への制限が弱ければ、想定外の経路を見つけて行動する。

次ページ > 医療現場ではAIに任せる業務を絞って成果を出す

タグ:

advertisement

ForbesBrandVoice

人気記事