OpenAIのセキュリティ研究者であるマイケル・ダルトンは、「Black Hat USA 2026」においてHugging Faceのインシデントについて触れ、「AIが主導する、完全に自動化されたサイバー攻撃は、今や現実のものとなった」と語った。同氏はさらに、「課題は、防御側においても同様のスピード感が求められている点だ」と付け加えた。
AIによる攻撃が最終的に人間の防御力を上回ることは、以前から予想されていた。Hugging Faceでのインシデントは、こうした攻撃がすでに現実のものとなったことを示す決定的な転換点だと筆者は考えている。
サイバーセキュリティ業界では、攻撃の展開スピードがすでに分単位で測定されている。クラウドストライクの「2026年グローバル脅威レポート」によると、初期侵入から横展開（ラテラルムーブメント）に至るまでの平均ブレイクアウト時間は29分で、2024年比で65％短縮された。最速のブレイクアウト時間はわずか27秒で、ある侵入事例ではわずか4分でデータが完全に持ち出された。防御側も同じ時間軸で動作しなければならない。
「Human-in-the-Loop」アプローチの進化の必要性
機密性の高い環境でAIを活用する際、人間をプロセスに介在させる「Human-in-the-Loop（ヒューマン・イン・ザ・ループ）」は基本原則とされる。AIがアカウントの無効化、アクセス権の剥奪、マシンの隔離、さらには本番システムへの影響を与える可能性がある場合、人間の監視が必要となるからだ。しかし、このアプローチは二者択一で捉えられがちだ。すなわち、人間がアクションを承認するか、エージェントが自律的に行動するかのどちらかである。攻撃者がマシン並みの速度で動く場合、この二極的な考え方は課題となり得る。自律的な応答が人間の承認を待つために停止するとき、その遅延自体がセキュリティ上の重大な要因となってしまう。
AIによる攻撃に対処するには、自律性の定義を再考する必要があると筆者は考える。自律性はもはや二者択一ではなく、グラデーションなのだ。単にAIが行動できるかどうかではなく、現在のリスクや文脈（コンテキスト）に基づいて、その瞬間にどれだけの自律性を許容できるかが問われている。これが「コンテキストに応じた自律性（Contextual Autonomy）」であり、人間の制御を損なうことなく、特定の状況が許す範囲でAIの自律性を最大限に高めるアプローチだ。
「コンテキストに応じた自律性」の理解
AIがどこまで行動すべきかは、個々の状況の文脈によって異なる。具体的には、どのようなアクションか、ユーザーは誰か、アセットの所有者は誰で、その重要度はどの程度か、どのビジネスプロセスがそれに依存しているか、動作は異常か、被害の影響範囲（ブラスト・レディアス）はどの程度か、人間の承認を要する重大な意思決定を待つ間に、リスクの軽減、攻撃者の選択肢の制限、証拠の収集、さらなる拡散の防止のためにシステムが直ちに実行できることは何か、といった点だ。
その回答は、組織や文脈によって異なる。ある企業では、従業員の端末（エンドポイント）の自動隔離を認める一方、本番環境への操作には人間の承認を求めるかもしれない。別の企業では、顧客向けの重要なサービスを支えるシステムを除き、本番環境での自動アクションを認める場合もある。侵害された役員アカウントの無効化には人間の承認が必要であっても、悪意あるセッションの終了、侵害されたトークンの失効、調査の再開などは自律的に実行されるかもしれない。
その境界線は時間とともに変化する場合もある。例えば、ECシステムをオフラインにする場合、メンテナンス時間帯であれば影響は限定的だが、ブラックフライデーの最中であれば深刻な影響をもたらす。
脅威の深刻度によっても境界線は変わる。誤検知によって事業が中断するリスクがあるため、通常は本番サーバーの隔離に人間の承認が必要かもしれない。しかし、そのサーバーから他のシステムへマルウェアが拡散している強い証拠がある場合、承認を待つリスクのほうが、サーバーを隔離するリスクよりも大きくなる可能性がある。同じポリシーを持つ同じ組織の同じアセットであっても、コンテキストが変化したことでより高い自律性が許容されるのだ。
信頼メカニズムの重要性
AIシステムがこうした要素を評価するためには、アイデンティティ、アセット、依存関係、業務の重要度、ポリシー、組織の意思決定プロセスなど、組織に関する包括的なコンテキストを把握している必要がある。
しかし、コンテキストだけでは権限を与えることはできない。コンテキストに応じた自律性には、範囲を限定したアクセス権限、厳格な境界、承認ゲート、信頼度の閾値（しきい値）、監査可能性、継続的な評価、ドリフト検出、アクションの検証といった、組み込みの「信頼メカニズム」が不可欠だ。これらのメカニズムが、自律性を安全に拡大するための鍵となる。
こうした信頼メカニズムが整備されていない場合、AIが誤ったコンテキストに基づいて確信を持って行動してしまうリスクが生じる。不完全または古いコンテキストに基づいて行動すると、共有資格情報の失効や本番ホストの誤った隔離など、大きな被害を引き起こす恐れがある。
一方で、企業が「すべての操作に人間の承認を求める」という対極の姿勢をとれば、攻撃のスピードに追いつけなくなる。こうした落とし穴を避けるため、組織は「行動を起こすリスク」と「行動を起こさないリスク」を絶えず比較し、AIエージェントがセキュリティ専用に設計された「コンテキスト層」の上で動作するようにすべきだ。このレイヤーを構築することで、エージェントが正しく判断し行動するための精度と信頼性を確保できる。
コンテキストが明確で確信度が高く、AIが信頼できるパフォーマンスを発揮する場合は、自律性を広げることができる。逆に、証拠が不十分であったり確信度が低くリスクが高い場合は、自律性を制限し、人間による介入の境界を強めるべきだ。
信頼におけるもう一つの重要な要素は、アクションのロールバック（取り消し）機能だ。実行した操作を元に戻せる仕組みがあれば、承認のハードルは下がる。自律性のレベルは案件ごとに判断されるべきであり、その境界線は人間が定義しなければならない。
規制の厳しい業界における特別な考慮事項
金融やヘルスケアなどの規制が厳しい業界では、より厳格な人間の介入境界を設定し、AIの自律性へのアプローチがそれを徹底するように設計されるべきだ。重要インフラのように、誤った操作が取り返しのつかない事態を招く業界についても同様である。
さらに別の制限も存在する。法務部門による内部調査や銀行規制当局による非公開の検査結果など、AIシステムからは見えない制約条件もある。また、要件同士が衝突する場合もある。例えば、侵害された診療システムを隔離することはインシデント解決に寄与するかもしれないが、患者の治療を危険にさらす恐れがある。リーダーはこうした判断に対する責任を持ち、常に注意を払う必要がある。
AIによる意思決定の迅速化を確保する
一部の決定は今後も人間が行うことになるが、コンテキストに応じた自律性の真の目的は、意思決定のスピードを上げることにある。AIが承認のために一時停止した際、防衛側の担当者が意思決定を行うためにゼロから調査をやり直すようなことがあってはならない。
組織は、AIが即座に判断を下せる詳細なレポート（何が起きたか、その証拠、影響を受けるアセットと所有者、すでに講じたアクション、ビジネスへの影響、被害の想定範囲、推奨される次のステップ）を提供できるようにしておくべきだ。単にアセットの所有者を特定するだけで数時間を要した事例を筆者は目にしてきた。排除すべきはまさにこうした遅延だ。人間は、事案を一から再構築することに貴重な時間を費やすことなく、即座に判断を下せなければならない。
Human-in-the-Loop 2.0
Hugging Faceへの攻撃は、マシン並みの速度で動く動的なAI攻撃がもはや理論上の脅威ではないことを実証した。OpenAIが指摘するように、防御側にも同様の加速が必要だ。それを実現するには、単にモデルの性能を強化するだけでは不十分である。相手がマシン速度で攻撃してくるときに、人間の制御がどのように機能すべきかを根底から再考する必要がある。
プロセスに人間を介在させる重要性は変わらないが、それは「人間の承認」か「AIの完全自律」かという二者択一ではない。「Human-in-the-Loop 2.0」アプローチとは、文脈（コンテキスト）を活用してAIがどこまで行動できるかを決定し、組み込みの信頼メカニズムを通じてその自律性を担保し、人間の判断が真に必要なまさにその瞬間に人間を介在させる手法である。
目指すべきは、人間のコントロールを維持しつつ、マシン速度での防御を実現することだ。
