エージェンティックAI(自律的に判断・行動するAI)は、多くの企業向けセキュリティシステムに埋め込まれている中核的な前提に挑む。それは「意思決定を行うのは人間である」という前提だ。組織が、意図を解釈し、複数のシステムにまたがって行動を起こせるAIエージェントを配備し始めるにつれ、人間の承認を中心に構築されたセキュリティモデルは、もはや完全には当てはまらなくなる。こうした影響を踏まえ、米国立標準技術研究所(NIST)は最近、AI Agent Standards Initiativeを立ち上げ、エージェンティックAIがもたらすセキュリティリスクをより深く理解するため、3月9日締め切りの情報提供要請(RFI)を発出した。
あらかじめ定義されたワークフローを実行する従来型の自動化とは異なり、エージェンティックシステムは意図を解釈し、行動を選択し、ツールやデータとリアルタイムに相互作用する。単に出力を生成するだけではなく、行動するのだ。システムへの照会、コードの変更、ワークフローの起動も可能である。エージェンティックAIは、請求書の確認・支払い、在庫の確認・補充、出張手配、物理インフラの保守といった多様な業務での活用が期待される。一方で、エージェンティックAIを価値あるものにしている同じ特性が、誤用や不十分なガバナンスの下では、金銭的損失、データ漏洩、安全上の懸念などのリスクをもたらし得る。
組織が自律型システムの検証を進めるにつれ、エージェンティックAIのセキュリティと監督をめぐる問いは、企業のリスクマネジメントの中心課題になりつつある。
エージェンティックAIがセキュリティ環境を変える
セキュリティリーダーは、エージェンティックシステムへの移行が、組織がリスクと監督をどう捉えるべきかを根本から変えると語る。シャハル・ペレド氏は、ヒューマン・イン・ザ・ループ(人間が介在する)型のエージェンティックAIを活用するペネトレーションテスト企業、Terra Securityの共同創業者兼CEOだ。同氏はこの変化を率直に表現する。「エージェンティックAIは、スピード、スケール、自律性という3つの根本的な点で、セキュリティの方程式を変える」
脆弱性そのものは新しいものではない。データ漏洩、権限昇格、安全でない統合は、いずれも見慣れたリスクである。変わったのは速度だ。エージェントは継続的に動作し、リアルタイムに適応し、他のエージェントと連携できる。これにより、エージェント同士の攻撃、これまで分離されていたシステム間の相互作用、ワークフローをまたいだ無許可の権限拡大といった事象の入り口が開く。
エージェンティックAIのセキュリティ企業Geordie AIの共同創業者兼チーフAIオフィサーであるハナ=マリー・ダーリー氏は、「最大の脅威は、暴走するAIではない。可視性の喪失だ」と主張する。組織はしばしば、誰がエージェントに作業を依頼したのか、エージェントが依頼をどう解釈したのか、完了のためにどのツールとデータを用いたのかを再構成できない。その一連の出来事がなければ、説明責任を確立することは難しくなる。
多くの企業向けセキュリティフレームワークは、重要な局面での人間の承認を前提としている。AIエージェントが関与する場合、その前提はもはや成り立たない。ソフトウェアが独立して意思決定するなら、責任はシステム設計、構成、監督へと上流に移る。ペレド氏の言葉を借りれば、「システムがやった」は、そのシステムが適切に拘束され、監視され、監査可能でなかったのであれば、受け入れられる答えではない。
エージェンティックAIには、より高い運用規律が必要だ
エージェンティックなコードセキュリティ企業DryRun Securityの共同創業者兼CTOであるケン・ジョンソン氏は、核心的な緊張関係をこう要約する。「自律性に権限が加わると、コードリスクだけでなく行動リスクが生まれる」。AIエージェントは、人間が結果を熟考するよりも速く行動できる。
最良の実装は、意図的に権限を制約すると同氏は言う。たとえばコーディングエージェントは、コード変更の作成は許可しても、マージは許可しない。セキュリティエージェントは、変更がなぜ危険かを説明し、本番環境へのデプロイ前に人間の承認を求める。インシデント対応エージェントは状況を収集できるが、行動には承認が必要となる。
監督のないスケールは甚大なリスクをもたらす。「本番環境へのアクセス権を持ち、キルスイッチも監査証跡もない自律エージェントは、静かでシステミックなセキュリティ障害を引き起こし得る」とジョンソン氏は述べた。ソフトウェア開発環境では、同氏は「AIコーディングエージェントが最初は好調でも、コードベースが大きくなるにつれて徐々に劣化し、確立されたパターンから事実上逸脱し、標準に違反し、微妙だが危険な欠陥を持ち込む」事例を繰り返し見てきたという。大規模になると、コード変更は巨大化し、その進行も速いため、人間が異常に気づく前に変更が本番に入ってしまうことがある。
ペレド氏は悪夢のシナリオを「スケールした静かな自律性、すなわち、広範なアクセス権を持ち、明確なオーナーがなく、監査証跡が弱く、エスカレーション経路もないエージェントが、相互接続されたシステム全体で稼働している状態」と表現する。この環境では、失敗が静かに連鎖していく。「人間が気づく頃には、被害はすでに出ている」と同氏は付け加えた。
エージェンティックAIに「セキュア・バイ・デザイン」を適用する
セキュリティリーダーは、エージェンティックシステムは初期段階から保護策を組み込んだ設計でなければならない、という点を一段と強調している。米サイバーセキュリティ・インフラストラクチャ安全保障庁(CISA)はテクノロジー提供者に対し、「セキュア・バイ・デザイン」のアプローチを採用し、顧客のセキュリティを二次的な技術機能として扱うのではなく、中核的な事業要件として優先するよう促している。
インタビュー全体を通じて、エージェンティックシステムを責任ある形で配備するために不可欠な基盤的コントロールとして、いくつかが一貫して挙がった。
- エージェントが何をどこまで行えるかを定め、最小権限を徹底する明確な権限制限
- 意図、解釈、入力、実行を追跡する、不変で透明かつ分離された監査ログ
- リスク閾値を超えた際に人間へエスカレーションする明確なポイント
- ドリフトを検知し、何が起きたかだけでなく「なぜ」を示す行動の可観測性
キルスイッチについては専門家の見解が分かれる。ジョンソン氏は即時かつ全体停止を可能にするキルスイッチを推奨する一方で、ダーリー氏は慎重さを促す。「キルスイッチは安心感があるように聞こえる」と同氏は言うが、タスクの途中でエージェントを突然停止させることは、「途中でプロセスを断ち切ることで監査可能性が損なわれ、連鎖的障害を誘発する」ため、むしろリスクを増やしがちだという。その代わりに同氏は、システムプロンプトや、ユーザー・場所・シナリオに応じて権限付与が変わる文脈的ガバナンスを通じて、静的ルールではないガードレールを組み込むべきだと主張する。
エージェンティックAIがもたらすガバナンスの課題
多くのリーダーが、エージェンティックシステムを導入するか、どう導入するかに注目する一方で、より根本的な問いは運用上のオーナーシップである。説明責任とセキュリティには、明確なスチュワードシップ(責任主体)とガバナンスが必要だ。最初の配備を承認するリーダーは、制約のない(あるいは把握されていない)自律性が生む管理不能な露出を防ぐため、明確な定義と権限を求めるべきである。
ダーリー氏は「エージェントのスプロール(拡散)──SaaSに組み込まれたエージェント、カスタムコード、非技術部門が作成した市民開発エージェントが断片的に混在する状態」を警告する。セキュリティのためだけでなく、インパクトを最大化するためにも、統一された戦略的視点が必要である。
最終的に、エージェンティックAIの台頭は、技術的課題であると同時にガバナンスの課題でもある。リーダーは、どこでエスカレーションが発生するのか、誰に介入権限があるのか、意思決定がどうログ化されるのか、エージェントの行動が時間の経過とともにどう監視されるのかに答えられなければならない。こうした構造が整わなければ、組織は管理できる速度を上回って自律性を導入してしまうリスクを負う。



