過去2年間で、AIは「対話する対象」から「自身の代理として行動させる対象」へと進化を遂げた。調査会社のガートナー（Gartner）は、特定タスク向けの「AIエージェント」が2026年末までに企業向けアプリケーションの40%に組み込まれると予測している。AIエージェントは、目標を確認し、使用すべきツールやシステムを判断し、それが機能したかをチェックし、次のステップへと進むことができる。そのプロセスの大半において人間が介入する必要はない。
しかし、AIエージェントの価値を高めている自律性そのものが、リスクの要因でもある。ソフトウェアが取引の承認、システムの変更、データの移動などを自律的に行えるようになると、ひとつの些細な判断ミスが甚大な結果をもたらす可能性がある。
リスクはどこに潜んでいるのか
この分野を追跡しているセキュリティ研究者は、リスクを以下の3つのカテゴリーに分類している。
1. 読み込んだコンテンツに騙されるリスク
セキュリティチームはこれを「プロンプトインジェクション（指示の注入攻撃）」と呼ぶ。AIエージェントは人が入力した指示に従うだけでなく、業務の一環としてメール、文書、ウェブページなども読み込む。それらのデータ内に攻撃者が仕込んだ隠し指示が含まれていると、誰にも気づかれずにエージェントの行動がひそかに操作されてしまう可能性がある。
2024年8月、セキュリティ企業プロンプトアーマー（PromptArmor）の研究者は、公開メッセージに隠れた指示を仕込むことで、SlackのAIアシスタントを操作し、ユーザーがアクセス権を持たないプライベートチャンネルの情報を漏えいさせ得ることを示した。
関連して、2025年6月にはエイム・セキュリティ（Aim Security）の研究者が、1通のメールを送信するだけで攻撃者が企業の機密データを窃取できるMicrosoft 365 Copilotの脆弱性を公表した。受信者はそのメールを開く必要も、何かをクリックする必要すらなかった。さらに2026年5月、マイクロソフト自社のセキュリティチームは、隠された指示によって同社のAIエージェント製品の制御が奪われ、最終的に実行中のコンピューター自体が乗っ取られる可能性があることを公表した。
2. 必要以上のアクセス権限が与えられるリスク
新しいAIツールに、それを使う従業員と同じログイン情報や権限を与えたくなるのは自然なことだ。設定は簡単で、エージェントは「とにかく仕事をこなせる」。しかし、この利便性は多くのリーダーが認識しているよりもはるかに大きな影響範囲を生み出す。もしエージェントが騙されたり悪用されたりした場合、攻撃者はその従業員がアクセス可能なすべての情報やシステムにアクセスできるようになってしまう。
3. エージェント間の連携による問題の急速な拡大
現在、多くの企業が複数のエージェントを連携させている。あるエージェントが別のエージェントにタスクを引き継ぎ、それがさらに3番目のエージェントへと引き継がれるといった具合だ。しかし、この連鎖の中の1つのエージェントが乗っ取られた場合、そのエラーや悪意ある操作が誰にも気づかれずに連鎖全体へと広がっていく。
このリスクの具体例として、2025年にAIモデル「Claude（クロード）」を手がけるアンソロピック（Anthropic）が、中国の国家支援を受けるハッカー集団の活動を阻止した事案がある。同集団はアンソロピックのコーディングツールを自律的なサイバー攻撃プラットフォームへと改変し、人間の介入を最小限に抑えた状態で、数十の組織に対するスパイ活動の約80〜90%を実行していた。
企業が取るべき対策
だからといって、企業がAIエージェントの活用から手を引くべきだという意味ではない。生産性の向上は本物であり、セキュリティ対策を適切に行う企業は、そうでない企業を凌駕する成果を上げるだろう。AIエージェントのセキュリティリスクを管理するために組織が取り組むべき対策として、筆者は以下の点を推奨する。
1. 稼働中のエージェントを正確に把握する。 多くの企業は、自社内で既にどれだけのAIエージェントが稼働しているかを軽視しがちだ。個々のチームがセキュリティ部門に連絡することなくエージェントを立ち上げているケースが多い。そのため、どのエージェントが存在し、責任者は誰か、どのデータやシステムにアクセスできるか、誰が承認したのかを記録したシンプルな台帳（インベントリ）を作成・維持することが重要である。
2. 各エージェントに限定された独自の身元（アイデンティティ）を付与する。 エージェントに従業員のログイン情報を流用させてはならない。各エージェントには独自のアカウントを持たせ、業務に必要な特定のシステムとデータだけにアクセスできるようにする。それ以上は不要だ。そうすれば、仮に侵害されたとしても、被害を限定できる。
3. 重大な影響を及ぼす処理には人間の承認を必須とする。 日常的なエージェントの動作の大半は、人間が監視する必要はない。しかし、送金、本番システムの変更、大量データのエクスポート、削除操作については、必ず事前に人間の承認を求めるべきだ。そして、その承認ステップはシステム自体に組み込まれていなければならない。エージェントが言いくるめられて回避できるようなものでは不十分である。
4. エージェントが技術的に実行できる範囲にガードレールを設ける。 エージェントがアクセスできるシステムを制限し、実行できるアクションの規模や限度額に上限を設け、テスト環境が本番環境と確実に分離されていることを確認する。すべてのエージェントが最終的には悪意ある入力に遭遇するか、誤った判断を下すことを前提とし、それに合わせた防護策を構築すべきだ。
5. 発言内容だけでなく、振る舞いを監視する。 エージェントのセキュリティにおいては、どのようなツールを使用し、どのデータにアクセスし、次に何を行ったかという、時間の経過に伴う動作履歴を追跡する必要がある。銀行が不審な取引を検知するのと同様に、各エージェントの「正常な動作」の基準を設定し、そこから逸脱する挙動を警告できるようにする。
6. インシデント対応計画を「マシンスピード」に合わせて刷新する。 乗っ取られた、あるいは混乱したエージェントは、セキュリティアナリストがリアルタイムで察知するよりもはるかに速いスピードで、一見正当に見える破壊的な一連のアクションを実行できる。チームが迅速にエージェントのアクセス権を剥奪し、動作を停止させ、行った操作を正確に復元できるようにしておく必要がある。このプロセスは予行演習をしておくべきであり、有事の混乱の中でゼロから構築するようなものであってはならない。
おわりに
セキュリティチームがこれらをすべてゼロから考案する必要はない。確立されたフレームワークがすでに基本構造を提供している。OWASP（Open Worldwide Application Security Project）は、大規模言語モデル（LLM）を活用したアプリケーションが直面する最も重大なセキュリティリスクに関するガイドラインを公開している。これに加え、米国標準技術研究所（NIST）のAIリスクマネジメント・フレームワーク（AI RMF）およびサイバーセキュリティ・フレームワークが、組織レベルでリスクを管理する方法を提示している。
エージェントを単なる「より賢いチャットボット」として扱う企業は、自律性が生産性を高めるのと同じスピードで、ミスやセキュリティ上のリスクも拡大させるという教訓を痛い目を見て学ぶことになるだろう。したがって、競争上の優位性をもたらすのは「最大限の自律性」ではなく、「大規模かつ安全な自律性」なのだ。
