ペリー・カーペンター氏は、人的リスク管理に対応するサイバーセキュリティプラットフォームKnowBe4のチーフ・ヒューマン・リスク・マネジメント・ストラテジストである。
AIエージェントが検索からソーシャルエンジニアリング攻撃まであらゆるものを変革している状況を探り、それらがもたらす特定の脅威とトレーニングの機会を検討した後、今回はこれらの自律システムがサイバーセキュリティ業務そのものをどのように根本的に再構築しているかについて、より深く掘り下げたい。
セキュリティに関して、これらのエージェントは仮想セキュリティ運用チームのメンバーと同様に機能し、ネットワークの監視、脅威の探索、ポリシーの作成、さらには攻撃のシミュレーションまで行う。この移行により、前例のないスピード、規模、対応力が実現する可能性がある。
しかし、それは同時に、制御、自律性、高度なディープフェイク偽装やソーシャルエンジニアリングなどの深く操作的な脅威を認識する能力に関する難しい問題も提起している。
エージェント型AIネットワークの内部動作
仮想セキュリティにおけるエージェント型AIについて、次のように考えると理解しやすいだろう：中央オーケストレーターがシステムの頭脳として機能し、システム活動データ、ユーザーアクション、セキュリティレポートなど、幅広い文脈データストリームを継続的に取り込み分析し、初期段階で異常を発見する。
潜在的な脅威が発生すると、中央AIオーケストレーターは専門エージェントのグループを動員して対応する。あるエージェントはシステム情報を検索して不審な動作を特定し、別のエージェントは同種の将来の脅威を防ぐためにセキュリティポリシーを改訂し、3番目のエージェントは攻撃をシミュレーションしてシステムの防御をテストする。
これらのエージェントは全体として、人間のセキュリティオペレーションセンターの連携に匹敵するインテリジェントで適応力のある防御システムを構成するが、機械のスピードと規模を備えている。
エージェント型AIアーキテクチャにおける自律性の調整
高度化するエージェント型AIシステムの登場により、根本的な問いが浮上している：私たちはこれらのシステムにどの程度の自律性を与えるべきか？
これらのエージェントに自律性を付与することで、対応が迅速になり、人間の作業負担が軽減される。しかし、そのような自律性に対する制御の欠如は、誤検知、過度に制約されたポリシー、あるいはビジネス目標と相反する自動化された行動につながる可能性がある。
例えば、過敏な脅威探索エージェントが、良性のユーザー活動を悪意あるものとして誤って分類し、一連の不要なロックダウンを引き起こす可能性がある。逆に、過度に保守的な制限は、必要な修復措置を妨げる可能性もある。
しかし、組織は自律性と制御のバランスを取ることでこの問題を克服できる。これは、各エージェントに明確な運用役割を確立し、影響の大きい決定に対する人間のレビューと上書きのメカニズムを実装することで達成できる。各エージェントの推論を監査できるように説明可能なAI手法を適用する。これらのガードレールにより、自律性がセキュリティを低下させることなく向上させることを確保できる。
ソーシャルエンジニアリングとディープフェイクに対抗するエージェントのトレーニング
ソーシャルエンジニアリングとディープフェイク攻撃は強制とマルチメディア操作に基づいているため、単純なヒューリスティックでは発見が非常に困難である。AIエージェントにこれらと戦う能力を与えるには、以下を含む高度なマルチモーダルソリューションが必要である：
• エージェントが音声、映像、テキストコンテンツを同時に処理し、リップシンク、声のトーン、文体の不一致を特定するマルチモーダル信号処理。
• 個人や組織のコミュニケーション規範をモデル化することで、既知のパターンから逸脱したり、操作的な信号を示したりするメッセージをエージェントがマークできる行動プロファイリング。
• メッセージの誰が、いつ、なぜという感覚を与えることで、ディープフェイクを特定するエージェントのリスク評価に影響を与える文脈的インテリジェンス。
• 進化するディープフェイクやフィッシングシナリオにモデルを継続的に曝すことで、高度な欺瞞手法に対抗する堅牢なトレーニング。
AIのためのAI：自己改善するセキュリティエコシステム
AIエージェントが互いの能力を支援し拡張するという概念は、未来的なだけでなく、現実味を増している。
高度なセキュリティ環境では、相互接続されたエージェントエコシステムが形成され始めている。例えば、あるエージェント（データ取り込みエージェント）が数十の公開・非公開ソースから生の脅威インテリジェンスを収集・整理する。別のエージェント（リスクモデリングエージェント）がその情報を使用して攻撃傾向を予測し、最も緊急性の高い脆弱性を特定できる。
3番目のエージェント（対応戦略エージェント）は対応プレイブックを開発し、運用エージェントと共有する一方、4番目の検証エージェントはシミュレーション攻撃に対してそれらの防御が機能することを確認するための制御されたテストを実行する。この閉ループシステムは継続的に自己改善し、各エージェントが次のエージェントに知識を渡すことで、より迅速な学習と適応を可能にする。
しかし、潜在的な落とし穴はエラーの伝播にある：あるエージェントによって開発された欠陥のあるリスクモデルは、迅速に検出されなければ、システム全体を誤った方向に導く可能性がある。エージェント型AIが進化するにつれ、敵対者はこれらのネットワークを悪用する方法を探すだろう—検出パイプラインを損なうために欺瞞的なインテリジェンスを注入したり、ディープフェイク検出エージェントを誤導するために誤警報を引き起こしたり、悪意のあるコンテンツを気付かれずに忍び込ませたり、さらには防御を妨害するために不正なエージェントを挿入してエージェント間通信を乗っ取ったりする。
透明性のあるヒューマンインザループ
暴走する自律性とシステム崩壊を防ぐには、明示的なヒューマンインザループアーキテクチャが必要である。すべてのエージェントの決定と行動は、人間が読める形式で追跡され、監査可能で調査のために簡単にレビューできる管理の連鎖を作成する必要がある。
アナリストが効果的に上書きを行うためには、エージェントが結論と提案された行動について簡潔で文脈が豊富な正当化を提供する、エージェントの行動に対する明確な説明責任のラインが必要である。
影響の大きい、または曖昧なケースでは、取り返しのつかない決定が下される前に人間の検査を必要とする警告が自動的に発生するようにする。承認された個人のみがエージェントのポリシー、目標、しきい値を変更できるようにするために、洗練されたアクセス制御と役割ベースの権限を実装する必要がある。
明日のサイバー防御の形成
エージェント型AIは、インテリジェントなエージェントが人間の専門家と協力して、絶え間なく適応する管理者として機能するサイバーセキュリティの将来に関する説得力のあるビジョンを提示している。しかし、このビジョンを現実にするには、技術的な独創性以上のものが必要である。それには自律性と制御の微妙なバランスが求められる。
AIシステムが透明性、監視、倫理的セーフガードをシステムのあらゆる側面に統合することで開発されれば、イノベーションを加速し、インテリジェントに学習し、人間の能力を拡張して、エージェント型AIが常に善の力となるようにすることができる。
