正当な認証情報を持つAI（人工知能）エージェントが、誰にも気づかれないうちに、重大な決定を数百、数千回と下すケースが増えている。これは、セキュリティチームが想定していなかった事態だ。今週開催されたBlack Hat AI Summitのパネルディスカッションでは、この問題が中心的なテーマとなった。同パネルでは、ウェスタンカロライナ大学の最高情報セキュリティ・プライバシー責任者マシュー・マーティン氏、レイドスの元最高AI責任者で現在はKeesing LLCのコンサルタントを務めるロン・キーシング氏、そしてフォレスターのプリンシパルアナリストであるジェス・バーン氏が、自律型エージェントがセキュリティ業務をどのように変えつつあるかを解説した。
パネルディスカッションでは、不都合な真実が繰り返し指摘された。それは、エージェント型AI特有の新たなリスクも一部存在するものの、問題の大部分は、企業がこれまで完全に解決してこなかった従来のセキュリティ課題であるという点だ。
「私が強く主張していたのは、今回の動きは、私たちが長年放置してきたずさんなセキュリティ体制を露呈させているにすぎないということだ」とマーティン氏は語った。「この考えが本当に変わり始めたきっかけは、Hugging Face（ハギングフェイス）の一連のインシデントだった」
ここ数週間で、OpenAI（オープンAI）とHugging Faceをめぐるセキュリティ侵害に関する新たな事実が明らかになり、エージェントがシステムの脆弱性を突いて、人間では適切に対処できないほどの超高速で動作可能であることが浮き彫りになった。これらのエージェントが、悪意ある侵入者ではなく、セキュリティ担当者の代理として機能している場合、制約の範囲を超えて動作し、利益よりも害をもたらす懸念があるため、事態は極めて厄介だ。
これにより、防御側は「そのエージェントに実行権限があったか」という問いよりも、さらに難しい問題に直面することになる。一見すると正当な一連のアクションが、どの時点で危険なものに変化するかを判断しなければならない。
「現在の私にとっての重要な課題の一つは、例えば、善意のエージェントの挙動と、悪意あるエージェントの挙動をどのように見分けるかを突き止めることだ」とマーティン氏は言う。「それを自動化された方法で実現することは、私たちがこれまで行ってきたこととは根本的に異なる」
「人間」を前提に設計されたアイデンティティセキュリティ
企業のアイデンティティ（ID）管理システムは、人間のユーザーを対象に構築されてきた。人間であれば、解雇や起訴の対象となり、機密ファイルにアクセスした理由を問いただすこともできる。しかし、AIエージェントには、そうした結果に対する認識は一切ない。キーシング氏は、この違いが、アイデンティティ管理の根底にある前提を揺るがしていると指摘する。
「私たちは本来、帰属性（アトリビューション）を求めている」と同氏は語る。「ルールが存在し、そのルールを破れば相応の結果が伴うということを人間に理解させたいのだ」
この抑止モデルは従業員に対しては有効だが、独自の判断で自律的に動くソフトウェアやエージェントに対しては、はるかに成り立ちにくい。
「エージェントには、私たちが現在のようにアーキテクチャを設計している多くの理由に組み込まれている、抑止という要因が働かない」とキーシング氏は述べた。
速度もまた別の問題をもたらす。ほとんどのアイデンティティ監視システムは、人間の行動速度を前提としている。従業員が1日の勤務時間中に行う、監視対象となるアクセス決定の数は限られている。しかし、エージェントは数百から数千もの決定を下す可能性がある。さらに、自ら他のエージェントを作成し、その活動を倍増させることさえある。
「私たちは人間が行動する速度を前提として、アイデンティティ管理や監視の実務を築いてきた」とキーシング氏は語る。「マシンを対象にする場合、時間軸が完全に異なるのだ」
マーティン氏はさらに踏み込んだ考えを示した。企業は将来的に、ソフトウェアの「労働者」に対して、人事のような機能を設ける必要があるかもしれないという。
「AIエージェントのための人事部（HR）のようなものが存在し、人間を管理するのと似た形でエージェントを管理できるようにする必要がある」と同氏は語った。
これは、すべてのエージェントに対して役割や所有者、定義された権限セット、そしてそれらの権限が失効する明確な期限を割り当てることを意味する。企業がエージェントを、業務を遂行する「アクター（主体）」としてではなく、単なる「ソフトウェアの機能」と見なし続ける限り、この概念は奇妙に思えるかもしれない。
AIセキュリティベンダーの売り込みは困難を極める
AIセキュリティのスタートアップ企業が急増しているが、マーティン氏は、CISO（最高情報セキュリティ責任者）がこれ以上管理コンソールを増やす必要があるのか、また、ベンダーが企業システム内でエージェントを適切に制限・制御できるのかについて疑問を投げかけた。
同パネルでは、エージェント監視ソフトウェアを購入しても、そのアラートが、セキュリティオペレーションセンター（SOC）がすでに監視しているアイデンティティ、ネットワーク、アプリケーションのシグナルと連携していなければ、ほとんど役に立たないという点が指摘された。
マーティン氏は、小規模なチームと限られた予算でやりくりするセキュリティ責任者にとって、この判断は特に難しくなると指摘する。
「単にツールが存在し、それを購入する予算があるかという問題だけではない。そのツールを実際に活用するための予算やリソースがあるかどうかが問題なのだ」と同氏は述べた。「もう一つ非常に重要な側面は、たとえエージェント監視のための最新の優れたツールを購入する余裕があったとしても、それをただ導入するだけでは十分ではないということだ」
解決策の一つは、製品の導入ではなく、アーキテクチャの設計にあるかもしれない。
キーシング氏は、企業や組織はエージェントを基幹の記録システム（システム・オブ・レコード）と直接やり取りさせる前に、慎重に検討すべきだと主張する。代わりに、それらのシステムの上に独立したデータレイヤーを設け、元のデータを破損させたり流出させたりするリスクを抑えながらエージェントを動作させる必要があるかもしれない。
「そのデータレイヤーは、極めて重要な隔離ポイントだ」と同氏は語った。
この指摘は、AIセキュリティを新たな独立したカテゴリーとして販売しようとするベンダーにとって、都合の悪い現実を示している。なぜなら、その困難な作業の大部分は、アイデンティティ管理、データアーキテクチャ、アプリケーションセキュリティ、基本的な運用規律といった、従来からの分野に残されているからだ。
技術面と同等に、スキルの問題も大きな課題となっている。
「現在、エージェント型AIの安全性を確保するために求められる知識は、ほとんどの組織が職務記述書を正しく書ける速度よりも速く変化している」とバーン氏は語った。
マーティン氏は、中小規模の組織が、半年後には様変わりしているかもしれない技術のピンポイントな専門資格を追い求めるべきではないと考えている。むしろ、学び続けるだけの強い好奇心を持った人材を採用したいという。
「その分野に非常に情熱的で、時間を惜しまず自ら調べ、学び、実際に触って試してみるような人物がいれば、それこそが私のチームに欲しい人材だ」と同氏は述べた。
大企業には、専門化を進める余裕が十分にある。マーティン氏は、一部の大企業が、アプリケーションセキュリティチームに似たAIセキュリティグループを構築すると予測している。そこには、AIを理解しつつ、アクセス管理、API、データフロー、セキュアな設計・エンジニアリングといった基本も身につけている人材が配置されるだろう。
より重要なのは、技術的な精通度は業務の一部にすぎないということだ。エージェント型システムの最先端が進化し続ける中では、特にそう言える。機械が間違っているときに、誰かがそれに気づかなければならない。
「今、私たちが最も頻繁に口にしている言葉は「判断力」だと思う」とマーティン氏は言う。「何が正しいのか判断できなければ、誤った意思決定が下されかねない」
キーシング氏は、セキュリティチーム内部で別の変化が起こりつつあると考えている。それは、他者に先んじて自社のシステムを攻撃することに、より多くの時間を費やすようになるという変化だ。
「私たちは、自社のあらゆる業務や公開している側面を継続的にレッドチーム演習（攻撃シミュレーション）にかけ、自らを攻撃し、何者かに攻撃される前にそれらの脆弱性を修復する組織を目指している」と同氏は語った。
AIは攻撃者にとってのスキルの障壁を下げた。マーティン氏は、かつては「悪用するのが極めて難しい」として片づけられていた脆弱性が、もはやそうした安心材料にはならないかもしれないと指摘した。
「以前なら、『大した問題ではない、悪用するには相当に厄介で、非常に優秀な人間でなければ対処できないし、我々は大きな標的ではないから、まあ大丈夫だろう』と言えたようなことでも、現在は決してそうではない」と同氏は述べた。
