ここ1年間で20億ドル（約3040億円。1ドル＝152円換算）以上が人工知能（AI）のセキュリティに特化したスタートアップの買収に投じられた。そのうち3社がイスラエルに拠点を置く企業で、直近ではCato Networks（ケイトネットワークス）が3億5000万ドル（約532億円）で買収したAim Security（エイム・セキュリティ）が話題となった。
AIエージェントの基本的な能力自体に、利便性と脆弱性が同居
「AIエージェントの設計と構築のプロセスそのものに概念的な脆弱性、つまり欠陥が存在する」と語るのは、Aim Security共同創業者のマタン・ゲッツCEOだ。彼によるとAIエージェントは、「機密データへのアクセス」「外部世界へのアクセス」「自律的なアクションの実行」という3つの基本的な能力を備えている。そして、この3つがAIエージェントを非常に有用なものにすると同時に、多くのユースケースで脆弱性を生む原因にもなっている。
昨年6月、Aim Securityの研究チームは、Microsoft 365 Copilotにおける「クリック操作を一切必要としない重大なAI脆弱性」を発見し、公表した。この脆弱性を利用すれば、攻撃者はユーザーが気づかないうちに、また特定の行動を取らせることなく、Copilotのコンテキスト内から機密情報や専有データを自動的に抜き取ることができる。攻撃を開始するのに必要なのは、被害者に1通のメールを送ることのみだったという。
Aim Securityは、Copilotや他のAIエージェントに関するリサーチを基に、AIエージェントを動かす大規模言語モデル（LLM）が、その仕組みを逆手に取られる形で、自らのコンテクストに含まれる最も機密性の高いデータを漏洩させていると結論づけた。この漏洩は、ユーザーの操作とは無関係に起きているという。
エージェントとLLMとの全対話を監視する、新たなセキュリティ対策
ゲッツによると、AIエージェントに対する一般的なサイバーセキュリティのアプローチは、エージェントの権限をスキャンし、その「手足」にあたる機能を調べることに重点を置いている。しかしAim Securityは、それにとどまらず、エージェントと、その「脳」にあたるLLMとのやり取り全体を監視している。ゲッツはこの手法を「エージェントの次の動きをリアルタイムで映し出す脳のMRI検査のようなものだ」と説明する。
この“リアルタイムMRI”によって、すべてのプロンプト入力と出力が監視され、LLMとのあらゆるやり取りが、事前に定められたセキュリティやコンプライアンス、利用ポリシーに沿っていることを確認できる。ゲッツは企業で最も典型的なAIの会話の例として、「上司の給与はいくらですか？」や「自分の部署の平均給与はいくらですか？」といった質問を挙げる。
もしそのチャットボットやAIアプリの目的が給与情報とは関係ないものであれば、当然ながら給与データにアクセスすべきではない。「すべての権限を完璧に設定しようとするのではなく、給与に関する会話が出た時点でそれをブロックする“ガードレール”を設ける方が賢明だ」とゲッツは語る。
「シャドーAI」への対策も支援
Aim Securityはまた、「シャドーAI」への対策も支援している。これは、従業員が独自にダウンロードして社内で使用している生成AIアプリを企業が把握できるというものだ。ゲッツは、同社の企業顧客の間でAI導入が急速に進んでいる状況を踏まえ、こうした新たなアプリケーションやAIエージェントが多くの専門職の業務を「民主化」している点を指摘する。「もはやデータサイエンティストである必要はない」と彼は指摘し、これは従来からAI活用の最先端にいた金融サービス業界に限らず、あらゆる業界で起きている現象だと述べている。
