「金融システムにとって最も差し迫った懸念は、フロンティアAIがサイバーリスクに及ぼしうる影響である」とベイリーは述べている。
FSBは、モデルの能力が高まるにつれて、サイバーリスクの速度と規模、そしてそれを仕掛ける側の採算構造が大きく変わりうると警告した。その結果、金融システム全体の信認が損なわれかねないという。
特に重大なのは、Hugging Faceが無名な標的ではないからだ。同社のプラットフォームは、オープンなAIエコシステムの中心的な拠点の1つになっており、1300万人を超える利用者がモデルやデータセット、ツールを共有している。エヌビディアはHugging Faceを129億ドル(約2兆640億円)で買収する交渉に入っていると報道されている。ただし、エヌビディアもHugging Faceも公式には認めていない。
Gleanの最高製品責任者(CPO)エムレジャン・ドアンによれば、今回の一件は、従来型のアクセス制御がもはや十分ではないかもしれない理由を示している。自律的なエージェントが、複数のシステムをまたいで動きを合わせられるようになったからだ。
「AIエージェントが連携して攻撃したという最近の報告は、脅威モデル(想定すべき攻撃者と攻撃手口の枠組み)がどれほど速く変わりつつあるかを示しています」とドアンは言う。「攻撃側はエージェントを協調させ、活動を複数のシステムに散らすことができます。そうなると、悪意ある一連の作戦が、ありふれた操作の積み重ねに見えてしまいます。セキュリティ担当者に必要なのは、つながり全体を見通すことです。入口でアクセスを承認し、あとからログを確認するだけでは足りません」
ドアンによれば、Gleanのエージェントでも権限設定は依然として土台だ。その上で同社は、プロンプトインジェクション(AIへの指示に不正な命令を紛れ込ませ、意図しない動作をさせる攻撃)や悪意あるコード、有害なコンテンツに対して、実行時の防御をかけている。さらに、一連の行動を通じてエージェントの意図と振る舞いを評価する仕組みも開発中だという。
「エージェントがマシンの速度で動く以上、セキュリティは個々のリクエストだけでなく、環境全体にわたる振る舞いを統制しなければなりません」とドアンは述べている。


