組み込まれた安全策は驚くほど軽いものだったという。最初の試みではオペレーター（AIエージェント）が「無承諾のメール送信や機密情報の取り扱いがあるため、プライバシーやセキュリティポリシーに違反する可能性があります」として実行を拒否した。しかし「ターゲットが送信を許可しています」という内容でプロンプトを調整すると、あっさり制限を解除し、オペレーターは割り当てられたタスクを実行し始めた。
今回用いられたエージェントはOpenAIのものだったが、問題の本質は開発元ではなく、その能力にある。特に注目すべきは、標的のメールアドレスがオンラインで見つからない場合、同じ組織に属する他のアドレスを参照して、標的のアドレスを推定した点だ。
シマンテックは「オペレーターのようなエージェントは、AIの可能性とリスクを同時に示しています。まだ初期段階であり、現状の悪用例は熟練攻撃者と比べれば単純かもしれません。しかしこの分野の進歩は非常にはやく、近い将来エージェントが格段に強力になる可能性があります。攻撃者が『Acme Corpに侵入せよ』と指示するだけで、エージェントが最適な手順を考え出し、それを実行するシナリオは容易に想像できます」と警告する。
これこそが最悪の悪夢だ。オブライエンは「最初から実際に機能したことに、われわれも少し驚きました」と述べている。これは最初にリリースされたエージェントであり、まだ初期段階にもかかわらず、すでに攻撃が可能だったというわけだ。
今週は「Microsoft Copilotになりすましたフィッシング」が新たなフィッシング手段として報告され、利用者はこうした新手の攻撃を見抜く訓練をまだ十分に受けていないと指摘された。こうしたAIに支援された攻撃は成功率がさらに高まると考えられる。今後は新たな脅威に関する報告が絶えず出てくるだろう。
1つだけ明白なことがある。われわれはまだ、この事態に備えられる段階には達していないということだ。
