このような状況を受け、米連邦捜査局（FBI）は、いわゆる「生成AI」が詐欺行為の遂行に悪用されていることに警鐘を鳴らし、スマートフォン利用者に「いったん電話を切り、非常時に身元確認できる『合言葉』を設定すべきだ」とする公共啓発メッセージを発した。この警告は、詐欺的攻撃がより巧妙化する中、何に注意しどのように対応すべきかについて、読者の参考となるはずである。
FBIが警告する生成AIによるスマートフォン攻撃
FBIは公共安全通知（I-120324-PSA）の中で、攻撃者が大規模な詐欺を実行し、その信ぴょう性を高めるために生成AIを積極的に活用していると注意喚起している。「これらのツールはコンテンツ作成を支援し、通常なら詐欺を見抜く手がかりとなる人為的な誤りを修正できる」とFBIは述べている。FBI自らが認めるように、今日では本物とAI生成物との区別が困難になっているため、この通知は多くの人々にとって、身を守る上で重要な指針となる。すべての助言がスマートフォン利用者専用というわけではないが、顔や声のクローン技術を用いたAIディープフェイク（高度な合成映像・音声による偽装）攻撃の主要な流通チャネルがスマートフォンであることを踏まえ、ここでは特にスマートフォン利用者が参考にすべき点に焦点を当てる。
FBIは、主にフィッシング関連の詐欺で、AIが以下のように悪用されている具体例を挙げている。
・生成AIで合成した写真を用いて、被害者に「本物の人間と話している」と信じ込ませる
・生成AIによる有名人やソーシャルメディア上の人気者が不正行為を推奨するかのような偽画像
・家族や親しい知人を装い、危機的状況を訴える声をAIで合成した短い音声クリップを用いて金銭援助を求める
・「会社幹部」や「法執行機関」、「公的権威」を名乗る人物とのAI生成によるリアルタイムビデオチャット
・オンライン上の相手が「実在の人物」であると「証明」するためのAI生成動画
セキュリティプラットフォーム「Gen」（「Norton」や「Avast」といったブランドを含む）でサイバーセーフティ担当最高技術責任者を務めるシギ・ステフニッソンは次のように警告する。「新年を迎えるにあたり、AIは私たちの日常的な現実を曖昧にしていくでしょう。ディープフェイクは見分けがつかなくなりますし、AIは専門家でさえ本物かどうか判断できないほど高度になるでしょう。悪意ある者は必ずこれを利用します」
