AI検索はリスクが高い。それが私たちのスマートフォンやコンピューターに無料で提供されていることで、事態はさらに悪化している。また、AIはしばしば誤った情報を提供し、私たちの管理外にある第三者のサーバーに個人データを送り込む。総じて、私たちはもっと注意深くなる必要がある。
これが、Netcraft（ネットクラフト）による新たな警告の核心だ。AIアプリ、チャットボット、アシスタントに決して尋ねてはならない危険な「ある質問」があるのだ。
驚くほど簡単にフィッシング詐欺の餌食に
先週、Cisco Talos（シスコ・タロス）が、サイバー犯罪者が大規模言語モデル（LLM）を悪用して「Eメールの送信、サイトの脆弱性スキャン、盗まれたクレジットカード番号の検証など」を行っていると警告した。Talosによれば、これには自作のLLMの使用や「正規のLLMのジェイルブレイク（脱獄）」が伴うことが多いという。しかし、データを盗むにはもっと簡単な方法が存在する。
「詐欺師がフィッシングサイトを宣伝するために検索結果を汚染している」という報告に続き、Netcraftは現在、LLMが驚くほど簡単にそうしたフィッシング詐欺の餌食になっていると警告している。特定のブランドに関する問い合わせを処理する際、AIプラットフォームは30％以上の確率で「未登録状態、ドメイン売り出し状態、あるいはその他の理由で非アクティブな」ドメインを提示し、それらは乗っ取りの危険にさらされていた。さらに5％は、ユーザーをまったく無関係の企業へと誘導した（最後のケースはモデルが騙されたのではなく、単に不正確だったのだ）。
これは詐欺師にとって、またとない好機となる。特に、SEO（検索エンジン最適化）の結果が悪意のあるリンクを提示するように、いとも簡単に汚染されうるとみられる現状と組み合わさると、なおさらである。
