サイバーセキュリティに関する官民連携協議会「National Cyber Security Alliance」など米国の専門家らは、ナスダックと共同開催したセキュリティサミットの席上で、AIをハッキングする3つの方法と対応策について紹介した。
まず最初に紹介されたのは「データポイズニング」だ。これは、AIの学習に使われるデータセットを操作することで、学習モデルの行動をコントロールする攻撃行為で、ふたつのパターンが顕著に目立つという。
ひとつは、学習用データセットに無効なデータを多く注入し、AIのパフォーマンスを下げるというもの。データセットの3％が汚染されると、精度が11％下落するという研究結果も合わせて報告された。
もうひとつは、悪意あるコードが含まれたデータセットを配布し、AIに脆弱性（弱点）を持たせるというものだ。攻撃者は操作されたデータセットを使うことで、AIの予測動作をコントロール。不正なファイルが含まれたメールを安全なコンテンツとして分類させたり、バックドアを設置して内部データを修正するなど、AIの誤った行動を誘導することができるようになる。お専門家は、“データ中毒”に陥ったAIモデルを利用すれば、他のAIまで感染させることができるとも付け加えている。
次に紹介されたのは「敵対的生成ネットワーク」（GAN）である。詳しい説明は割愛するが、これはディープフェイクなどにも用いられるもので、本物とそっくりのデータを生成する技術だ。サイバー犯罪では、セキュリティシステムをそっくりそのままシミュレーションすることで、脆弱性を突く重要なデータを発見したり、トラフィックパターンを模倣しセキュリティを無力化する用途で用いられるという。具体的には「パスワードクラッキング」、「マルウェア検出回避」、「顔認識不正」などに使用される恐れがある。
