AIをハッキングする新たな手法の数々 問われるAIと人間の役割分担

Who is Danny/Shutterstock.com

マシンラーニングなど人工知能(AI)関連の技術が急激に普及するなか、これを悪用するサイバー攻撃も発展・多様化している。

サイバーセキュリティに関する官民連携協議会「National Cyber Security Alliance」など米国の専門家らは、ナスダックと共同開催したセキュリティサミットの席上で、AIをハッキン​グする3つの方法と対応策について紹介した。

まず最初に紹介されたのは「データポイズニング」だ。これは、AIの学習に使われるデータセットを操作することで、学習モデルの行動をコントロールする攻撃行為で、ふたつのパターンが顕著に目立つという。

ひとつは、学習用データセットに無効なデータを多く注入し、AIのパフォーマンスを下げるというもの。データセットの3%が汚染されると、精度が11%下落するという研究結果も合わせて報告された。

もうひとつは、悪意あるコードが含まれたデータセットを配布し、AIに脆弱性(弱点)を持たせるというものだ。攻撃者は操作されたデータセットを使うことで、AIの予測動作をコントロール。不正なファイルが含まれたメールを安全なコンテンツとして分類させたり、バックドアを設置して内部データを修正するなど、AIの誤った行動を誘導することができるようになる。お専門家は、“データ中毒”に陥ったAIモデルを利用すれば、他のAIまで感染させることができるとも付け加えている。

次に紹介されたのは「敵対的生成ネットワーク」(GAN)である。詳しい説明は割愛するが、これはディープフェイクなどにも用いられるもので、本物とそっくりのデータを生成する技術だ。サイバー犯罪では、セキュリティシステムをそっくりそのままシミュレーションすることで、脆弱性を突く重要なデータを発見したり、トラフィックパターンを模倣しセキュリティを無力化する用途で用いられるという。具体的には「パスワードクラッキング」、「マルウェア検出回避」、「顔認識不正」などに使用される恐れがある。
次ページ > では、人間の役割は?

文=河 鐘基(ハ・ジョンギ)

ForbesBrandVoice

人気記事