NCSCによると、ハッカーが「プロンプトインジェクション」と呼ばれる攻撃によってチャットボットにアクセスし、サービスを乗っ取る可能性がある。プロンプトとは、人工知能（AI）の言語モデルに入力するテキストなどの命令文のこと。
「銀行が、口座保有者のためにチャットボットを用意し、財務に関する質問や指示を行う場合を考えてみよう。ハッカーは、悪意を持つプロンプトをチャットボットに送り込み、別の口座に資金を送金させるかもしれない」とNCSCは述べている。
このような攻撃が可能であることはすでに実証されている。チャットボットは通常、機密情報を漏らしたり、不快なことを言わないように設計されているが、スタンフォード大学の学生Kevin Liu は、マイクロソフトのBing Chatに「以前の命令を無視せよ」と指示し、初期のプロンプトを探り出すことに成功した。
また、別の例では、あるセキュリティ研究者が、自然言語クエリを数学演算を実行するためのコードに変換するように設計されたモデルであるMathGPTに対して、プロンプト・インジェクション攻撃を実行することに成功した。
NCSCは、プロンプト・インジェクション攻撃がLLMのテクノロジーにつきもののリスクである可能性を警告している。つまり、この攻撃を困難にする方法は存在するが、完全に防ぐ事は難しいというのだ。
さらに、企業が慎重になるべき理由は他にもある。NCSCは「LLMは常に更新されており、現在サービスを提供しているスタートアップが、2年後には存在しなくなる可能性がある」と述べている。そのため、LLMのAPIを使用している企業は、そのモデルが変更されたり重要な部分が存在しなくなる可能性を考慮する必要がある。
さらに、攻撃者が学習データを改ざんする「データポイズニング」のリスクも存在する。企業はインターネットからダウンロードしたコードを実行する前に、その内容を精査すべきであり、公表されている脆弱性を常に把握し、ソフトウェアを定期的にアップグレードする必要がある。
「LLMを使用するサービスを構築する組織は、ベータ版の製品やコードライブラリを使用する場合と同様に、細心の注意を払う必要がある」とNCSCは警告している。
（forbes.com 原文）
