最近のアップデートによって、APIを使用して悪意のあるコードを開発しようとした場合には、マルウェアのリクエストを拒否するか、安全に関するプロンプトが表示されるようになった。もちろん、この発表後も知恵比べは続き、知恵のある連中はChatGPTを「脱獄」させて、悪事を働き続けられるようにする方法を見出している。
ChatGPTが医学試験や司法試験の一部をパスできるとすれば、コードを書かずとも、攻撃者や防御者を支援することができる。意図に関わらず、これがどのように人々の役に立つのか、私たちのブレーンストーミングの結果のいくつかを以下にまとめた。
攻撃者のシナリオ
1. フィッシング フィッシングメールを改良できる。効果的なフィッシングメールを書くには、アートとサイエンスが必要だ。ChatGPTには、それに加えて第三の要因、すなわちアルゴリズムが加わっている。ChatGPTは、プロンプト（入力）に基づいたテキストを作成することを得意としている。優れたフィッシングメールには十分なコミュニケーション能力が必要であり、それを持つことで相手に挑めるのだ。攻撃者（およびフィッシング・シミュレーション・ベンダー）は、ChatGPTのテキスト生成機能を利用して大規模にメールを構成し、マーケティングチームのA/Bテストのようにどれが最も優れているかを選択することによって、メールのライブラリを改良し強化することができる。2. フィッシングサイト より多くのユーザーを騙すための、偽サイトを計画する。Stable Diffusion（ステーブルディフュージョン）とChatGPTの組み合わせにより、攻撃者にとって魅力的な画像、ロゴ、ウェブサイトのコピーをこれまで以上に簡単に作成することができる。電子メールをクリックすると出てくる、攻撃に使われるフィッシングサイトのことを思い起こして欲しい。結局それらは、誰かが作ったものなのだ。ChatGPTは、ユーザーの目からみてより信憑性の高いウェブサイトやウェブサイトのコピーを作成するための手段を攻撃者に提供する。同様に、ジェネレーティブ（生成）AIの画像や言語生成機能は攻撃者の参入障壁を下げ、より優れた手段を提供する。
3. API攻撃 まだ具体的な事例はみたことがないが、ChatGPTにAPIのドキュメントを確認させ、潜在的な攻撃手段を特定し、突き止めるために利用することも興味深い方法のひとつだ。API攻撃は、不正または意図されていないアクティビティを利用することが多いが、マルウェアを使用しない異なったタイプの攻撃だ。ChatGPTの機能を利用してAPIに関する情報を集約し、悪意を持った使用ができる有効なAPIクエリの実現を支援することは、悪用するための魅力的な方法となる。
