個人データの蓄積が招く5つの危険
AIが保有する個人データが多いほど、漏えい、無断利用、不正な操作による被害の対象も広がる。米国国立標準技術研究所（NIST）のリスク報告書は、データの漏えいや無断利用、本人が明かしていない個人情報の推測を、生成AIの主要なプライバシーリスクとして挙げている。
AIに何が保存され、保存した情報がどこへ渡り、どう削除できるのか分からない場合、情報の提供は過剰になりかねない。流出すると大きな被害を招く情報も、慎重に扱う必要がある。ピュー・リサーチ・センターの調査結果では、AIについて聞いたことのある米国人の70％が、企業によるAIの責任ある利用について、企業の判断をほとんど、またはまったく信頼していない。米国の成人の67％は、企業による個人データの取り扱いをほとんど、またはまったく理解していないと答えた。
（1）業務機密や個人情報を入力しすぎる
ウェブサービスの安全性向上に取り組むOWASP（Open Worldwide Application Security Project）は、機微情報の入力について警告する。利用者が意図せずAIに渡した情報が、後にAIの回答へ現れるおそれがあるためだ。対象には個人識別情報、金融情報、医療記録、企業の機密情報が含まれる。
職場でも機密情報の扱いが問題になった。サムスンは、従業員が機密性の高いソースコードをChatGPTにアップロードした後、社員による生成AIツールの利用を禁止した。米ブルームバーグが2023年に報じた。
利用者が取れる対策は、外部へ流出したら困る情報を最初から入力しないことだ。米国の社会保障番号、パスワード、金融口座番号、医療情報、顧客資料、社外秘の文書などは避ける。AIに文書の処理を頼む場合は、氏名や番号を取り除き、勤務先が使用を認めたツールかを確かめてから業務情報を入力する。
（2）会話がモデル学習に使われ、長期間保存される
多くのAI事業者は、一般利用者のチャットを初期設定でモデルの改善に使っている。米国の主要AI開発企業6社を調べたスタンフォード大学の研究では、調査対象の全6社が会話内容をモデル学習に利用し、一部はデータを無期限に保持していた。入力内容は、会話が終わった後も長期間残る可能性がある。
学習利用の管理機能は事業者や契約プランによって異なる。OpenAIの学習設定に関する説明では、個人利用者が「すべての人のためにモデルを改善する」をオフにすれば、モデル学習への利用を拒否できる。法人向けプランの情報は初期設定で学習に使われない。グーグルによると、Geminiの一時チャットもモデル学習には使われない。スタンフォード大学の研究者は、可能な場合は学習への利用を拒否するよう勧めている。
（3）明かしていない健康状態まで推測される
利用者の好みや履歴を回答に反映するAIは、入力された情報を保存するだけではない。本人が伝えていない個人情報や機微情報まで推測することがある。NISTは、推測が不正確であっても、推測された本人に害が及ぶ可能性を指摘している。
スタンフォード大学の研究者は、心臓に優しく糖分の少ない夕食を尋ねた利用者が、健康上の問題を抱えやすい人物として分類される例を示した。推測によって付けられた分類は、同じ企業の別のサービスに共有され、広告などに使われるおそれがある。
推測される可能性を下げるには、広告や買い物用のアカウントに結び付いたAIで、健康、金銭、法律に関する個人的な相談を避け、一時チャットを使う方法がある。OpenAIのメモリーについての説明では、ChatGPTに機微情報が記憶される場合もあるため、利用者が記憶内容を確認し、必要に応じて削除できる。Claudeの運営元は、初期設定では機微な話題を保存しないとしている。
（4）外部文書に隠された命令でAIの記憶が書き換わる
「プロンプトインジェクション」とは、AIに読み込ませる文書、メール、ウェブページなどに、利用者が意図しない動作をさせる命令を紛れ込ませる攻撃だ。OWASPは大規模言語モデル（LLM）の主な危険10項目の第1位に挙げ、完全に防ぐ方法があるかは分からないとしている。
AIが過去のやり取りを記憶する場合、紛れ込んだ不正な命令が後の会話にも残り得る。セキュリティ研究者のヨハン・レーバーガーは2024年、信頼できない情報を読み込ませることで、ChatGPTに偽の記憶を植え付けられると示した。OpenAIによる修正は部分的なものにとどまった。米テクノロジーサイトのArs Technicaが報じている。
レーバーガーは2025年、Geminiの長期メモリーに対しても同様の攻撃を実証した。グーグルは影響が小さいと説明している。知らない相手から届いたファイルや、信頼できないウェブページをAIに読ませる際は注意が必要だ。記憶内容に身に覚えのない情報が混ざっていないかも、定期的に確認したい。
（5）不具合やアプリへの過剰な権限が流出を招く
広く利用されるサービスにも不具合は起こる。OpenAIは2023年3月、オープンソースのプログラム部品に不具合があり、一部の利用者に他人のチャットのタイトルが表示されたと公表した。さらに、問題が発生した9時間の間にChatGPT Plusを利用した加入者の1.2％について、決済関連情報の一部が他人に見える状態になった。
流出した個人情報は、詐欺の信ぴょう性を高める材料にもなる。NISTは、生成AIがフィッシング詐欺や他人への成り済ましを容易にする可能性を指摘している（AIを使った詐欺の解説も参照）。アカウントの保護には、使い回さないパスワードと多要素認証を組み合わせる。
さらに、AIアシスタントが参照できる情報や実行できる操作を絞ることが重要だ。OWASPは必要最小限のアクセスだけを認める「最小権限」の原則と、危険性の高い操作には人の承認を求める方法を推奨している。接続するアプリを必要なものに限り、AIが利用者に代わって行う操作を実行前に確認する。
