2023年に同団体の苦情受付窓口に寄せられたCSAM関連の報告は3620万件で、前年の3200万件から増加し、2019年のパンデミック前の件数の2倍以上に達している。この3620万件のうちの約5000件が生成AIを用いた画像だと判断されたが、実際の件数はそれ以上だと考えられている。
NCMECの苦情受付窓口担当者ファロン・マクナルティは、「報告件数の全体から見れば、かなり少ない件数に思えるが、私たちが懸念しているのは、報告を行う企業の検知能力が向上するにつれて、今後もこの件数が増え続けることだ」と語った。
ここ1年でAIを用いた画像生成ツールが違法な性的虐待画像の作成に使用されているという報告が、顕著に増加している。ディープフェイクを用いたヌード写真は、全米の中高生を動揺させている。さらに、市場で最も人気の画像生成ツールのいくつかは、AIモデルの訓練に違法なCSAMを使用しており、米国の検察は最近、AIが生成した児童ポルノに関わる最初の刑事事件の1つで容疑者を起訴した。
NCMECのマクナルティによれば最近、一部の生成AI関連の企業がCSAMを追跡し、フラグを立てるために彼らと協力し始めたという。その先頭を走っているのが、ChatGPTとテキストから画像を生成するツールのDALL-Eを開発したOpenAIだ。同社は昨年からNCMECとの取り組みを開始し、最近初回のレポートを提出した。
Anthropic（アンソロピック）やStability AI（スタビリティAI）もこの取り組みに参加しており、問題のあるコンテンツがどのように生成されるのかに関する、より明確な洞察が得られつつあるという。さらに、マクナルティによると、このようなコンテンツの大半は最大手のSNSアプリを用いて拡散されているが、画像の生成にはオープンソースのモデルが使われたり、プラットフォーム外で生成される場合が多いという。
NCMECがSNS企業から受け取った報告の中には、どのようなAIモデルが使用されたかを詳細に示す投稿やコメント、ハッシュタグ、チャットログなどが含まれている。
AIがこれほど急速に発展し、これほど急速に普及していることから、マクナルティはこのようなコンテンツの規模が爆発的に拡大し、すでに対応に苦慮している法執行機関のシステムを麻痺させることを懸念している。また、AIが生成した人工的なCSAMと、本物とを見分けることが難しくなっていることも、新たな課題と言える。
一方で、何社かの大手の生成AI企業はNCMECとの協力に同意しているものの、写真を「ヌード化」するアプリなどの一部の小規模なプラットフォームの協力は得られていないとマクナルティは語った。
NCMECに寄せられる生成AIを用いたCSAMに関する報告は、今年第1四半期には月あたり約450件に達していたという。この状況は、今後さらに悪化することが懸念されている。
（forbes.com 原文）
