ウィスコンシン州ラクロス郡の検察は、スティーブン・アンデレグ容疑者がインスタグラム上で幼い子どもの性的画像のリクエストを募り、画像生成AIのStable Diffusion 1.5を使って画像を作成したと主張している。刑事訴状によると、アンデレグは昨年10月、AIで作成した児童ポルノと疑われる画像を100点以上所持し、そのうちの2点をインスタグラムで知り合った15歳の少女と共有していたとされる。
保安官代理は宣誓供述書の中で、アンデレグが「オンライン上でリクエストを募り、AIを用いて児童ポルノを生成していた」と述べている。
フォーブスが確認したチャット記録の中で、アンデレグはStable Diffusionを使って画像を作成したと明言している。「はい。画像はStable Diffusionで作られたものです。私がプロンプトを作り、パラメータをコントロールしたという点において、私が作成したものだと言えます」と彼は述べていた。このチャットはインスタグラムの親会社のMeta（メタ）によって当局に提供された。
アンデレグは逮捕され、「児童を有害コンテンツにさらした」という罪に加え、「13歳未満の児童との性的接触」の2つの罪で起訴された。その後彼は無罪を主張し、5万ドルの保釈金で釈放された。彼の弁護士であるジェニファー・ローはコメントに応じなかった。
AIプラットフォームの報告義務
Stability AI（スタビリティAI）のインテグリティ部門バイスプレジデントのエラ・アーウィンは、フォーブスに宛てた声明で、この画像は2022年10月にAIスタートアップのRunway ML（ランウェイML）が開発しリリースしたStable Diffusionのバージョン1.5で作成された可能性が高いと述べた。全米行方不明・被搾取児童センター（NCMEC）のサイバーティップライン責任者であるファロン・マクナルティは、「AIが生成したCSAMに関する報告で、Stable Diffusionは最も頻繁に目にするものの一つだ」と述べ、少なくとも100件の報告で言及されていると付け加えた。
テック企業がCSAMを検知した場合、あるいはその存在を知った場合、それが実在する児童のものであれ、AIが生成したものであれ、連邦法に基づき、NCMECに報告することが義務付けられている。しかし、NCMECのバイスプレジデントであるジョン・シェハンは、最近の議会での証言で、ほとんどの企業で対応が不十分であり、ツールの悪用に対する警戒心も低いと述べた。
「露骨なコンテンツ」の規制
スタビリティAIは、同分野の他社と同様に露骨なコンテンツの規制を行っていると主張する。同社の利用規約には、ユーザーは「有害または違法な活動を委託することはできない」、「同意のないヌードや違法なポルノコンテンツを作成することはできない」と記載されている。同社は2022年11月に新モデルのStable Diffusion 2.0をリリースし、露骨なコンテンツに対する制限を強化した結果、一部のユーザーの反感を買うこととなった。ニュースサイトのThe Vergeは、バージョン2.0における変更は、以前のバージョンが児童虐待の画像を作成するために使用されたことが一因であると、同社の共同創業者エマド・モスタークが示唆していたと報じている。
