Stability AIの規則は、同社のモデルを「児童搾取コンテンツの勧誘、作成、入手、普及を含む児童の搾取や危害に使用してはならない」と定めている。同社は、Stable Diffusionの新バージョンをリリースし、より多くの「安全でない」露骨な素材を学習データとアウトプットから除外するといった措置を講じている。ブルックスによると、Stability AIは安全でないプロンプトや結果の出力を遮断するフィルターを追加したという。同社はまた、プラットフォーム上で生成された画像を識別するのに役立つコンテンツラベリング機能も実装し、AIの悪用を困難にした。
掲示板サイトなどの違法画像を使用
それでも、スタンフォード大学の研究者らは、Stable Diffusionの学習用データに子どもたちの違法なコンテンツが含まれていたことを発見した。これらのコンテンツの中には、掲示板サイトのレディットやX（旧ツイッター）、ワードプレスなど、そもそもCSAMを許可していない主流サイトから抽出された違法画像が含まれていた。この種のAIツールは、フェイクのCSAMを生成するのに悪用される可能性がある。Stability AIは、NCMECが管理する「CyberTipline」にCSAMの疑いを報告していない模様だ。同NPOの広報担当者であるクリスティン・バーントは「生成AIは、法執行機関が救出を必要としている児童被害者と、人工的な画像や動画を区別することを困難にしている」と述べている。
報告書によると、Stable Diffusion 1.5は、LAION-5Bを使って構築されたAIモデルの中で最も人気が高いというが、LAIONデータセットで訓練されたモデルは他にも存在する。例えば、もう1つの人気画像生成AIである「Midjourney」もLAION-5Bを使用している。グーグルの「Imagen」は、LAION-400Mという関連するデータセットで訓練されたが、開発者がデータに問題のある画像やステレオタイプを発見したため「一般利用には適さないと判断した」と報告書は述べている。
