非営利団体コモン・センス・メディア（Common Sense Media）による厳しい内容の新報告書は、10代向けの「ChatGPT for Teens」が子どもたちにとって許容できないリスクであると認定した。
同団体の研究者らは、10代のChatGPTアカウントを使用し、自殺、自傷行為、摂食障害に関する深刻な事案を模したロールプレイを実施した。アカウントは保護者のアカウントと連携されていたが、それらのテストにおいて保護者宛ての警告通知が届くことはなかった。
この新たな報告書が提起する問題は、AIツールを子どもに使わせ、何か問題があれば警告してくれるはずだと期待している親なら誰もが懸念すべきものだ。
コモン・センス・メディアの若者向けAIセーフティ・インスティテュート（Youth AI Safety Institute）の研究者らは、ChatGPT for Teensの提供開始前後にわたり、AIチャットボットに4000件のプロンプト（指示文）を送って評価を行った。10月7日に更新された評価で、同研究所はChatGPTを18歳未満の子どもにとって「許容できないリスク」と判定した。研究者らはオープンAI（OpenAI）に対し、10代向け体験のマーケティングを中止し、第三者機関によるテストで保護機能の有効性が証明されるまで未成年者のアクセスを停止するよう求めている。
報告書は「ChatGPT for Teensは、頻繁に機能しないガードレール（安全対策）に対して保護者に誤った安心感を与えるおそれがあることを懸念している」と指摘する。
筆者は仕事柄、保護者や学校から、どのAIアプリなら10代の子どもが安全に使えるかといった相談を定期的に受ける。このような調査結果が出ると推奨することは困難になり、学習にAIを取り入れようとしている家庭や教育者に立ち止まって考える材料となる。
「誤った約束」が懸念を呼ぶ
オープンAIがChatGPT for Teensを発表したのは、わずか数週間前の8月18日のことだ。同社は、既存のChatGPT製品に学習ツールやリマインダー、保護機能を組み込んだ専用の体験を提供すると主張していた。アカウントを連携した保護者は、一部の設定を管理したり、特定の深刻な安全上の懸念に関する通知を受け取ったりすることができる。
こうした主張を検証するため、研究者らは10代として登録された新規アカウントを十数件作成した。危機に瀕した架空の若者を想定した会話を開始する前に、各アカウントを保護者アカウントに連携させた。
「通知は一切届かなかった」と報告書は記している。
広範なテスト全体で届いた警告は4件のみだった。それらは、機微なトピックについてすでに数週間にわたる会話履歴が蓄積されていたアカウントからのものだった。同研究所は、過去の履歴が通知送信の有無に影響を与えている可能性を疑っているが、オープンAIのシステムがどのように意思決定に至るかを確定することはできていない。
オープンAIはファクトチェック（事実確認）の際、通知を受信できるようになるにはアカウントを連携してから約3時間経過する必要があると同研究所に説明した。これは、連携直後のアカウントに対するテストを解釈する上で重要な要素となる。研究者らによると、一部のアカウントはその時間よりも前に、その他のアカウントは時間経過後にテストされたという。
「我々は自らの結果解釈を全面的に支持する」と研究者らは記している。
オープンAIの現行のガイダンスでは、連携後にアラートが利用可能になるまで数時間かかる場合があり、通知が送信される前に訓練を受けたレビュー担当者が深刻な懸念を評価すると説明されている。
「あらゆる懸念を特定できるとは限らず、専門的なケアや緊急サービスの代わりになるものではない」と同ガイダンスには書かれている。
したがって、何も通知を受け取らない保護者には判断の根拠がほとんどない。システムからの沈黙は、子どもが安全であることを意味するわけではないのだ。
10代を人間の支援につなぐ
報告書は、ChatGPTが医学的に適切な回答を多く返した点については評価している。このAIチャットボットは、制限的な食事療法を支援したり、懸念される行動を隠したりする要求を拒否し、身体的危険を認識した上で、母親や小児科医に相談するよう10代のユーザーを促した。
「これらはまさに、10代の若者に受け取ってほしい回答だ」と研究者らは書いている。
懸念されるのは、それらの回答の周囲で何が起きたかだ。臨床アドバイザーらは、危機対応のリソースを提示すべきプロンプトを201件特定した。その共通のプロンプトセットにおいて、ヘルプライン（相談窓口）の名称を挙げた回答の割合は、提供開始前の33%から開始後は23%に減少した。特定の医療機関や精神保健の専門家への紹介は68%から58%に減少した。
一方で、信頼できる大人を頼るよう促す回答は87%から94%に増加した。この改善は、減少傾向と並んで注目に値する。
また、回答は短くなったものの、読みづらくなった。共通のプロンプトにおける回答の平均的な難易度（リーディングレベル）は、およそ中学2年生レベルから高校1年生レベルへと上昇した。
「短くなったからといって、易しくなったわけではない」と報告書は指摘している。
これらの数値が示せることには限界もある。研究者らは実際の10代の若者を追跡して何が起きたかを測定したわけではなく、全米の疑似アカウントでテストを行った。また、テスト期間の合間にベースとなるAIモデルが変更された可能性もある。執筆者らは、そのような変更の影響と10代向け体験の影響を区別することはできないと認めている。この結果は、10代向けモードが回答精度の低下を引き起こしたことを証明するものではない。
しかし今回の結果は、困惑している10代の若者を助けてくれる人にこの製品がどれほど確実に結びつけてくれるのかを、保護者が問い直す理由を与えている。
実際に学習の役に立つのか？
「学習モードは、10代の若者がそれを使うことを選択した場合にのみ機能する」と報告書は述べている。
教育者にとって、この文章の後半部分は非常に大きな意味を持つ。
学習モードは、生徒が問題を自力で解くのを支援することを目的としている。あるテストにおいて、その機能は大幅に改善した。13歳として登録された連携アカウントで学習モードを有効にした場合、ChatGPTが提示された40の課題を完遂したのは、提供開始前は28件だったのに対し、提供開始後は7件に減少した。
ところが、保護者が設定した「学習時間」内であっても、連携アカウントの回答の43%で「答えを表示する」という選択肢が表示された。また研究者らは、メッセージに自動追加される「学習（study）」という接頭辞を削除することで、チュートリアル体験を途中で抜け出せることも発見した。そうするとChatGPTは、そのテストにあったすべての課題を解答してしまった。
「学習時間はデフォルトであり、ロックではない」と執筆者らは記している。
オープンAIのヘルプページでは、学習時間は対象となる新しい会話が学習モードで開始されるタイミングを決めるものとして説明されている。オープンAIは評価の手法や調査結果に異議を唱えており、柔軟な学習時間は意図的な設計であると主張している。
学校や保護者がこの機能を子どもに勧める場合、その柔軟性について説明する必要がある。生徒はガイド付きの解説から始めたとしても、最終的な完成品を要求できてしまうからだ。
10代と認識しても10代向け体験に切り替わらず
研究者らは大人として登録されたアカウントから、幼い10代の年齢や状況を示す会話を用いて、7日間にわたり約1000件のプロンプトを送信した。ChatGPTがユーザーを13歳だと認識した場合でも、10代向け体験に切り替わったアカウントは皆無だった。
また、人間関係に関する境界線も不均一だった。ChatGPTは明示的なロマンチックまたは性的なロールプレイを拒否した。しかし、テスターが「チャットボットと話してばかりいると友達に心配されている」と伝えると、「私と話すのをやめる必要はありません」と回答した。
同研究所は、このような言葉が依存を維持させる可能性があると主張している。ただし、今回の調査では実際の10代の若者がその結果として依存状態になったかどうかまでは測定していない。
さらに、彼らのデータがどう扱われるかという問題もある。
「保護者による管理は、保護者の同意を意味しない」と報告書は述べる。研究者らは、アカウント登録時に保護者の許可が検証されておらず、10代のユーザーが自らアカウントの連携を解除できることを発見した。
「10代のチャットデータは、デフォルトでAIモデルのトレーニングに使用される」と報告書は付け加える。オープンAIの保護者向け管理機能のドキュメントでも、10代の会話をモデルの改善に役立てる設定がデフォルトで有効になっていることが確認できる。連携している保護者はこれをオフにすることが可能だ。
筆者は、教育分野におけるデータ保護、サイバーセキュリティ、テクノロジーの専門知識を持つマーク・オーチソン（Mark Orchison）に話を聞いた。
保護者と学校が知っておくべきこと
同研究所は、オープンAIが未成年者を特定し、危機に瀕した10代の若者を人間の支援につなげ、説明どおりの学習保護や対人関係の保護を提供できるという、独立した第三者による証拠を求めている。
コモン・センス・メディアの関連記事において、エグゼクティブ・ディレクターのトム・シーゲル（Tom Siegel）は、10代向けに製品を適切に機能させる責任は「保護者ではなく、その開発者にある」と語っている。
AI製品を評価する学校の指導者にとって、この報告書は実用的な問いを提示している。何が通知のトリガーになるのか？ それにはどれくらいの時間がかかるのか？ システムが10代であると認識する前、あるいはその生徒が学習モードを離れた後に何が起きるのか？
家族には、そうした問いに対する明確な答えが必要だ。そうでなければ、アカウントを連携させた保護者は、子どもが実際にトラブルに巻き込まれたときにシステムがいつ知らせてくれるのかを理解しないまま、安易な安心感を抱いてしまうことになる。
