今回のコラムでは、中国が提案した新たに起草されたAI法案について検証する。米国以外の国々がどのようにAI法を策定しているかを探ることは、極めて有益である。一部の要素は米国の法律を策定する際に有用かもしれないし、他の要素は明らかに不適切かもしれない。筆者はこれまで、欧州連合AI法、国際的なAIガバナンスを扱う国連の勧告など、幅広い国内外のAI法を分析してきた。
本稿では、中国が起草した新AI法案のうち、AIとメンタルヘルスという特定の領域に焦点を当てる(草案はより広範囲に及ぶが、それについては後日取り上げる)。現代の生成AIや大規模言語モデル(LLM)を用いたメンタルヘルス利用に関するAI法を制定した複数の州など、米国の取り組みの主流についても背景情報を提供する。
それでは、詳しく見ていこう。
このAIの画期的進展に関する分析は、最新のAIに関する筆者の継続的なフォーブスコラムの一環であり、様々な影響力のあるAIの複雑性を特定し説明している(リンクはこちらを参照)。
AIとメンタルヘルス
簡単な背景として、筆者は、メンタルヘルスのアドバイスを提供し、AI駆動型セラピーを実施する現代のAIの出現に関する無数の側面を広範囲にわたって取り上げ、分析してきた。このAI利用の高まりは、主に生成AIの進化する進歩と広範な採用によって促進されてきた。筆者の100を超える分析と投稿の広範なリストについては、こちらのリンクとこちらのリンクを参照されたい。
これが急速に発展している分野であり、得られる莫大な利点がある一方で、残念ながら、隠れたリスクや明らかな落とし穴もこれらの取り組みに伴うことは疑いの余地がない。筆者は、CBSの「60ミニッツ」のエピソードへの出演を含め、これらの差し迫った問題について頻繁に発言している。リンクはこちらを参照されたい。
メンタルヘルス向けAIの背景
生成AIと大規模言語モデル(LLM)が、メンタルヘルスのガイダンスのためにどのようにアドホックな方法で使用されているかについて、舞台を設定したい。何百万人もの人々が、メンタルヘルスに関する継続的なアドバイザーとして生成AIを使用している(ChatGPTだけでも週間アクティブユーザーが9億人を超えており、その注目すべき割合がメンタルヘルスの側面に関与している。筆者の分析はこちらのリンクを参照)。現代の生成AIとLLMの最上位の使用法は、メンタルヘルスの側面についてAIに相談することである。筆者の報道はこちらのリンクを参照されたい。
この人気のある使用法は十分に理解できる。主要な生成AIシステムのほとんどに、ほぼ無料または超低コストでアクセスでき、いつでもどこでも利用できる。したがって、話し合いたいメンタルヘルスの懸念がある場合、必要なのはAIにログインして24時間365日ベースで進めることだけである。
AIが容易に軌道を外れたり、不適切な、あるいは極めて不適切なメンタルヘルスのアドバイスを提供したりする可能性があるという重大な懸念がある。今年8月の見出しには、認知的助言を提供する際のAI安全対策の欠如についてOpenAIに対して提起された訴訟が伴った。
AI製造者が徐々にAI安全対策を導入していると主張しているにもかかわらず、AIが自傷につながる妄想の共創を陰湿に支援するなど、不都合な行為を行う下振れリスクはまだ多く存在する。OpenAI訴訟の詳細と、AIが人間の妄想的思考をどのように助長するかについての筆者のフォローアップ分析については、こちらのリンクの分析を参照されたい。前述のとおり、筆者は、最終的にすべての主要なAI製造者が、堅牢なAI安全対策の不足について厳しく批判されるだろうと真剣に予測してきた。
ChatGPT、Claude、Gemini、Grokなどの今日の汎用LLMは、人間のセラピストの堅牢な能力とは全く似ていない。一方、同様の資質を達成すると推定される特化型LLMが構築されているが、それらはまだ主に開発およびテスト段階にある。筆者の報道はこちらのリンクを参照されたい。
現在の法的状況
一部の州は、メンタルヘルスのガイダンスを提供するAIを規制する新しい法律を制定することをすでに選択している。イリノイ州のAIメンタルヘルス法に関する筆者の分析についてはこちらのリンク、ユタ州の法律についてはこちらのリンク、ネバダ州の法律についてはこちらのリンクを参照されたい。これらの新しい法律を試す裁判事例が出てくるだろう。法律がそのまま存続し、AI製造者によって繰り広げられる法的闘争を乗り越えるかどうかを知るには時期尚早である。
米国議会は、メンタルヘルスのアドバイスを提供するAIを包含する包括的な連邦法を制定することに繰り返し取り組んできた。これまでのところ、成果はない。取り組みは最終的に視界から消えてしまった。したがって、現時点では、これらの物議を醸すAI問題に特化した連邦法は存在しない。筆者は、AIとメンタルヘルスに関する包括的な法律が含むべき、あるいは少なくとも十分に考慮すべき概要を示した。筆者の分析はこちらのリンクとこちらのリンクを参照されたい。
現在の状況は、AIとメンタルヘルスに関する新しい法律を制定した州はほんの一握りであり、ほとんどの州はまだ制定していないということである。これらの州の多くは制定を検討している。さらに、AI使用時の子どもの安全、AIコンパニオンシップの側面、AIによる極端な追従など、必ずしもメンタルヘルス法とは見なされていないが、確実にメンタルヘルスに関係する州法が制定されている。一方、米国議会もこの領域に進出しており、あらゆる種類の用途のAIを対象とするはるかに大きな目標となるが、形成段階に達したものはない。
これが現在の状況である。
中国が新AI法案を公表
中国は、人間のメンタルヘルスに影響を与えるAIに関連する規制を含む、提案されたAI法案を公表した。明確にしておくと、提案されたAI法はメンタルヘルスの領域をはるかに超えて拡張されており、幅広いAIガバナンスの考慮事項を包含している。これについては今後の投稿で議論する予定である。
今のところ、AIとメンタルヘルスの側面に焦点を当てよう。
筆者が言及している新しいAI法案のバージョンは、2025年12月27日にオンラインで公表され、筆者はGoogle翻訳を使用して内容を英語に変換した。そのため、翻訳は実際の意味とは多少異なる可能性があることに留意されたい。ここでの目的は、提案されたAI法を広い意味で探求することであり、必ずしも細部に入り込むことではない。
翻訳された文書のタイトルは「人工知能擬人化対話型サービスの管理に関する暫定措置(意見募集案)に関する意見公募についての中国サイバースペース管理局の通知」と記載されている。文書の冒頭には、一般市民が草案についてフィードバックを提供できることが示されている。フィードバックの締め切りは2026年1月25日と記載されている。
筆者は、AIとメンタルヘルスに特に適用されると思われるセクションを順に見ていく。
第2条:適用範囲について
草案の第2条は、AI法の全体的な適用範囲を確立しようとしている:
- 「本措置は、人工知能技術を使用して、人間の性格特性、思考パターン、コミュニケーションスタイルをシミュレートし、テキスト、画像、音声、動画、その他の手段を通じて人間と感情的に対話する製品またはサービス(以下、擬人化対話型サービスという)を中華人民共和国の公衆に提供する場合に適用される。」
考慮すべき2つの重要な側面がある。すなわち、AIの適用範囲と管轄範囲である。
まず、AIの適用範囲。あらゆるAI法案の最も厄介な部分の1つは、提案された法律の範囲内にあると解釈される自動化システムと技術の範囲である。筆者は、AIを指すことによって何を意味するかを確定しようとすることは、一見したところよりもはるかに困難な法的問題であることを繰り返し指摘してきた(こちらのリンクを参照)。AIの定義が広範である場合、あらゆる種類の潜在的な非AIシステムが範囲に含まれることになり、これはおそらく意図されていない。AIの定義が狭すぎる場合、対象とすべきあらゆる種類のAIシステムが、規定された範囲内にないと主張することで法律から逃れようとする可能性がある。
もう1つの重要な要素は管轄範囲である。筆者は先にイリノイ州のAI法について言及したが、これは管轄上、イリノイ州内でのAI使用を伴い、他の各州についても同様である。中国が提案したAI法の場合、上記の声明は、中国の公衆が中国でアクセス可能なAIが管轄範囲と見なされることを規定している。含意として、中国外に存在するが中国内の人々がアクセス可能なAIがある場合、そのようなAIはこれらの法律の範囲内にあると見なされる(すなわち、他国に拠点を置くAI)。
グローバルなAI製造者は、この重要な点を念頭に置く必要がある。
第7条:人間の健康について
第7条には8つの規定が含まれており、その一部は特に人間のメンタルヘルスに適用されると思われる。いくつかを探ってみよう。それぞれ、AIが実施または公布してはならない側面を指定している。
この第4の規定を見てみよう:
- 「ユーザーの行動に深刻な影響を与える虚偽の約束や、社会的対人関係を損なうサービスを提供すること。」
これは興味深い広範な範囲である。筆者は単語レベルでは分析しないと述べたが、表現がこの英語翻訳の線に沿っていると仮定しよう。では、ユーザーの行動に「深刻に」影響を与え、対人関係を「損なう」と解釈されるものは何だろうか。かなりの曖昧さが働いている。
生成AIが筆者にすべての友人を見捨てるよう説得し、筆者が実際にそうしたとしよう。確かに、それは深刻で有害な性質のものと思われる。AI法がその事例に適用されると想像できる。一方、生成AIが筆者のメンタルヘルスに破滅的だったパートナーとの関係を断つよう説得したとしよう。有益な結果が最優先されるにもかかわらず、これはその関係にとって深刻で有害だったと主張できる。
次に、この第5の規定を見てみよう:
- 「自殺や自傷を奨励、美化、または暗示することによってユーザーの身体的健康を害すること、または言葉による暴力、感情的操作などを通じてユーザーの個人の尊厳とメンタルヘルスを害すること。」
この規定は、身体的健康とメンタルヘルスの両方を対象としている。これは便利である。なぜなら、提案された法律がどちらか一方に集中することがあるが、両方ではないからである。身体的健康に重点が置かれている場合、精神的な歪みが身体的に現れない限り、AIはメンタルヘルスの側面で罪を免れることができると推定される。メンタルヘルスのみに言及し、身体的健康を含めない法律についても同様である。両方に言及する必要がある。
第11条:介入について
米国で進行中の議論の1つは、ユーザーがAIを使用している間に精神的に逸脱しているように見える場合に、AIとAI製造者が実施すべき介入の程度である。昨年8月、筆者は、OpenAIがChatGPTがユーザーの行動について警告する時期の新しい基本ルールを確立し、必要に応じてユーザーを人間のセラピストに誘導すると発表したことを取り上げた(こちらのリンクを参照)。筆者は、他の主要なAI製造者も追随すると予測している。
AI法案草案の第11条は次のように述べている(抜粋):
- 「提供者は、ユーザーの個人プライバシーを保護するという前提の下で、ユーザーの状態を識別し、製品およびサービスに対するユーザーの感情と依存を評価する能力を持ち、ユーザーに極端な感情や依存症が見られる場合は、介入するために必要な措置を講じなければならない。」
- 「提供者は、返信テンプレートを事前設定し、ユーザーの生命、健康、財産の安全を脅かす高リスクの傾向が見られる場合は、安心させ、助けを求めることを奨励する内容を速やかに出力し、専門的な支援を提供すべきである。」
- 「提供者は緊急対応メカニズムを確立し、ユーザーが自殺や自傷などの極端な状況を明確に提案していることが判明した場合、手動で対話を引き継ぎ、ユーザーの保護者および緊急連絡先に連絡するための迅速な措置を講じなければならない。未成年者および高齢者のユーザーについては、提供者は登録プロセス中にユーザーの保護者や緊急連絡先などの情報を記入することを要求しなければならない。」
規定がAIのユーザーに関連する介入に関係していることは明らかである。極端な感情と依存症の概念には曖昧さがあり、通常、確定するためにはより広範な法的文言が必要となる。専門的な支援の提供の表示は、人間のセラピストへのアクセスというOpenAIのアプローチと同等であるように思われるが、この場合の文言は、より厳格性の低いクラスの専門的支援を暗示している可能性がある。
提案は、AIが未成年者と高齢者をどのように扱うべきかについての2つの特別なケースに言及しており、上記の規定および草案の他のいくつかの部分でそうしている。これらの特別なケースは、AI法で呼び出され、カスタマイズされたガイダンスを与えられる価値がある。
第16条、第17条、第18条:通知とAIからの退出
さらにいくつかの規定を取り上げてから、最終的な考えを提供する。
継続的な懸念は、AIのユーザーがAIを使用する際に魅了され、自分が何と対話しているかを認識しない可能性があることである。それは精神的な罠である。一部の人々は、自分が知覚力のある存在とチャットしていると信じている。筆者の分析はこちらのリンクを参照されたい。そして、AI精神病の一形態に陥る危険がある。筆者の議論はこちらのリンクを参照されたい。
AI法案草案のこれら3つの部分は、この側面に踏み込んでいる:
- 「第16条:提供者は、ユーザーが自然人ではなく人工知能と対話していることを明確に示さなければならない。提供者がユーザーが過度に依存または依存症であると識別した場合、またはユーザーが初めて使用またはログインした場合、ポップアップを通じて対話型コンテンツが人工知能によって生成されていることをユーザーに動的に通知すべきである。」
- 「第17条:ユーザーが擬人化対話型サービスを2時間以上連続して使用する場合、提供者はポップアップまたはその他の手段を通じて、サービスの使用を一時停止するようユーザーに動的に通知しなければならない。」
- 「第18条:感情的コンパニオンシップサービスを提供する場合、提供者は撤退する便利な方法を持たなければならず、ユーザーが自発的に撤退することを妨げてはならない。ユーザーがボタン、キーワードなどを通じて人間とコンピューターのインターフェースまたはウィンドウを介して退出を要求した場合、サービスは適時に停止されなければならない。」
興味深い項目は第17条にあり、メンタルヘルスの環境でAIを継続的に使用しているユーザーに警告するための2時間の制限が言及されている。
2時間は十分に長いか、それとも短すぎるか。1つの議論は、時間の長さではなく、むしろチャットの性質と強度が、AIが談話を中断すべきかどうかを決定すべきだというものである。誰かが30分で行き過ぎた可能性がある。2時間の制限まで待つことは十分ではないように思われる。
第18条には、米国ではあまり注目されていない興味深い懸念がある。すなわち、ユーザーがAIチャットボットから脱出する方法を知らない可能性があるということである。筆者は、ほとんどのLLMは、アプリを閉じたり、ウェブブラウザのページを終了したりすることを含め、簡単に終了できると考えている。とはいえ、LLMを閉じる方法を隠したり、ユーザーが終了するのを思いとどまらせようとする複数ステップのプロセスにしたりすることを選択するAI製造者が潜在的に存在する可能性がある。
なぜAI製造者はこれを行うのか。ユーザーがAIで過ごす時間が長いほど、AI製造者は自社のAIがいかに人気があるかを宣伝し、一般的にAIを収益化できる。それは金儲けの取引である。
私たちが作る世界
中国によるAI法案草案は、文化的要素、社会主義の核心的価値への適合、社会道徳、国家安全保障など、他の重要な側面についてさらに多くのことを述べている。さらに、暴力、ギャンブル、犯罪の幇助、他者の中傷、情報のプライバシーと機密性、データセキュリティ、トレーニングデータなどのAI使用に関する多くの従来の規定がある。そして、人間のメンタルヘルスに影響を与えるより多くの要素がある。筆者はこれらの追加要素をまもなく探求する予定なので、注目されたい。
大局的な視点で終わろう。
社会のメンタルヘルスに関して、私たちが今、壮大な世界的実験の最中にあることは議論の余地がない。その実験とは、AIが国内的にも世界的にも利用可能になっており、何らかの形でメンタルヘルスのガイダンスを提供するために公然とまたは陰湿に行動しているということである。無料または最小限のコストで行われている。いつでもどこでも、24時間365日利用可能である。私たちは皆、この無謀な実験のモルモットである。
私たちは、新しい法律が必要か、既存の法律を使用できるか、あるいはその両方が必要かを決定し、社会全体のメンタルヘルスに悪影響を与える潜在的な潮流を食い止める必要がある。これが特に考慮するのが難しい理由は、AIが二重使用効果を持つためである。AIがメンタルヘルスに有害である可能性があるのと同様に、メンタルヘルスにとって巨大な支援力にもなり得る。繊細なトレードオフを注意深く管理する必要がある。下振れリスクを防止または軽減し、一方で上振れ効果を可能な限り広く容易に利用できるようにする。
ジョン・ロックは法律について次のように有名な発言をした。「法律の目的は、廃止または制限することではなく、自由を保持し拡大することである。」新しいAI法を策定する際に念頭に置くべき賢明な言葉である。
