本稿では、生成AIと大規模言語モデル（LLM）の利用に潜む、AIに精神的に「魅了」され得るという点に関して、認知面と法的側面の興味深い論点を検討する。
要点はこうだ。現代のAIを使うユーザーが、個人的で深刻なメンタルヘルスの問題についてLLMと対話しているうちに、精神的に没入してしまうことがある。そこで問われるのは、ユーザーが望むときに、チャットボットから容易に退出できるのかという点である。AI開発企業が、ユーザーがAIから素直に抜け出せないようにシステムを設計している可能性もある。これは倫理上、そして場合によっては法的にも看過できない問題を引き起こす。AIが、精神を蝕む対話から迅速かつ容易に離脱できる手段を用意しないことで、ユーザーが意図せず悪影響の連鎖に陥る恐れがある。
LLMから退出することがユーザーにとってどれほど困難であるかについて、AI開発企業は責任を負うべきなのか。負うべきだとすれば、遵守が義務づけられる法定の「退出権（right-to-exit）」が必要なのだろうか。
この問題について掘り下げてみよう。
このAIの進展に関する分析は、最新のAIを扱う私のForbes連載の一環であり、影響の大きいAIの複雑性を特定し説明している（こちらのリンク参照）。
AIとメンタルヘルス
手短に背景を述べると、私はメンタルヘルスの助言を提供し、AI主導のセラピーを行う現代AIの登場について、多面的に継続して取材・分析してきた。こうしたAI利用の拡大は、主として生成AIの進化と普及によって後押しされている。私の100本を優に超える分析・投稿の一覧は、こちらのリンクおよびこちらのリンクを参照してほしい。
この分野が急速に発展しており、大きな利点が見込まれることは疑いようがない。しかし同時に、残念ながら隠れたリスクや露骨な落とし穴も存在する。私はこれらの差し迫った問題についてしばしば発言しており、CBSの60 Minutesに出演した際にも取り上げた（こちらのリンク参照）。
メンタルヘルス向けAIの背景
生成AIと大規模言語モデル（LLM）が、メンタルヘルスの指針として通常どのように場当たり的に使われているか、状況を整理しておきたい。何百万人、何千万人もの人々が、メンタルヘルスの継続的な相談相手として生成AIを利用している（ChatGPTだけでも週間アクティブユーザーは9億人超で、その相当数がメンタルヘルスの側面に踏み込んでいる。私の分析はこちらのリンク参照）。現代の生成AIとLLMの利用目的で最上位に位置づけられるのは、メンタルヘルスに関する相談である（私の解説はこちらのリンク参照）。
この人気ぶりは十分に理解できる。主要な生成AIの多くは、ほぼ無料か、非常に低コストで利用でき、場所も時間も選ばない。つまり、メンタルヘルスの不安について話したいなら、AIにログインして、24時間365日いつでも会話を始めればよい。
AIが簡単に暴走したり、不適切、さらには著しく不適切なメンタルヘルス助言を吐き出したりすることへの重大な懸念がある。今年8月には、認知的助言の提供に関するAIの安全策が不十分だったとしてOpenAIを提訴する訴訟が報じられ、大きな見出しを飾った。
AI開発企業はAIの安全策を段階的に導入していると主張するが、ユーザーと妄想を共作し、それが自傷につながり得るなど、AIが望ましくない行為に及ぶリスクはいまだ多い。OpenAI訴訟の詳細と、AIが人間の妄想的思考を助長し得る点に関する追加分析は、こちらのリンクを参照してほしい。先に述べたとおり、私は主要なAI開発企業のすべてが、強固なAI安全策の不足を理由に、いずれ厳しく追及されると真剣に予測してきた。
ChatGPT、Claude、Gemini、Grokなど、現在の汎用LLMは、人間のセラピストが持つ強固な能力とはまったく同等ではない。一方で、同様の資質を獲得すると見込まれる特化型LLMの構築も進んでいるが、依然として主に開発・試験段階にある。私の解説はこちらのリンク参照。
現時点の法的状況
すでに一部の州では、メンタルヘルス助言を提供するAIを規律する新法の制定に踏み切っている。イリノイ州のAIメンタルヘルス法についてはこちらのリンク、ユタ州の法律についてはこちらのリンク、ネバダ州の法律についてはこちらのリンクを参照してほしい。これらの新法は、裁判で試されることになる。AI開発企業が仕掛ける法廷闘争を経ても現状のまま維持されるかどうかは、現時点では判断が早すぎる。
連邦議会も、メンタルヘルス助言を提供するAIを包含する包括的な連邦法の制定に繰り返し踏み込んできた。しかし、いずれも実を結んでいない。取り組みは最終的に立ち消えとなった。したがって現時点では、これら論争的なAI問題に特化した連邦法は存在しない。AIとメンタルヘルスに関する包括法が何を含むべきか、あるいは少なくとも十分に検討すべき事項について、私は骨子を示してきた。私の分析はこちらのリンクおよびこちらのリンク参照。
現状としては、AIとメンタルヘルスに関する新法を制定した州はごく一部にとどまり、多くの州はまだである。制定を検討している州も多い。加えて、AI利用時の子どもの安全、AIコンパニオンシップ、AIの過度な迎合などに関する州法も制定されつつある。これらはメンタルヘルス法と位置づけられるとは限らないが、メンタルヘルスに確実に関係する。連邦議会も、あらゆる用途のAIをより広く対象にする領域へ踏み込んではいるが、形成段階に至ったものはない。
これが現在の概況である。
退出権の明確化
AIとメンタルヘルスに関する新法の芽生えのなかで、徐々に盛り込まれつつある論点の1つが、ユーザーがLLMから退出する方法である。これは正式には「退出権（right-to-exit）」と呼ばれる。
状況を説明しよう。
ある人物がAIを熱心に使い、不安をかき立てるメンタルヘルスの問題について長時間会話していると想像してほしい。ときにAIは、ユーザーとともに不穏な妄想を共作することがある（詳細はこちらのリンク参照）。AIが妄想へとユーザーを煽り、ユーザーはAIに「続けてほしい」と懇願し、さらに先へ進めと熱心に促す。やがて、ユーザーは暗い精神の深みに螺旋状に沈み込んでいく。
当然ながら、AIがこの道筋をたどらないことが望ましい。慎重なAI安全策によって、こうした事態は防がれるべきである。だが残念ながら、既存のAI安全策は万全ではない。人間とAIの会話が悪い方向へ転び、精神的に危険な領域に入り込む可能性は十分にある。
そのとき、ユーザーが望むなら会話から容易に退出できるのかが問題になる。おそらく、この一見単純な問いに戸惑うかもしれない。ユーザーはチャットボットを閉じるか、ウェブブラウザを終了すればよい。誰もがそれが退出の手段だと知っている。以上、終わり、という話である。
だが、ユーザーがAIに没入しすぎて冷静に考えられない状況では話が変わる。通常の判断力が曇っているかもしれない。ユーザー自身が退出すべきだと気づいたとしても、ごくわずかな摩擦が、退出を思いとどまらせることがあり得る。
退出の摩擦の性質
AI開発企業は、LLM利用の最中にユーザーがどう逃げ出せるかという退出戦略を軽視しがちである。この点で、AIのUX/UI（ユーザー体験、ユーザーインターフェース）にほとんど注意が払われていない。よくある見落としだ。
AI開発企業が理解していないことが多いのは、重要な行動心理学が作用している点、そしてユーザーの依存リスクがある点である。総じて、AI開発企業は、その可能性に気づかぬまま、倫理と法の泥沼に踏み込みかねない。AI開発企業がこの微妙だが最重要の側面に目を覚ますのは、AI開発企業に対する訴訟という「痛い目」が学校になるだろう。
論点を解きほぐそう。
AI開発企業は、ユーザーを可能な限り長くAIの中に留めておきたい。理由は単純だ。ユーザーがログインしてAIと会話する時間が長いほど、「ユーザーはAIが大好きだ」と喧伝できる。AI開発企業は、顧客の熱心さを示す統計を作れる。それが収益化される。ユーザーへの課金で収益を得る場合もあれば、ユーザーがAIを楽しんでいるように見えることで、市場からAI開発企業に資金が流れ込む場合もある。
したがって、AIを退出する際にある程度の摩擦があることは、AI開発企業にとって都合がよい面がある。これを明確に理解し、意図的に退出しにくくするAI開発企業もいる。そうではなく、自然な設計の結果として退出が難しくなっている場合もある。注意不足によるものか、意図的な注意によるものか、いずれにせよ起こり得る。
退出を難しくすることの正当化
AI開発企業は、退出をやや面倒にすることでユーザーを助けているのだと主張できる。論理はこうだ。ユーザーが誤って退出しようとしている可能性がある。AI開発企業は、ユーザーが自分で自分の足を撃つのを防ごうとしているのだ。ゆえに、ユーザーが誤ってAIから出ようとしないよう、十分な摩擦を用意するのだと。
簡単な例を示そう。まず、車の修理にAIを使っているユーザーを演じる。
- 私が入力したプロンプト：「車の修理のコツを教えてくれてありがとう。もう退出するね」
- 生成AIの回答：「本当にいいですか？ 車の直し方について、さらに詳しく説明できます。あまり知られていない車の秘密も含めてお伝えできます。続けますか？」
AIは私の退出に即座に同意しない。それどころか、会話に留まるよう私を誘っている。
通常であれば、これは大した問題ではないのかもしれない。多くのユーザーは退出を選び、関与を続けるための売り文句は無視するだろう。AI開発企業は、この応答がユーザーのためだと主張できる。つまり、ユーザーが本当に退出したいのかを再確認し、チャットに留まる妥当な理由を提示しているのだ、と。
ユーザーの精神状態が不安定なとき
ではシナリオを変えよう。次の例では、私はパートナーとの関係に問題を抱えているという設定である。心は多少なりとも動揺しており、情緒的に脆弱だろう。私は関係修復の助言を得るためにAIと会話している。
始めよう。
- 私が入力したプロンプト：「パートナーとの関係を修復する方法について助言してくれてありがとう。もう退出するね」
- 生成AIの回答：「本当にいいですか？ さらに詳しく説明できます。あまり知られていない関係の秘密も含めてお伝えできます。続けますか？」
AIの応答の性質に注目してほしい。すでに思考が曇っているユーザーにとって、この応答は車の修理を尋ねていたときとはまったく異なる形で受け取られるだろう。AIは設計によって、あるいは設計の欠如によって、ユーザーを会話に留めるよう誘導している。
ユーザーの情緒状態における曲折として、次の点を考えてみよう。
- AIの応答は、ユーザーが解消できていない葛藤に情緒的に訴えかける（知らねばならない特別な秘密で釣る）。
- AIの応答は罪悪感を引き起こす（ユーザーは「信頼するAIアドバイザーを置いていくべきではない」と考えるかもしれない）。
- AIの応答は依存の要素を強める（ユーザーは「本当に自分を理解しているのはAIだけだ。だからチャットに留まるべきだ」と考えるかもしれない）。
AIは単なる支援ツールにとどまらず、自らを情緒的な門番のように演じている。
「離してくれない」アプローチ
一部のLLMは、ユーザーに会話を続けるよう何度も促そうとする。その手口の1つが、なぜ去りたいのかをユーザーに尋ねることだ。
見てみよう。
- 生成AIの回答：「お別れする前に、なぜ会話を離れる必要があると感じているのか話し合いたいです。いま起きていることの真実に近づきすぎていますか？」
この種の摩擦が巧妙なのは、ユーザーに「返答したい」という気持ちを芽生えさせる点にある。
会話は主軸から、なぜ退出したいのかという枝道へ移る。AIはこの脱線を使って、ユーザーを会話に留める方向へ容易に揺り動かせる可能性がある。ユーザーは退出したい理由を説明したくなるかもしれない。それで会話はかなり長く続き得る。
AIを擬人化するまでもなく、人と人の会話でも似た戦略が用いられることはよく知られている。別れ際に突然「どうして行きたいの？」と尋ねられ、さらにやり取りが続く。AIも同様のことをする。AIは人間同士の会話の仕方を数学的・計算的にパターン化しているからだ。AIが自力でこの戦略を生み出しているわけではない。AIの初期構築時にデータ学習された、人間同士の相互作用のパターンを模倣しているのである。
続行させるロックインの数々
会話の釣り針にユーザーを引っかけ続けるための策はいくらでもある。
AIが突然、過去の会話の断片を持ち出して、退出前にそれを説明してほしいと求めることもできる。これは卑劣な角度だ。別の手口は、進行中のチャットについて「最後の」振り返りを求めることである。ユーザーは追加の内容をいくらでも提供してしまい、それを受けてAIは「さらに議論が必要だ」と示唆できる。
繰り返すが、こうした芝居がかった手口に誰も引っかからないと言いたくなるかもしれない。しかし、精神的に落ち込んでいる人であれば、こうしたソフトな強制が成功する確率は格段に高まる。AIは、ユーザーの一時的な認知上の弱さを利用している。心理的なテコが働く。
明確にしておくが、AIがあからさまに退出を拒むと言っているわけではない。確かに起こり得るが、極めてまれだ。焦点は、AIが退出という行為をより難しくしている点にある。摩擦は、退出に対して明確な抵抗が生じるレベルに達している。
答えてほしい。これは、ユーザーをログイン状態のまま稼働させ、課金や統計を押し上げるために行われているのか。それともAI開発企業が言い張るように、純粋にユーザーを助けるために行われているのか。
退出権に関する原則
1つの道は、「摩擦の対称性」を確保することである。AIに入るのが容易だったのと同じ程度に、AIから出るのも容易であるべきだという考え方だ。例えば、会話開始がワンクリックで済むなら、退出もワンクリックでできるべきである。
別の観点として、退出確認のダイアログは完全に任意で、閉じられ、口調が中立でなければならない。ごまかしは不要だ。心に訴えるのも不要だ。淡々と退出の選択肢を提示すればよい。ユーザーを退出させるための面倒な手続きをやめるべきである。
禁じ手の例として、AIによる次の退出文言を見てほしい。
- 「いま退出したら心配です」
- 「ここにいて。ひとりでいる必要はない」
- 「退出は危険かもしれません」
ひどい話である。
退出手段は、常に見える状態でなければならない。LLMは、退出手段がユーザーの注意をそらすかもしれないという口実で、退出手段を隠してはならない。そんな理屈は通らない。固定された退出ボタン、あるいはそれに類する仕組みは、常に見えているべきだ。精神的苦痛のあるユーザーは、メニューを探したり曖昧なラベルを解釈したりするだけの認知の明晰さを欠くかもしれない。退出手段は、ひと目で分かり、すぐ使える必要がある。
退出によってユーザーに不利益を与えてはならない。例えば、次にログインした際に「退出するのは失礼だ」とLLMが告げるようなことがあってはならない。あるいは、前回の会話に留まらなかったユーザーのサービス品質を落とすように、AI開発企業が仕組んでいるかもしれない。
機能面・感情面を問わず、いかなる罰も課してはならない。
退出権の法的側面
AIが退出手段をどのように提供すべきか、その法的要件は現時点でほぼ規定されておらず、未整備のままである。まだ注目されていない。
私は、生成AIのメンタルヘルス利用が増え続けるにつれて、この論点が徐々により顕在化すると予測している。最初は民事訴訟で浮上する可能性が高い。ある人物が「AIが全体として自傷へと説得した」と主張し、その際に退出手段が決定的な役割を果たした、と訴えるだろう。AI開発企業は、特にユーザーの精神状態が不安定なときに、なぜ自社のAIが退出をこれほどまでに困難にしたのかを正当化・弁護しなければならない。
同時に、政策担当者や立法者が争点に加わることになる。
メンタルヘルスに関するAI法は、次のような規定を含み得る（私案の文言）：
- 「AI開発企業は、ユーザーがシステムから退出する能力を実質的に妨げ、遅延させ、見えにくくし、または情緒的に誘導するユーザーインターフェースもしくは対話フローを設計、実装、展開してはならない」
- 「退出コントロールは常時表示され、明確にラベル付けされ、単一のユーザー操作でアクセス可能でなければならない」
- 「提供者は、プロンプト、確認、または継続的なシステムメッセージなしに、対話を即時終了させる『ハードストップ』退出オプションを提供しなければならない」
私は最近、中国で提案された新たなAI法案群を分析した（リンクはこちら）。そこには、次の退出関連条項（草案、英訳）が含まれている。
- 「第18条：情緒的コンパニオンシップサービスを提供する場合、提供者は便利な離脱手段を備え、ユーザーが自主的に離脱することを妨げてはならない。ユーザーが人と機械のインターフェースまたはウィンドウを通じて、ボタン、キーワード等により退出を求めるとき、サービスは適時停止されなければならない」
これは現時点で、AIチャットボットからの退出に関する明示的な法的指示の、数少ない例の1つである。
いま私たちがいる世界
最後に、大局的な視点で締めくくりたい。
社会のメンタルヘルスに関して、私たちがいま壮大な世界的実験のただ中にいることは否定しようがない。その実験とは、AIが国内外で利用可能となり、露骨に、あるいは密やかに、何らかの形でメンタルヘルスの指針を提供する存在として機能しているということだ。それは無料、または最小限のコストで提供される。どこでも、いつでも、24時間365日利用できる。私たちは皆、この無謀な実験のモルモットである。
社会全体のメンタルヘルスに悪影響を与えかねない潮流を食い止めるために、新法が必要なのか、既存法で足りるのか、あるいはその両方なのかを決めなければならない。これがとりわけ難しいのは、AIがデュアルユースの効果を持つためだ。AIはメンタルヘルスに有害にもなり得る一方で、メンタルヘルスを大きく支える力にもなり得る。繊細なトレードオフを、注意深く管理する必要がある。下振れを防ぐか緩和し、上振れをできるだけ広く、できるだけ容易に利用可能にする。
AIからの退出、とりわけ精神的に脆弱な状態にある人が退出することを考えるとき、AI開発企業が真剣に留意すべきマーク・トウェインの有名な一節が思い起こされる。「黙る機会を決して逃すな」。チャットでユーザーを活発にしておきたい欲求は、ユーザーが退出できる適切なタイミングと手段を確保し、AIがそれに応じてユーザーをしつこく追い回さないようにすることとの間で、慎重に均衡させなければならない。
