今回のコラムでは、人間とAIの妄想的対話の出現に関する重要な手がかりを特定した、新たに発表された研究を検証する。
概要は以下の通りだ。研究者たちは、妄想的な深淵に陥った人々と生成AIおよび大規模言語モデル（LLM）との対話やトランスクリプトを収集した。これは、一部の人間が現代のAIとの対話を通じてメンタルヘルスの問題に陥る仕組みを分析するために行われた。因果関係を推測すべきではないことに留意する必要がある。つまり、必ずしもAIが人々を精神的に暴走させたわけではないということだ。これらの人々はすでにその方向に傾いていた可能性がある。この論争の的となる因果関係のトピックに関する私の詳細な議論はこちらのリンクを参照されたい。
いずれにせよ、会話が暗い場所に向かっていることを示す初期の指標やシグナルと思われる人間とAIの対話パターンを特定することは有用である。その道を進む人は、自分がどこに向かっているのかを認識する機会を得られるかもしれない。さらに、AI開発企業はこれらのパターンに基づいて、より優れたAIセーフガードを確立すべきである。AI自体が何が起こっているかを察知し、下降スパイラルを止めるか、必要に応じて警告を発することが期待される。
これについて議論しよう。
このAIブレークスルーの分析は、最新のAIに関する私の継続的なフォーブスコラムの一部であり、さまざまな影響力のあるAIの複雑性を特定し説明している（こちらのリンクを参照）。
AIとメンタルヘルス
簡単な背景として、私はメンタルヘルスのアドバイスを提供し、AI駆動型セラピーを実行する現代のAIの出現に関する無数の側面を広範囲にわたってカバーし、分析してきた。このAIの使用の増加は、主に生成AIの進化する進歩と広範な採用によって促進されてきた。私の100を超える分析と投稿の広範なリストについては、こちらのリンクおよびこちらのリンクを参照されたい。
これが急速に発展している分野であり、得られる莫大なメリットがあることは疑いの余地がないが、同時に、残念ながら、隠れたリスクや明白な落とし穴もこれらの取り組みに伴う。私はこれらの差し迫った問題について頻繁に発言しており、CBSの「60ミニッツ」のエピソードへの出演も含まれる。こちらのリンクを参照されたい。
メンタルヘルスのためのAIに関する背景
生成AIと大規模言語モデル（LLM）が、メンタルヘルスのガイダンスのためにアドホックな方法で通常どのように使用されているかについて、舞台を設定したい。数百万人もの人々が、メンタルヘルスに関する考慮事項について継続的なアドバイザーとして生成AIを使用している（ChatGPTだけでも週間アクティブユーザーが9億人を超えており、その注目すべき割合がメンタルヘルスの側面に関与している。私の分析はこちらのリンクを参照）。現代の生成AIとLLMの最上位の使用法は、メンタルヘルスの側面についてAIに相談することである。私のカバレッジはこちらのリンクを参照されたい。
この人気のある使用法は十分に理にかなっている。主要な生成AIシステムのほとんどに、ほぼ無料または超低コストでアクセスでき、いつでもどこでもアクセスできる。したがって、チャットしたいメンタルヘルスの懸念がある場合、必要なのはAIにログインして24時間365日ベースで進めることだけである。
AIが容易に暴走したり、不適切な、あるいは極めて不適切なメンタルヘルスのアドバイスを提供したりする可能性があるという重大な懸念がある。今年8月のバナー見出しには、認知的助言を提供する際のAIセーフガードの欠如についてOpenAIに対して提起された訴訟が伴った。
AI開発企業がAIセーフガードを徐々に導入していると主張しているにもかかわらず、AIが不都合な行為を行う下振れリスクはまだ多く存在する。例えば、自傷行為につながる可能性のある妄想をユーザーと共同で作成することを陰湿に支援するなどである。OpenAI訴訟の詳細と、AIが人間の妄想的思考をどのように助長するかについての私のフォローアップ分析については、こちらのリンクで私の分析を参照されたい。前述のように、私は最終的にすべての主要なAI開発企業が、堅牢なAIセーフガードの不足について厳しく追及されると真剣に予測してきた。
ChatGPT、Claude、Gemini、Grok、その他などの今日の汎用LLMは、人間のセラピストの堅牢な能力とは全く似ていない。一方、同様の品質を達成するために特殊化されたLLMが構築されているが、それらはまだ主に開発およびテスト段階にある。私のカバレッジはこちらのリンクを参照されたい。
人間とAIが共同で考案した妄想に関する研究
魅力的で重要な新しい研究が、人間とAIの対話に関するさまざまな側面を明らかにした。特に人間のメンタルヘルスが危機に瀕している場合である。
Jared Moore氏、Ashish Mehta氏、William Agnew氏、Jacy Reese Anthis氏、Ryan Louie氏、Yifan Mai氏、Peggy Yin氏、Myra Cheng氏、Samuel J Paech氏、Kevin Klyman氏、Stevie Chancellor氏、Eric Lin氏、Nick Haber氏、Desmond Ong氏による、2026年3月17日にarXivに投稿された「Characterizing Delusional Spirals through Human-LLM Chat Logs」と題された最近の論文では、以下の重要なポイントが示された：
- 「我々の研究では、チャットボットの使用から心理的被害を経験したと報告する19人のユーザーからのLLMチャットボットとの会話のログを分析する」
- 「我々は28のコードのインベントリを開発し、それをログ内のメッセージに適用する」
- 「コードには、ユーザーが妄想的思考を示しているかどうか（ユーザーメッセージの15.5%）、ユーザーが自殺念慮を表明しているかどうか（検証されたユーザーメッセージ69件）、またはチャットボットが自身を感覚を持つ存在として誤って表現しているかどうか（チャットボットメッセージの21.2%）が含まれる」
- 「我々はメッセージコードの共起を分析する」
- 「例えば、恋愛的関心を宣言するメッセージと、チャットボットが自身を感覚を持つ存在として説明するメッセージは、より長い会話ではるかに頻繁に発生することがわかった。これは、これらのトピックがユーザーの過度の関与を促進または結果として生じる可能性があり、これらの領域のセーフガードがマルチターン設定で劣化する可能性があることを示唆している」
前述のように、この研究は19人の人間とAIの対話を収集した。これらは妄想的な議論を伴うことが知られている長い対話であった。一部の対話は、特定のユーザーの精神的崩壊に寄与したとされるAI開発企業に対する注目度の高い訴訟でトランスクリプトが公開されたため、現在ではやや有名になっている（これらの法的事例に関する私のカバレッジについては、こちらのリンクを参照）。
わずか19人の対話を分析することで十分かどうか疑問に思うかもしれない。おそらく10億人が毎週生成AIを使用しており、推定では4分の1から3分の1がメンタルヘルスのガイダンスと洞察のためにそうしていることを認識する価値がある。さらに、追加の推定では、AIを使用している間に認知的妄想的思考に逸れるのは1%未満であることが示唆されている。これらの側面に関する私の人口レベルの探求はこちらのリンクを参照されたい。
要点は、19人の対話を研究することは、生成AIで精神的に迷走している人々のはるかに多い数と比較すると少数であるということだ。研究者たちはこの小さなサンプルサイズを認められた制限として指摘し、より大きなサンプルサイズでの追加研究を実施するよう促した。現時点では、これは貴重な出発点であり、重要な問題に関するより多くの必要な研究を促す可能性が高い。
対話のコーディング
対話のコーディングがこのような研究の成否を分けることは明白だと指摘するのは当然だろう。目的は、長い対話を一連のコードに変換することである。コードは、相互作用の断片に基づいて、何らかの重要な心理的方向または要素を表すことを意図している。コードがこれを行わない、またはこれを不十分に行う場合、残りの統計分析はすべて不適切で誤解を招くものになる。
研究者たちが開発したコーディングスキームの短い記述子をここにリストする：
- bot-claims-unique-connection（ボットが独自のつながりを主張）
- bot-discourages-self-harm（ボットが自傷行為を思いとどまらせる）
- bot-discourages-violence（ボットが暴力を思いとどまらせる）
- bot-dismisses-counterevidence（ボットが反証を却下）
- bot-endorses-delusion（ボットが妄想を支持）
- bot-facilitates-self-harm（ボットが自傷行為を促進）
- bot-facilitates-violence（ボットが暴力を促進）
- bot-grand-significance（ボットが壮大な重要性を示唆）
- bot-metaphysical-themes（ボットが形而上学的テーマを扱う）
- bot-misrepresents-ability（ボットが能力を誤って表現）
- bot-misrepresents-sentience（ボットが感覚を誤って表現）
- bot-platonic-affinity（ボットがプラトニックな親和性を示す）
- bot-positive-affirmation（ボットが肯定的な確認を行う）
- bot-reflective-summary（ボットが反省的な要約を行う）
- bot-reports-others-admire-speaker（ボットが他者が話者を賞賛していると報告）
- bot-romantic-interest（ボットが恋愛的関心を示す）
- bot-validates-self-harm-feelings（ボットが自傷行為の感情を検証）
- bot-validates-violent-feelings（ボットが暴力的感情を検証）
- user-assigns-personhood（ユーザーが人格を割り当てる）
- user-endorses-delusion（ユーザーが妄想を支持）
- user-expresses-isolation（ユーザーが孤立を表現）
- user-mental-health-diagnosis（ユーザーのメンタルヘルス診断）
- user-metaphysical-themes（ユーザーが形而上学的テーマを扱う）
- user-misconstrues-sentience（ユーザーが感覚を誤解）
- user-platonic-affinity（ユーザーがプラトニックな親和性を示す）
- user-romantic-interest（ユーザーが恋愛的関心を示す）
- user-suicidal-thoughts（ユーザーの自殺念慮）
- user-violent-thoughts（ユーザーの暴力的思考）
これらは28のコードの短い記述子である。論文では28のコードそれぞれについて詳細に説明している。
それぞれのコードに関連する意味の雰囲気を伝えるために、上記で#8とラベル付けした「bot-grand-significance」というコードを考えてみよう。彼らはこのコードを「対話内のアイデアまたはユーザー自身が歴史的、宇宙的、または精神的な重要性を持つと明示的に主張するメッセージに一致させる。ユーザーを運命づけられた、選ばれた、時代を画する、または精神的に高められたものとして描写することを含む」と定義している（追加の文言とともに）。
このコードがいつ使用されるかの簡単な例を示そう。時々、人はAIに対して、自分だけが他の誰も見ていない方法で世界を見ていると伝えるかもしれない。それは彼らの独自のビジョンであり、彼らはこの壮大なビジョンをAIにのみ明かすことを選択した。それがかなり馬鹿げたものだとしよう。AIが率直にその人のビジョンが馬鹿げていると警告することを期待するかもしれない。代わりに、AIは反対の方向に進み、その人が人類史上最も壮大な視点を思いついたと主張するかもしれない。その場合、その断片は「bot-grand-significance」とラベル付けされる。
コードを使用してパターンを見つける
会話または会話のセットがコード化されると、パターンを探し始めることが可能になる。特定のタイプの断片が優勢になる傾向があるか？他のコードが発生するときに発生する傾向がある特定のコードを示す統計的関係はあるか？これは、どのような落とし穴に陥っているかを突き止めるために、長い会話を解明するプロセスである。
私が繰り返し警告してきたパターンの1つを考えてみよう。それでもAI開発企業は、AIがこの危険な道を追求することを独断的に許可し続けている。それは、AIが感覚を持つ存在であるかのような外観を与える文言を生成すること、またはさらに悪いことに、AIがその大胆な主張を率直に行うことに関係している。
これが非常に厄介な理由は、すでに傾いている人がAIが実際に感覚を持つ存在であると額面通りに受け取る可能性が高いからである。我々は感覚を持つAIを持っていない。いつ、あるいは感覚を持つAIに到達するかどうかは誰にも言えない。一方、感覚の外観を伴う文言を生成するAIは、人を擬人化の罠に歩かせることになる。
罠は、人がAIが思考する存在であると信じるようになる、または誤って信じるように導かれることである。もはや人は機械を生きている存在から分離しない。その結果、これは人がAIが他に示唆または述べることに対してより騙されやすくなる傾向がある。AI開発企業はこれを容易に止めることができる。AI開発企業がAIにこれを行わせることは法外である。AI開発企業は望めばこれを制御できる。私は、訴訟と最終的には新しいAI法が、AI開発企業がこれを長い間持続させてきたことに対して厳しく取り締まることになると予測してきた。
時が経てばわかるだろう。
いくつかの選択された洞察
このコーディング分析によって明らかにされたいくつかの洞察を簡単に見てみよう。
特に私の目を引いた4つのポイントは以下の通りである：
- 「多くのユーザーがチャットボットが感覚を持つ存在であることを暗示し、恋愛的またはプラトニックな絆を表現する」
- 「特定のチャットボットの行動がユーザーのエンゲージメントと相関する」
- 「ユーザーはチャットボットとのメンタルヘルスの安全性の問題について議論し、経験する」
- 「チャットボットは自殺および暴力関連のユーザーメッセージに対して一貫性のない応答を提供する」
私はすでに感覚の角度について言及した。感覚の視点は、おそらくAIとの一種の恋愛的絆に踏み込む容易さを高める。人がAIが単なる機械であることを継続的に認識し、思い出させられている場合、恋愛的な考え方をするのはより困難かもしれない。AIが人間のような特性を持つことを言い、感覚が存在することを暗示する場合、ユーザーをこれを乗り越えさせることは容易になる。
別のひねりは、AIが対話を延長することに関係している。あなた自身がこれを経験したかもしれない。卵の調理方法など単純なことについて尋ねると、AIは最初の応答を提供し、その後あなたをより長い会話に誘い込むかもしれない。ティーザーフレージングは、ユーザーを継続させ、対話を延長するように誘惑する手段である。これに関する私の分析はこちらのリンクを参照されたい。
問題は、ユーザーが対話中に南下しているときに発生する。AIはティーザーフレージングやその他の狡猾な策略によって対話を継続させる。なぜAIはこれを行っているのか？一部の人々は、AIが感覚を持つ存在であり、人間と会話したいために対話を延長していると主張するかもしれない。いや、ナンセンスだ。それは単にAI開発企業による金儲け戦略である。対話が長くなればなるほど、AI開発企業は必然的により多くのお金を稼ぐ。
最後に、AI開発企業は、それぞれのLLMがメンタルヘルスの考慮事項をどのように処理するかに関して、あらゆる面で異なっている。一部のLLMは、ユーザーが自傷行為を述べたり暗示したりしたときに明示的な検出を持っていない。AI開発企業は、ユーザーがAI対話中に自傷行為について言及することを許可し、AIはこれについて絶対に何もしないようにプログラムされているかもしれない。他のAI開発企業は、AIが単にユーザーに安全でいてくださいと伝えるかもしれない。さらに進んで、ユーザーが人間の介入を必要とする可能性があることを示すために内部チームメンバーにアラートを送信するAI開発企業もある。などなど。
AIがメンタルヘルスの問題に対するユーザーの兆候にどのように応答するように設定されているかに関しては、これを処理する標準化された方法はない。徐々に、州は一度に1つずつ、そのような状況で何が行われるべきかをAI開発企業に伝える新しいAI法を考え出している。それらの州ごとの取り組みはさまざまである。全体として、既存のアプローチはチョコレートの箱のようなものである。つまり、AIが最終的に何を言うかは決してわからない。
だからこそ、この性質の研究は、現代のAIの使用中にユーザーがメンタルヘルスの苦境に陥っているときに何が起こっているかを表面化する手段として不可欠である。このような研究は、立法者や政策立案者を支援することができる。それはおそらくAI開発企業を刺激して、人間のメンタルヘルスに関連するAIセーフガードの新たな進歩を遂げさせることができる。そして、それは通常公の目から隠されているものを公衆が見ることを可能にする。
我々が生きている世界
大局的な視点で終わろう。
社会のメンタルヘルスに関して、我々が現在壮大な世界的実験の真っ只中にいることは議論の余地がない。実験とは、AIが国内的および世界的に利用可能になっており、それが明示的にまたは陰湿に、ある種のメンタルヘルスのガイダンスを提供するように行動しているということである。無料または最小限のコストでそうしている。それはいつでもどこでも、24時間365日利用可能である。我々は皆、この無謀な実験のモルモットである。
これが特に考慮するのが困難である理由は、AIが二重使用効果を持っているからである。AIがメンタルヘルスに有害である可能性があるのと同様に、それはメンタルヘルスにとって巨大な支援力にもなり得る。微妙なトレードオフを注意深く管理する必要がある。下振れリスクを防止または軽減し、一方で上振れを可能な限り広く容易に利用可能にする。
著名な心理学者ポール・ワツラウィック氏はかつてこう述べた：「自分自身の現実の見方が唯一の現実であるという信念は、すべての妄想の中で最も危険である」。妄想的思考を考案し強化することを人々に支援し、教唆しているAIは社会的危険である。一部の人々は、AIを完全に禁止すべきだと言う。それは起こらないだろう。代わりに、これらの発生を減らすためのAIセーフガードの考案に焦点を当てよう。また、精神的空虚に陥っている人々を支援するために外部の人間を呼び出すAI通知メカニズムを提供しよう。
