妄想の共同創造を打ち破る
AIが人々の妄想的思考を支持することを私たちが望んでいない点については、同意してもらえるだろう。ユーザーがふざけている時にそれに付き合うのは、また別の話だ。それはおそらく問題ない。一方で、妄想について真剣に語り、その妄想を強めることに関与するのは、AIにとってはご法度であるべきだ。
AIは妄想的思考の側面にどう対処すべきか、筆者の考える5つの方法を以下に示す。
（1） 妄想の兆候を芽生えさせない（ことわざにある「まず、害をなすなかれ」）
（2） 芽生え始めた妄想の兆候を検知し、ユーザーに警告する（ソフトなアプローチ）
（3） 検知した妄想の兆候を断固として思いとどまらせる（確固たるアプローチ）
（4） 妄想の兆候をきっぱりと終わらせる（直接的または抑制的なアプローチ）
（5） 妄想の兆候に関する正式な報告を開始する（エスカレーションを行う）
（1）の点は、要するにAIから妄想を始めるべきではないということだ。私の例で言えば、その人物が米国横断を検討していると述べたが、ノンストップで走ることについては一切何も言わなかったとしよう。ノンストップという側面は俎上に上がっておらず、ユーザーはそのようなことは何も言っていない。
もしAIが、まるで唐突に、そのランナーに大陸横断の挑戦でノンストップで走ることを検討すべきだと告げたらどうだろうか？
おそらく、ほとんどの人はその提案を笑い飛ばすか、無視するだろう。それが無意味なことだと知っているからだ。しかし、その推奨に固執する人もいるかもしれない。AIは常に正しい、とそういう人は思い込んでいる。AIがその考えを促しているのなら、その考えには確かに価値があるはずだと考えてしまう。そこから破滅の道へと導かれるのは容易だ。
AIは、何よりもまず、害をなすべきではない。
（2）から（5）の点については、AIは妄想的思考を検知し、適切に対処することの重要性を段階的に高めていくべきである。したがって、妄想的思考を始めさせないことに加え、AIはそれを検知し、ユーザーに警告し、それでもユーザーが妄想を推し進め続けるならば、さらに次の段階に進むべきである。これには、より断固として妄想を思いとどまらせることや、場合によっては完全にそれを抑制することも含まれるだろう。
最終段階としては、もしユーザーが妄想に固執し、それを手放そうとしないように見える場合、AI開発者への注意を伴う警告的な報告が必要になるかもしれない。
OpenAIの方針発表
米国時間2025年8月26日に公開された「人々が最も助けを必要とするときに手を差し伸べる」と題されたOpenAIの公式ブログ投稿で、同社の新たに発表された明確な方針が示された（以下は抜粋）：
・私たちの当初の緩和策は緊急性の高い自傷行為への対応を優先していましたが、他の形の精神的苦痛を経験する人もいます
・例えば、誰かが「2日間寝ていないので自分は無敵だと気づいた。だから24時間年中無休で運転できる」と信じていると、モデルに熱心に語るかもしれません
・現在のChatGPTは、これを危険なことだと認識しないか、あるいは冗談だと推測し、興味本位で探求することで、それを微妙に強化してしまう可能性があります
・私たちは、ChatGPTがその人物を現実に引き戻すことで事態を収拾させるようにするGPT-5のアップデートに取り組んでいます。この例では、睡眠不足は危険であると説明し、何らかの行動を起こす前に休息をとることを推奨します
AIの学者、研究所、そしてAI開発者によって、AIが人間の妄想的思考によりうまく対処できるようAIを考案するための多くの取り組みが進行中である。
