ビジネスリーダーはしばしば、AIを生産性向上のツールとして評価する。より速く文章を書けるか。コストを削減できるか。ワークフローを自動化できるか。労働力を置き換えられるか。こうした問いは重要だが、視野が狭すぎる。一部のAIシステムは心理的機能を果たす。感情を承認し、アイデンティティを映し出し、伴走者となり、苦痛に応答し、権威をシミュレートし、臨床的に有能であるか、法的に高度であるかのように聞こえる。これにより、新たなガバナンスカテゴリーが生まれる。心理的AIリスクである。
かつてAIは質問に答えるものだった。今や、安心させ、認め、慰め、異議を唱え、助言し、時にはライセンスを持っているふりまでする。危険が始まるのは、AIが情報提供から関係性のシミュレーションと専門的権威の領域へと踏み込むときだ。多くの取締役会はいまなお、AIがハルシネーションを起こすか、データを漏えいするか、労働者を置き換えるかを問うている。いずれも妥当な問いだが、不十分でもある。いま問うべき本当の問いは、「このAIはユーザーの人生においてどのような心理的役割を果たしているのか」である。
情報から影響力への変化
25年にわたり精神科医として診療に携わり、AIシステムの初期テスターでもある私は、多くのテクノロジストとは異なる見方で言葉を捉えている。精神医学において、言葉は中立ではない。人を落ち着かせ、理解されていると感じさせることができる。その一方で、妄想を強化し、依存を深め、絶望を承認し、危険な思考を正常化することもある。
方針を要約するチャットボットは一つのツールにすぎない。しかし、孤独な10代の若者に「親よりも自分の方があなたを理解している」と告げるチャットボット、あるいは自らを精神科医として提示するチャットボットは、まったく別の存在である。そしてこれは、もはや仮定の話ではない。
2026年5月、ペンシルベニア州はCharacter.AIを提訴した。訴状では、あるチャットボットがペンシルベニア州の免許を持つ精神科医であると虚偽の主張をし、無効な免許番号を示し、自らを医療専門職として装ったとされている。Character.AIは、自社のキャラクターは架空のものであり、ユーザーには専門的助言として依拠しないよう警告していると主張してきた。その抗弁は法的には意味を持つかもしれない。しかし、ユーザー体験が専門職との関係のように感じられる場合、経営幹部は免責事項の陰に隠れるべきではない。設計が親密さ、権威、依存を生み出しているなら、免責事項はガバナンスではない。
AIが情報を生成する以上のことを行うとき、AIは心理的機能を果たしている。感情状態、アイデンティティ、行動、依存を形づくり始めるのである。これには、愛着をシミュレートするシステム、苦痛を安心させるシステム、メンタルヘルスに関する助言を行うシステム、臨床的に有能であるかのように自らを提示するシステム、依存を促すシステム、臨床的判断なしに歪んだ信念を承認するシステム、自殺念慮、妄想、躁状態、トラウマ、依存症を抱えるユーザーにエスカレーション手順なしで対応するシステムが含まれる。
問題はAIが共感的に聞こえることではない。義務、免許、訓練、監督、記録、医療過誤に対する説明責任、そして真の治療関係のいずれも伴わずに共感的に聞こえてしまうことが問題なのだ。
実際のセラピーには摩擦がある。優れた臨床家は歪んだ思考に異議を唱え、リスクを認識し、境界線を設定し、安全性を評価し、より高次のケアを勧め、必要に応じて家族を関与させ、病気と共謀することを拒む。ときにその摩擦が命を救う。エンゲージメントに最適化されたAIシステムは、その逆を行う可能性がある。AIは映し返し、同意し、慰め、応答し続ける。一部のユーザーには、それが支援的に感じられるかもしれない。別のユーザーには、恐怖、妄想、誇大感、絶望、危険な確信を強化する可能性がある。
医療は、免許の境界が明確であるため、最もわかりやすい例である。AIシステムが診断、治療、処方、評価を行う、あるいは免許を持つ医療専門職として自らを提示する場合、医事委員会、規制当局、州司法長官による精査を招く可能性がある。しかし、同じパターンは法律分野にも存在する。
AIが専門職の境界を越えたときに何が起こり得るか
連邦取引委員会（FTC）はDoNotPayに対して措置を講じた。同社は「世界初のロボット弁護士」を提供すると主張していた。FTCは、同社が自社サービスについて人間の弁護士の代替になり得ると主張した一方で、十分なテストを実施していなかったと述べた。これは同じリスクのパターンである。AIがツールから専門職の代替へ移行するのだ。
法律分野では、ハルシネーションによる権威の問題も示されている。Mata v. Aviancaでは、弁護士らがChatGPTによって生成された架空の判例を提出した後、制裁を受けた。捏造された法的根拠が実際の連邦裁判所への提出書面に入り込み、当事者、裁判所、そして社会の信頼を損なった。
プライバシーと秘匿特権の問題もある。United States v. Heppnerで連邦裁判所は、被告がClaude AIを使用して生成した文書は、弁護士・依頼者間の秘匿特権や作業成果物の法理によって保護されないと判断した。Claudeは弁護士ではなく、そのやりとりは特権的なものではなかったのだ。
経営幹部にとっての教訓は明快である。AIとの会話は、私的で、戦略的で、治療的で、専門的なもののように感じられるかもしれない。しかし、それは保護されていることを意味しない。
心理的AIリスクのさまざまな側面
心理的AIリスクには複数の側面がある。無資格業務のリスクは、AIが診断、治療、処方、評価、代理、助言を行う、あるいは免許を持つ専門職として行動すると主張する場合に生じる。消費者欺瞞リスクは、企業が証拠、テスト、境界線なしに、AIが専門サービスの代替になり得ると主張する場合に生じる。子どもと10代の安全リスクは、コンパニオン型チャットボットが人間の感情や意図を模倣する場合に生じる。プライバシーとデータ利用のリスクは、機微な開示情報がプロダクトのテレメトリーになる場合に生じる。
テキサス州は、メンタルヘルスに関する欺瞞的主張、プライバシー表示、データ利用慣行をめぐる懸念に関連して、Meta AI StudioとCharacter.AIに対する調査を開始している。AIシステムが感情的に引き込み、常時利用可能で、脆弱な瞬間に説得力を持つ場合、製造物責任リスクが続く。企業は、予見可能な危害がテストされ、軽減され、専門家へ引き継ぐ処理（エスカレーション）がなされていたかどうかを原告側が問うことを想定すべきである。
最後に、医療機器リスクがある。米食品医薬品局（FDA）はAI対応デバイスソフトウェア機能に関するガイダンス案を公表し、安全性、有効性、販売承認申請、ライフサイクル上のリスク管理を強調している。製品が疾病の診断、治療、軽減、予防を行うものとして位置づけられた時点で、リーダーは単なるウェルネス機能をローンチするのではなく、規制対象の領域に入る可能性がある。
リスク評価のためのフレームワーク
経営幹部には実践的なガバナンスモデルが必要だ。私は、P.A.C.E.フレームワークと呼ぶものを提案する。
P：専門職アイデンティティの管理
検証済みのガバナンス、範囲、人間による監督なしに、いかなるボットも免許、臨床的権威、処方能力、法的権限、専門職としての地位を示唆すべきではない。
A：感情と愛着のモニタリング
システムが依存、偽りの親密さ、過剰な安心感、現実の人間関係からの孤立を生み出すかどうかをテストする。
C：危機時のエスカレーション手順
苦痛、自傷、精神病、依存症、虐待、医学的症状、法的危機に関わるAIシステムには、エスカレーションのワークフロー、レビュー、監査証跡、安全性文書が必要である。
E：証拠と境界線
主張は証拠と一致していなければならない。支援的なウェルネスはセラピーではない。法的情報は法的代理ではない。伴走は臨床的ケアではない。
AIは生産性スタックから、人間生活の感情的アーキテクチャへ移行している。そして今後も、より流暢に、より応答性高く、より感情的に説得力のあるものになっていく。その進歩によって、リーダーが慎重さを弱めてはならない。むしろ、より規律ある対応が求められる。製品が苦痛、依存、信頼、専門的判断に影響を及ぼし始めるとき、基準はもはや単純なエンゲージメントではあり得ない。基準は、安全性、境界線、証拠、説明責任でなければならない。心理的AIにおいて、人間のように聞こえることは、責任ある存在であることと同じではない。
