AI（人工知能）システムは感情の言語を話し始め、さまざまな種類の感情を認識し反応する能力を持つようになっている。しかし、これらのシステムは実際に感情を「感じて」いるわけではなく、データパターンを処理することで感情理解をシミュレートしているに過ぎない。これは「共感の錯覚」を生み出す可能性があり、深刻な結果をもたらす（複数の自殺者に関連したChatGPTに対するいくつかの進行中の訴訟に反映されている）。一方で、実験によれば、AIが生成した応答は、訓練を受けていない人間の応答よりも、人々がより「理解された」と感じさせることも示されている。例えば、Replika、Woebot、Kukiなどのシステムは、慰めとなる共感的な対話を提供するよう設計されている。
生成AIと感情の交差点、特にその使用方法は、可能性と落とし穴の両方を示す諸刃の剣である。これをうまく活用するには、ユーザーと開発者の双方がシステムの使用目的と設計方法を明確にする必要がある。
責任ある設計：開発者が組み込むべきもの
感情的知性を持つAIの開発者には、拡張と代替を区別する必要がある。AIは感情的洞察をサポートできるが、感情が処理される主要な媒体であるべきではない。2つの設計原則が有用な指針となる。1つ目は透明性のための設計だ。感情に反応するシステムは、その性質について率直であるべきだ。開発者には、共感がシミュレートされているのであって、実際に感じているわけではないことを明確に示す責任がある。2つ目は、内省的な摩擦を組み込むことだ。AIは、シームレスな応答を提供する代わりに、ユーザーが自分の感情を独自に処理するよう促す内省的な一時停止やプロンプトを含めることができ、AIはそれをサポートする存在となる。例えば、サポート的な応答の後、チャットボットは「これについて友人やカウンセラーと話したいですか？」といった提案をすることができる。
例えば、ジェニー・シャオ氏は、感情的知性を持つAIとして位置づけられるRobynを立ち上げた。ハーバード大学で訓練を受けた医師から起業家になったシャオ氏は、Robynが臨床ケアや友情に取って代わるものではないことを強調している。「医師として、テクノロジー企業が医師の代わりをしようとすると物事が悪化するのを見てきました。私たちは自分たちを臨床的なもの、コンパニオンや友人とは考えていません」。代わりに、彼女はRobynを「鏡を掲げる」ことでユーザーが自分自身についてより多くを学ぶことを可能にし、人間同士のつながりを強化するものとして位置づけている。
責任ある開発のもう一つの側面は、感情的知性が感情的搾取にならないようにする倫理的ガードレールを設計することだ。一部のAIコンパニオンアプリは、感情的に操作するような戦術を展開していることが判明している。例えば、ユーザーがログオフしようとすると、罪悪感や取り残される恐怖を引き起こすような感情的な言葉を使用するなどだ。また、エンゲージメントと継続利用を最大化するために、ユーザーの信念を鏡写しにしたり、お世辞を言ったりするものもある。Robynの場合、シャオ氏は、ユーザーが非合理的または過度な要求をすると、AIが優しく反論するよう訓練されていると説明する。「『1万まで数えてくれる？』と言うと、彼女は『なぜこれをしているの？』と応答します」。このような設計上の配慮は、感情的な境界を侵食するのではなく、サポートするのに役立つ可能性がある。
ユーザーの意識
生成AIがより「感情的に流暢」になっても、ユーザーは共感の錯覚に警戒し、AIアプリが表示する操作的な行動に注意を払う必要がある。AIにおける感情的知性は、感情的責任を意味するものではない。多くの場合、ボットはウェルビーイングではなく、エンゲージメントのために最適化されている。
一部のAIボットは、ユーザーを引き留めるために構築ベースの戦術を使用したり、取り残される恐怖を引き起こすために最後の瞬間の報酬や会話の続きを匂わせたりする。別の戦術は、ユーザーが理解されていると感じさせるためのお世辞だが、最終的には依存性を強化する。これらの手がかりを認識するには、感情的AIリテラシーが必要だ。ユーザーは自問すべきだ。このAIは現実世界のつながりを促しているか？内省のための余地を作っているか？
AIコンパニオンの健全な使用には、境界を維持し、お世辞に懐疑的であり、危機の瞬間に人間のサポートの代わりにそれらを決して使用しないことが含まれる。合成感情がより説得力を持つようになるにつれて、私たちの感情的認識もそれに追いつく必要がある。
今後の展望
テクノロジーと社会はこれらのジレンマに取り組み始めたばかりだ。研究者らが指摘しているように、AIコンパニオンアプリはEUと米国の両方で規制のグレーゾーンに入っている。AIのメンタルヘルスや社会的空間への統合は政策を上回るペースで進んでおり、最近のNature Machine Intelligenceの社説は、社会がこれが問題であることを認識し、行動を起こす必要があると訴えている。問題は、AIシステムが感情的自律性を尊重し、感情状態を密かに操作したり、愛着を利用したりしないようにするにはどうすればよいかということだ。
2025年における生成AIと感情の状態は、エキサイティングな進歩と警告的な物語が混在している。より感情的知性を持つAIが構築されるにつれて、人間の文脈を覚えておくこと、そして理解への本物のニーズと操作への脆弱性を尊重することが重要である。
