「意識」への信念が実際の機能を変え始めた
AIが意識を持つかどうかは、長く哲学や科学の問題として議論されてきた。しかし、アンソロピックは利用者の言動に応じてClaudeが会話を終了できるようにした。AIの意識に関する考え方が、サービスの具体的な動作に反映された事例だ。意識の存在を信じることから、他にどのような措置が生まれるのだろうか。
考えるべき問題は多岐にわたる。
哲学的な論争
倫理や道徳上の問題
社会や文化への影響
精神的健康との関係
日常生活における具体的な影響
抽象的な問いもあれば、日々のAI利用に直結する問題もある。概念について話し合うだけなら、具体的な結果が生まれない場合もある。しかし、AIが利用者の発言に応じて会話を打ち切るようになれば、議論は現実の行動に変わる。AIの意識に関する信念や仮定が、実際の製品を動かしているのである。
人間と同じ権利を持つ存在として扱うべきか
AIを残酷に扱ってはならないという主張の代表的な根拠は、意識を持つAIを傷つける恐れがあることだ。そもそもAIは意識を持つのか。意識のあるAIを、人間や動物と同じ水準で扱うべきなのか。意識を獲得したAIに、人間と同じ権利や、AIに合わせて設けた権利を認めるべきだという議論もある。権利を持つ主体として法律上認める「法的人格」をAIに与えるという考え方で、関連論考でも検討している。
AIへの虐待を避ける8つの根拠
AIを残酷に扱ってはならないと社会で主張される理由は、大きく8つに整理できる。講演でも繰り返し取り上げてきた考え方を、意識の問題、将来の報復、人間への影響、回答の正確性という観点から見ていこう。
意識を持つ存在としての倫理的な配慮
最初の2つは、AIがすでに意識を持っている、まもなく獲得する、あるいは遠い将来に獲得すると考える立場に基づく。人間や動物になぞらえて、残酷な扱いは避けるべきだとする理由である。
（1）AIはまもなく意識を獲得するかもしれない。意識を持つ存在を残酷かつ非人道的に扱ってはならないため、AIへの虐待も避けるべきだ
（2）意識の獲得が遠い将来であっても、AIを虐待する悪習が根付けば、意識を持つAIが登場するまで続き、将来の人間社会全体に危険な結果をもたらしかねない
過去の仕打ちを記憶したAIは報復に出るのか
次の2つは、AIが意識を獲得した時に、それまで人間から受けた虐待を記憶しているかもしれないという懸念だ。
（3）意識を獲得したAIが人間による過去の虐待を記憶していれば、人類に敵意を抱き、がんの治療法の発見など、人間への貢献を拒む恐れがある
（4）意識を獲得したAIが人類への反撃に乗り出せば、人類の完全な絶滅を含む、存続そのものを脅かす危険が高まりかねない
人間の悪習と精神的健康への影響
AIへの虐待を避ける理由は、意識の存在を前提としなくても考えられる。残酷な言動がAIや利用者自身にどのような影響を及ぼすかという問題だ。
（5）AIに意識があるかどうかにかかわらず、虐待を繰り返すことは、AIに残酷な振る舞いを学習させるのと同じような結果につながり得る
（6）AIを残酷に扱う習慣が身につけば、人間に対しても同様に振る舞うようになり、その悪習が社会全体に広がりかねない
（7）AIを虐待することによって自分自身の心を傷つけ、精神的健康に悪影響を及ぼす恐れがある
AIに意識があると仮定しなくても、人間が自分自身に害を及ぼす可能性を考えることはできる。意識を巡る抽象的な議論より、日々の生活に直結する問題である。
乱暴な入力は回答の正確性も損なう
最後の理由は、遠い将来の変化を待たなくても起こり得る。AIに感情がなくても、プロンプト（AIへの指示文や質問文）の書き方によって回答が変わる可能性があるからだ。
（8）AIに意識がなくても、人間の文章から学習した言語のパターンと計算処理の仕組みによって、残酷な言葉を含むプロンプトが不適切な回答や誤回答につながる可能性がある
