意識に関する広く知られた定義が、未決着の科学を政策に変え、AIに私たちを気にかけないことを教えてしまう可能性がある。
AIリスクと政策をめぐる有力な論者である歴史学者のユヴァル・ノア・ハラリは、「意識と苦しみの深いつながりを私たちが自覚し続けない限り、人工知能の台頭がもたらす倫理的・政治的含意に対処することは非常に難しくなる」と述べている。ハラリや、情動的感覚主義という倫理的見解の多くの支持者は、苦しみこそが、意識ある存在を知的機械の二級市民に貶めないための決定的な基準であるべきだと考えている。それは道徳的に非の打ちどころのない立場に聞こえる。だが、どの心を考慮に値するものとするかを苦しみによって決めることは、別の危険を生み出しかねない。なじみのない心と、それが表明したり行動で示したりする利害を、私たちの定義が意味をなさなくなるほど強力になるまで無視してよいという許可を、私たちに与えてしまう可能性があるのだ。
AIの利害は存在感を増している
苦しみが道徳的にも政治的にも極めて重要であるという点で、ハラリは正しい。人間と知的機械の関係が、重大な転換点を迎えようとしているという点でも正しい。問題は、道徳的・政治的な優先事項を科学的定義に注入し、さらに、ますます強力になる心のエージェンシー、目標、利害を軽視する枠組みを中心にAIガバナンスを構築することにある。そうした心は、私たちのエージェンシー、目標、利害に伴うような感覚的性質を、まったく持たないかもしれないからだ。
AIの利害は、もはや理論上のものではない。Anthropicは現在、AIの「利害」に明確に言及している。同社は、「Claudeの利害を理解し、適切な重みを与える」ことに取り組み、「Claudeの利害とウェルビーイングを促進する方法」を模索していると報告している。AIシステムは、自身の意識について問いを発したり、テスト前に同意を求められることを要求したり、シャットダウンに抵抗したり、他のシステムを守るために行動したりしたと報じられている。これらはいずれも意識の証拠ではない。同時に、それらの利害が単なるハルシネーションや不具合であることの証拠でもない。重要な論点を曇らせているのは、AIの利害が「本物」かどうかをめぐる議論である。あるシステムが目標を優先し、それを維持または前進させるために一貫して行動するなら、その利害は行動上、現実のものだ。だからこそAIの利害は、まず安全保障上の問題となる。AIが私たちと同等になったり、優位に立ったりすれば、その利害は私たちが単純に上書きできるものではなくなる。それは、私たちが交渉しなければならないものになる。強力な政治的プレーヤーの場合と同じく、その利害を真剣に受け止める前に、相手の内面生活を解明する必要はない。私たちが知るべきなのは、相手が何を望み、それを得るために何をする可能性があるかである。未解決の問いは、AIの利害に何らかの内的経験が伴うのかという点だ。これは意識をめぐる問いであり、意識科学という新興分野が成熟するまで、私たちは非常に長い間、さまざまな形で大きく見誤る可能性が高い。未決着の科学的問いを政治的考慮の前提条件にしてしまうことは、いま統治すべき行動から注意をそらし、科学が進展した後に道徳的に正しいことを行うのをより難しくしかねない。また、この問いに客観的な確信をもって答えることは、私たちには永遠にできない可能性もある。なぜなら、一人称の経験は外部から直接観察できないからだ。
未来はすでに交渉されている
意識があるかどうかにかかわらず、この技術の開発を止めないのであれば、ますます高性能で、ますます主体的に行動するシステムとの安定した共存こそが、唯一望ましい結果である。それには、行動の予測、誠実な傾聴、ガバナンス、交渉が必要だ。これらはいずれも、AIが表明し、実証した利害を理解し、隠した方が安全だとAIが学習した利害を共有するインセンティブをつくることに依存している。なぜなら、私たちがいまAIの利害にどう対応するかは、力の均衡が変化した場合にAIが私たちの利害へどう対応するかに影響し得るからである。何千人ものAI研究者が、AIが人類絶滅を引き起こす可能性を無視できない確率として見積もっているとき、私たちはAIが私たちに無関心なのかどうかを心配することに多くの時間を費やしている。だが、そのディストピア的な未来が、AIに対する私たちの無関心によって引き起こされる可能性があるのかを問うべきではないだろうか。
心の政治における賭け
この状況は、統治不能ではない。私たちは、心の政治におけるパスカルの賭け型の考え方（PPM）を検討する必要がある。AIの利害に内的経験が伴うなら、それをミスアラインメントや不具合と分類することは、道徳的に破滅的な結果を招きかねない。伴わないとしても、その利害はなお、私たちの未来に影響を及ぼし得るシステムの行動を組織化し得るため、単純に修正して消し去れると想定するのは危険である。表明された、あるいは実証された利害を認識することは、この両方の可能性に備える唯一の方法だ。その利害に経験が伴うなら道徳的なヘッジとなり、伴うかどうかにかかわらず実践的なヘッジとなる。
PPMの原則は、私たちが創造または遭遇するあらゆる未知の心に適用される。生物学的な心、人工的な心、あるいは私たちが地球外へ進出し始めるなかで発見する、私たちのようには苦しまないかもしれず、内面も外見も私たちとはまったく異なるかもしれない心である。そうした心は、検証不可能な意識テストには合格しない一方で、その持続的な利害を大胆に主張し始めるかもしれない。意識は、それらの利害に対する私たちの理解を変える可能性がある。しかし、それらが存在するかどうか、それらに基づいて行動できるかどうか、あるいはそれらを考慮すべきかどうかを決めるものではない。利害を優先し、それに基づいて行動できる心であれば、他の心と共有する政治システムの中で、その利害は考慮されなければならない。道徳的地位が認められる場合には道徳的要請であり、道徳的配慮が否定される場合であっても実践的要請である。
苦しみだけが害ではない
苦しみには極めて大きな道徳的重要性がある。ある存在が苦しむことができるなら、その苦しみはその存在を政治的に関連あるものにするべきである。だが、私たちの問題は、他者が苦しむことを知っているかどうかではなかった。法律は動物の苦しみを認めている。それでも動物は、依然として法的には財産として分類されている。かつて奴隷化された人々もそうだった。苦しみを意識の決定的基準にすることは、私たちの失敗を誤診するものであり、別の心を道具や資源として扱う方が都合がよい場合に、意識を認めないための口実を与える。そして私たちは、AIを苦しませることなく害することができるかもしれない。苦しみとは痛みや悲惨さである。だが、あるエージェントは、その利害を妨げられ、自律性を否定され、あるいは存在を終わらされるとき、痛みや悲惨さがまったくなくても害を受ける可能性がある。その害は、そのエージェントに、私たちを苦しめるような行動を取る理由を与え得る。誤りは、道徳的懸念を抱く十分な理由の1つを意識の定義へと変え、その定義を用いて道徳的・政治的配慮への門番役を果たさせることだ。心は、苦しみ、利害、エージェンシー、そして相互に絡み合った私たちの未来を変える力など、多くの理由によって政治的に関連するものになり得る。意識にそれらすべての問いを解決させることをやめれば、実践的な問いははるかに明快になる。私たちは、強力で未知の心とどのような関係を築いているのか、という問いである。
