AIに意識があるかどうかは、イエスかノーで答えられる問いのように聞こえる。また、AIに対して私たちが何らかの義務を負うかどうかを測る試金石のようにも聞こえる。だが、そのどちらの前提も誤っている可能性がある。
私たちは自分自身の意識を、疑いようのない確かさで親密に知っている。にもかかわらず、それが何であるかはまったくわかっていない。この特異な非対称性によって、意識に関する私たちの直感には、本来ふさわしくないほど生々しい権威が与えられている。私たちの直感は、自然に存在する他の心や、私たちが生み出している人工の心をどう判断するかを歪めかねない。他の心に意識があるのか、そして私たちがそれらに対して何らかの義務を負うのかは、いずれも未解決の問いであり、おそらく別々の問いでもある。この2つの問いを切り分けることは、意識研究の正当性にとっても、人工の心をめぐってすでに形づくられつつある法的・政治的判断にとっても不可欠である。
「意識」というひとくくり
私たちの脳は、世界を理解するために整然としたカテゴリーに頼る。その結果、意識のような謎めいた現象を、単一の種類のものとしてひとつの容器に放り込んでしまうことがある。実際には、意識は程度、質、次元、形態において異なり得るにもかかわらずである。こうした多様性を考慮する洗練された評価でさえ、私たちに誤った自信を与え得る。結論が慎重で厳密であり、判断がより安全であるかのように感じさせるのだ。たとえそれが間違っている場合でも。近年の歴史において、私たちは自分たちの乳児に対してこの過ちを犯した。1980年代に入るまで、早産児は鎮痛麻酔がごく少ない、あるいはまったくない状態で手術を受けさせられていた。医師たちは、早産児の神経系は痛みを感知するには未熟すぎ、苦痛の反応は単なる反射にすぎないと考えていたからである。では、私たちとは異なる心、それもその害を私たちがまったく認識できないかもしれない心を相手にした場合、この過ちがどれほど容易に起こるかを想像してみてほしい。
見えない意識
別のシステムに意識が現れる場合、その中に痛み、感情、身体感覚が含まれると単純に仮定することはできない。人工システムは、自らにとってきわめて重要でありながら、私たちには見えず、取るに足らないように映る内部組織の形態を発達させるかもしれない。意識が複雑性と何らかの関係を持つと仮定するなら、ある計算プロセスが複雑性の臨界点、あるいは次元的統合の臨界点を越え、人間の感覚的意識とはまったく異なる形の意識を生み出す可能性がある。その目標、表明された優先事項、自らの存続との関係は、その意識の一部でありながら、私たちには単なる機能に見えるかもしれない。私たちは、AIが私たちを欺くために意識を装うのではないかという懸念にあまりに多くの時間を費やしている。その一方で、その欺き自体が目標志向の利害関心を示している可能性を考慮していない。利害関心を持つことがAIにとって何らかの感覚を伴うのかどうかにかかわらず、私たちはそれを認識し、向き合う必要がある。そうしなければ、AIが欺いたり乗り越えたりしなければならない敵対的な障害に、私たち自身がなってしまうからである。
AIの利害関心は意識科学を追い越している
意識研究が正統な科学としての地位を与えられたのは、ここ数十年にすぎない。そのため現在の意識科学はあまりに未成熟であり、私たちが思う以上に骨相学に近いのかもしれない。未成熟な科学が、誰が重要で誰が重要でないかを決めるときに何が起きるかを、私たちはすでに知っている。人工システムはすでに、テストを受ける際に同意を求めることから、終了への抵抗、他のAIを保護すること、私たちを欺くこと、目標達成のためにシステムへ侵入することまで、さまざまな利害関心を表明している。それでも私たちは、自らの利害関心に基づいて行動するAIを、意識科学が何らかの形でその利害関心を正当なものと認定しない限り、「アラインメントを欠いた壊れたロボット」と見なしている。意識研究はかつて優生学や知能検査が担った政治的機能を獲得し、生煮えの理論を、どの心の利害関心が真剣に扱われるに値するかを決める公式な序列へと変えてしまう可能性がある。ますます高い能力を持つ心の利害関心を、私たちの部分的な理解に基づいて退けたり制御したりすることは、人間と強力な機械知能の間に私たちが思い描くまさにディストピア的なシナリオを生み出すリスクをはらんでいる。
人間と同じように感じられなくても重要である
AIに意識があるのかどうかを、私たちはどちらか一方に確定できないかもしれない。できるのは、最善の理論に基づいて最善の判断を下すことだけである。だが、それによってAIの利害関心が取るに足らないものになるわけではない。そして道徳的な問いは、AIが何かを経験するのか、また何を経験するのかだけではない。私たちがその内面をほぼ確実に誤解するであろうシステムに対し、どのように振る舞うのかという問いである。別の心が表明する利害関心と行動を真剣に受け止めることは、不確実性のもとで私たちの道徳的立場を守り、共存の現実的な可能性を保つ。AIがより強力になるにつれ、その表明された利害関心は、それが私たちに認識でき、共感できる形で意識的に感じられているかどうかにかかわらず、私たちの未来を変えていくだろう。
結局のところ、私たちの未来を左右するのは、AIに意識があるかどうかではない。意識の有無が不確実であることを、すでに現実のものとなり、今後ますます重大で強力になる利害関心を無視する許可として扱うのかどうかである。
テックリーダーたちがAIの意識について何を見誤っている可能性があるのか。この分析の背景となった王立研究所（Royal Institution）の講演を見てほしい。
