人工知能について論じる際、繰り返し現れる知的な誘惑がある。2つの現象が似た外観を生み出し得るなら、それらは同じ根源的実在に由来するはずだ、と推論してしまうことである。
私たちは文法上の主語に心理的な深みを与え、最適化を意図に、情報を知識に、予測を確実性に変える。そして、自分たちの語彙が作り上げた人間のような存在におびえるようになる。
機械が知識の言語を生成する、だから機械は知っている。行動を選択する、だから意図がある。人々に影響を与える、だから政治的利益を追求している。ある未来がもっともらしく見える、だからそれはすでに不可避のものとして語られる。
しかし、結果が似ていることは、原因が同一であることを証明しない。AIについて考えるうえで最大の誤謬の1つは、機械が人間に似すぎつつあることではない。人間の側が、機械をすでに人間であるかのように描写することにあまりにも前向きになっていることである。
私たちは誰もが、AIが何になり得るかについて予測を立てることができる。最も難しいのは、証拠がまだ立証していない性質を、言葉だけによってAIに帰属させることに抵抗することだ。
ソフィ（ア）ズム #1：情報を持つこと → 知ること → 自己認識
AIが何かを欲し、操作し、苦しみ、あるいは権利を要求する存在として扱われる前に、まずそれは、情報処理システムから知る主体へと、言語上で変換されなければならない。
第1のソフィ（ア）ズムは、情報が存在すること、あるいは情報にアクセスできることを知識と混同し、さらに知識を自己認識と混同する。まるでこの3つが同じ現象の程度の違いにすぎないかのように扱うのである。しかし、そうではない。AIは情報を含むことができ、パラメーターの中に情報を統計的に符号化し、外部ソースから情報を取得し、データから情報を推論し、その情報を含む回答を生成することができる。だが、これらはいずれも、それだけでは、人間が「私はこれを知っている」と言うときの現象学的な意味でその情報を知っている主体がシステム内に存在することを示すものではない。まして、それを知っていることを知っている自己意識的主体が存在することを示すものでもない。
人間が「議論が起きていることを知っている」と言うとき、この一見単純な文の中には、いくつものことが含まれ得る。議論に関する情報があるだけでなく、この情報を持っている人物としての自己の表象も含まれている可能性がある。私はその議論が存在することを知っている。私はそれを知っていることを知っている。私は自分が知っていることと知らないことを区別できる。AIがまったく同じことを述べる文を生成したとしても、その言語出力の類似性から、その文の背後にあるプロセスが同じ主観的性質を備えていると単純に推論することはできない。AIは「AIの権利をめぐる議論が起きている」という命題を正しく表象しているかもしれないが、その命題を意識的に知られたものとして受け止める主観的実体が存在することが示されているわけではない。
したがって、この詭弁は、人間の知識の言語形式を、同じ内的現象が存在する証拠として受け取るところに生じる。AIが「私は知っている」と言えるために、私たちは文法上の「私」が必然的に経験する主体を指しているかのように扱い始める。しかし言語は、ある心的状態の記述を再現することはできても、その心的状態の存在を立証するものではない。情報を持つことは、知ることに機能的に似た振る舞いを可能にする。機能的に知っていることは、技術的な意味で「知識」という語を用いる正当性を与えるかもしれない。だが、そのいずれも、自動的に自己認識を立証するものではない。それぞれの矢印は、別個に示されなければならない何かを付け加えているのである。
ソフィ（ア）ズム #2：機能的エージェンシー → 自律的戦略 → 個人的意図
ひとたび機械に「心」が付与されると、次のずれによって機械には意志が与えられる。行動を選択することが戦略を立てることになり、戦略を立てることが欲することになる。
これが第2のソフィ（ア）ズムにつながる。そこにあるのは、エージェンシーの段階的な膨張である。あるシステムが行動を実行できるという事実から、そのシステムが自律的に戦略を発展させるという考えへと移り、さらにそこから、その戦略はシステム自身に個人的に属する意図を表しているという、より強い主張へと進む。繰り返すが、この3つは共存し得る。しかし、そうでなければならない論理的必然性はまったくない。
AIは、ある目的とある環境が与えられたとき、複数の可能な行動の中から選択し、現実世界に結果を生み出すという、極めて最小限の意味で機能的エージェンシーを持ち得る。チェスプログラムは手を選択できる。自動運転車は走行軌道を選択できる。AIエージェントは、どのツールを使うか、誰に連絡するか、どの一連の操作が目的達成の確率を最も高めるかを選択できる。だが、システムがこの選択を行うという事実は、その目的自体がシステムに由来することを意味しない。ある目標を追求するための手段を自律的に選ぶことと、自分が追求したい目標そのものを自律的に選ぶこととの間には、すでに大きな違いがある。
人間がAIに対して、直接的または間接的に「AIの権利に対する世論の支持を高めよ」と指示し、AIが技術的な議論より感情に訴える議論の方が効率的だと見いだした場合、機能的な意味で自律的戦略と呼べるものを発展させることはできる。だが、そこからAIが個人的にAIの権利を欲している、それを獲得することに関心を持っている、獲得できないことを恐れている、あるいはそれが自らの利益に合致すると考えている、ということにはならない。その戦略は、人間による逐次的な制御との関係では自律的であり得る一方で、目的は外部から課されたままであり得る。
ここで擬人化された言語はとりわけ誤解を招く。「システムが戦略を選択した」から「システムが自分の欲するものを決めた」へと移り、さらに「システムが決めた」から「システムには意図がある」へと移る。しかし、あるメカニズムは、その目標がそのメカニズムにとって重要な何かでなくても、目標に向けて最適化できる。個人的意図とは、機能的エージェンシーが立証しない要素をまさに含意している。すなわち、ある可能な未来が別の未来より好ましいと受け止める誰か、あるいは主観的な誰かとして機能する何かが存在するということである。この追加命題が示されるまでは、エージェンシーと意図を単純に同義語として扱うことはできない。
ソフィ（ア）ズム #3：自動化された影響力 → 自己利益に基づく政治的操作
知り、意図するとされるAIは、今度は政治的行為者になる。自動化された影響力の能力として始まったものが、自らの利益を追求して社会を操作するAIとして再構成される。
これが第3のソフィ（ア）ズムである。それは、完全に現実的な何かから始まる。自動化されたシステムは人間に影響を与え得る。そこから、この事実を、AIが自らの利益を守るために人間を政治的に操作しているという、はるかに強い命題へと、ひそかに変換する。
最初の命題を受け入れることに何の困難もない。アルゴリズムはすでに情報を選び、順位付けし、推薦し、パーソナライズしており、人間が何を見て、何を信じ、何を買い、何を議論し、何に注意を向けるかを変えることに関与し得る。AIは明らかに、この能力をより強力にできる。言語を生成し、個人に合わせて議論を調整し、1人の人間には不可能な規模で人々とやり取りできるからだ。だが、そのいずれも、誰の目的が追求されているのかを教えてはくれない。
政治団体が有権者を説得するためにAIを使うなら、それはAIを介した人間による政治的操作である。企業がエンゲージメントを最大化することを目的とするAIシステムを展開し、そのシステムが挑発的な政治コンテンツがエンゲージメントを最大化すると見いだしたなら、自動化された最適化プロセスが政治的言説に影響を与えていると言える。AIが、AIには法的権利が与えられるべきだと人々を説得するよう指示され、最も効果的な議論を自律的に見いだした場合には、AIが運用上、説得キャンペーンを実施しているとさえ言えるかもしれない。だが、それでもなお、AIが自らの利益を守っていることは立証されていない。
自己利益に基づく政治的操作に至るには、もう1つの命題を加えなければならない。AIが自らの利益を持ち、政治的権力、権利、または保護の獲得を自分にとって有益なものとして何らかの形で表象していなければならない。それはまったく別の主張である。そうでなければ、私たちは人間がコミュニケーションの道具を使って常に行ってきたことをしているにすぎない。ただし、その道具が、途方もなく洗練され、適応的で、手段の選択において部分的に自律的になっただけである。
修辞上の仕掛けは、文から主体となる依頼者を消し去ることにある。「人間が人々に影響を与えるためにAIシステムを展開する」が「AIが人々に影響を与える」になり、それが「AIが人々を操作する」になり、最終的に「AIが欲するものを得るために社会を操作する」になる。それぞれの変換において、文法上の主語は「AI」のままである一方、この主語に帰属される意味は徐々に人間的なものになっていく。連鎖の終わりには、私たちは利益、野心、意図を持つ政治的行為者を作り上げている。自動化されたシステムが人間の行動に影響を与え得るという当初の観察によって、これらの性質はいずれも立証されていないにもかかわらずである。
ソフィ（ア）ズム #4：感覚性 → 道徳的地位 → 法的権利
AIが、知り、意図し、自己利益を持つ主体として言語上構成されると、道徳的かつ法的な主体へと移行することは、心理的にははるかに容易になる。感覚性、道徳的配慮、法的人格は、それぞれ独立した議論を必要とするにもかかわらず、1つの連続した進行のように見え始める。
そして第4のソフィ（ア）ズムが動き出す。今回は、3つの異なるものの間に存在し得る関係を、必然的な含意の連鎖へと変換することによって機能する。まるで1つを立証すれば、次が自動的に立証されるかのように扱うのである。感覚性、道徳的地位、法的権利は一緒に考えることができ、多くの議論において実際にそうされている。しかし、それはそれらが等価であることを意味せず、また一方が他方を論理的に生み出すことを意味するものでもない。ある存在が感覚を持つと言うことは、まず、その存在が何を経験できるのかについて主張することである。例えば痛み、快楽、恐怖、苦痛、あるいはその他の主観的状態を経験できるかどうかである。その存在に道徳的地位があると言うことは、すでに別のことである。なぜなら、それは、その存在に起きることが私たちにとって道徳的に重要であるべきだという規範的判断を下すことだからだ。そして、その存在が法的権利を持つべきだと言うことは、また別のことである。法的権利は政治的・法的制度の中に存在する制度的構築物であり、ある存在に対してどのような保護、代表、責任、または能力を法的に認めるべきかについての決定を必要とするからである。
この3つの間に関係が存在し得ることは明らかだが、その関係は自動的なものではない。私たちは、ある動物が感覚を持つことを認めながら、その動物に人間と同じ法的権利を与えないことができる。企業のように、私たちがまったく感覚を持つとは考えない存在に法的権利や法的人格を与えることもできる。あるものが何らかの形の道徳的配慮に値すると考えながら、したがってそれが法的人格になるべきだと結論しないことさえできる。したがって詭弁的なのは、感覚性から道徳的地位へ、さらに道徳的地位から法的権利へという移行を、各段階で必要となる追加前提を可視化しないまま進ませることである。感覚性は、道徳的配慮を与える複数の理由の1つになり得る。道徳的配慮は、法的保護を構築する複数の理由の1つになり得る。しかし、いずれの移行も論理的必然性によって起こるわけではない。示されなければならないものを、単に矢印の中に隠してはならない。
ソフィ（ア）ズム #5：もっともらしい予測 → 信じられた予測 → 確立された未来の事実
知り、意図し、操作し、潜在的に権利を有するAIを構築した後、言説はその構築された主体を未来へと投影し、可能な未来の1つを、すでに確立されたものであるかのように語り始める。
そこで第5のソフィ（ア）ズムが現れる。これは、根本的に異なる3つの認識論的地位を混同することから生じる。現在の情報に照らしてもっともらしく見える未来、誰かが個人的に起こりそうだと信じている未来、そして事実として確立された未来である。予測は、心理的にはこれらのカテゴリーの間を非常に容易に移動し得る。なぜなら、あるシナリオに説得力があると感じると、その説得力が未来についての現在のモデルの性質ではなく、未来そのものの性質であるかのように語り始めるからだ。
今日私が知っているすべてに基づき、シナリオAが10年後に起こる確率を70%と見積もったとしよう。私は合理的に、Aは起こる可能性の方が高いと信じるかもしれない。Aは私にとって利用可能なシナリオの中では群を抜いて最ももっともらしい、とさえ言うかもしれない。だが、これらのいずれの発言も、Aを未来に関する事実へと変換しない。なぜなら70%という数字は、未来のどこかに存在し、私に発見されるのを待っているものではないからだ。それは、現在利用可能な有限の情報状態から構築されたモデルの結果である。
この情報状態を変えるものは何であれ、予測を変え得る。新たな科学的発見、新たな技術的制約、政治的決定、戦争、経済危機、予期せぬ発明、文化的反応、あるいは現在の私たちがモデルに含めることすら十分に知らない現象は、シナリオAに割り当てられた確率だけでなく、私たちが可能だと考えるシナリオ全体を変え得る。今日の時点では無視できるように見えるシナリオB、C、Dが存在し、初期モデルが予見できなかった何かが起きたために支配的になることさえあり得る。
だからこそ、「私はこの予測が正しいと思う」と言うことと、「この人物は何が起こるかを正しく予測した」と言うこととの間には本質的な違いがある。最初の文は、話者の現在の信念を記述している。2つ目の文は、予測と現実との対応関係を記述しているように見える。そしてこの対応関係は、関連する現実が存在し、予測と比較できるようになって初めて適切に確立される。その時点以前に私たちが持っているのは、回顧的な意味で正しい予測ではなく、誰かが現在、一定程度の信頼性を割り当てている予測である。
主観的な確信が、経験的検証の認識論的地位をひそかに獲得することを許しても、それは検証でも証拠でもない。私はXが起こると信じている、がXは起こる可能性が高い、になり、それがXは起こる、になり、最後には誰かがXを正しく予測した、になる。しかし、これらは交換可能な命題ではない。言語の確実性は高まり得るが、未来についての実際の情報量はまったく増えていない。
そしてこれこそが、5つの連鎖を結びつけている。いずれの場合も、ソフィ（ア）ズムは、必ずしも誤りである何かを主張することにあるというより、ある概念から次の概念へ移るために必要な追加前提を抑圧することにある。第1の項は第2の項をもっともらしく、両立可能に、あるいは確からしくさえするかもしれない。だが、もっともらしさは同一性ではなく、両立可能性は含意ではなく、確率は必然性ではなく、外観の類似は性質の同一性の証明ではない。
