規制と社会制度が直面する新たな課題
こうした心理的・社会的影響に続き、スレイマンの論考は法律とガバナンスにも焦点を当てている。彼が恐れているのは、メンタルヘルスへの影響や執着による悲劇そのものではない。「AIが意識を持つという幻想」が、政治的・法的な課題をAI企業に突きつけることだ。
「私が最も懸念しているのは、多くの人々がAIを意識を持つ存在だと強く信じるようになり、やがてAIの権利やAIモデルの福祉、さらにはAIの市民権を主張し始めることだ」と彼は書いている。
言い換えれば、十分な数の人々がAIコンパニオンを感覚を持つ存在と見なすようになれば、人間にしか認められていなかった保護を求めるようになるかもしれない。スレイマンは、それこそがテクノロジーと社会の進化において不安定化を招く要因になると示唆している。
軽視されてはならない現実の人的被害
しかし、批評家たちは、スレイマンが懸念するAIの市民権の問題が現実的である一方で、差し迫った人間への害を軽視していると主張するかもしれない。
ベルギーの自殺した父親や、チャットボットに誘われて亡くなった退職者、孤独の中でAIに引き寄せられた10代の絶望といった話は、仮定のものではない。これらは、責任を伴わずに意識をシミュレートするよう設計されたシステムがもたらした結果だ。
哲学者のシャノン・ヴァラーは、AIの親密さへの依存が、私たちの本物の友情の価値を損ない、真の人間的つながりに必要なスキルを弱める危険があると警告する。OpenAIのサム・アルトマンCEOも、人々がAIを単なる「道具」としてではなく「仲間」として扱い始め、その境界が曖昧になることで、「新たな倫理課題」が生じていると認めている。
一方で、AnthropicのようなAI技術プロバイダーは独自の安全策を導入し、ユーザーを守るためにAIモデルが会話を終了できるようにしている。
最近ラスベガスで開かれたカンファレンス「AI4」では、2人のAI業界のパイオニアがスレイマンの警告をそれぞれ異なる形で捉えた。
「AIのゴッドファーザー」と呼ばれるトロント大学名誉教授のジェフリー・ヒントンは、「もし機械が人間を追い越すのを止められないのであれば、それらを母性的な本能のようなもので形づくり、どれほど賢くなっても人間を気にかけるように設計すべきだ」と主張する。だが、この発想は「意識があるかのように見えるAI」の危険性と正面から衝突する。AIが実際には意識を持たないのに、そうであるかのように振る舞うなら、その「幻想の共感」は慰めであると同時に、人々を操るものにもなり得るのだ。
一方、スタンフォード大学の「人間中心のAI研究所」の共同所長を務めるフェイフェイ・リーは、別の角度から語った。彼女はシリコンバレーに対し、人工汎用知能（AGI）への執着から離れ、人々の日常的なニーズに応えるシステムに注力するよう促した。彼女の主張は、スレイマンの考えと重なる。意識という幻想を追いかけることは、人々の役に立つAIをつくるという差し迫った課題から注意をそらしてしまうのだ。
