それは、主人公のスプーナー刑事が、交通事故に遭遇したシーンである。その事故により、自分の車と相手の車が河の中に投げ込まれたとき、救助に向かったロボットが、瞬間的に、スプーナーと相手の車に残された少女サラの生存確率を比較判断し、生存確率の高いスプーナーを優先的に救助したため、少女は命を落としてしまう結果になる。
スプーナーは、この事故でのロボットの判断に深い「やり切れなさ」を感じ、それ以来、すべてを数値で判断するロボットや人工知能を嫌悪するようになるのだが、このシーンは、これからの人工知能の発達と普及の中で、我々の社会が直面する倫理的問題を、象徴的に突きつけてくる。
この倫理的問題は、人工知能をめぐる議論の中で、「トロッコ問題」としても、しばしば議論されている。
暴走を始めたトロッコ列車が向かう線路の分岐点の先には、5人の作業員が働いている。もし、この線路の分岐を別な方に切り替えれば、その先には、1人の作業員が働いている。この場面で、人工知能は、5人の命を救うために、線路を切り替え、1人の命を犠牲にするべきかという問題である。
もとより、この問題に対して、人工知能自身が答えを出すことは無い。人間が「最大多数の最大幸福」という功利主義的な思想に基づいてプログラムをすれば、人工知能は、そのプログラムに従って、1人の命を犠牲にすることになる。
冒頭の交通事故の例で言えば、「生存確率の高い人間から優先的に救う」というプログラムをしておけば、スプーナー刑事が救われ、「若く、これからの人生が長い人間を優先的に救う」というプログラムをしておけば、少女サラが救われることになる。
従って、この問題の本質は人工知能の技術の問題ではなく、あくまでも我々人間の倫理的判断の問題であるが、人工知能の出現は、これまでも様々な形で考えられてきた極めて難しい問題を、具体的・現実的な形で、我々人間に判断を求めることになる。
これからの人工知能技術の普及を考えるならば、我々は、いずれ、こうした倫理的難問に関して、判断を下さなければならなくなるだろう。
問題は、その判断の結果、人工知能が生み出した事態に対して、我々が納得できるのか否かであろう。おそらく、我々の多くは、スプーナー刑事のように、人工知能の判断に対して、それが一つの合理的判断であると分かっていても、ある種の「やり切れなさ」を感じることになるのだろう。
