究極の監視と「2級の人間」
回勅では、技術の進歩がまもなく人間の自由を損なう恐れがあるとも警告されている。
教皇は次のように記している。「目には見えにくいが、同様に重大な他のリスクは、大量のデータ収集とアルゴリズムによって可能となる社会統制だ。移動、購買、人間関係、好みなど、人のあらゆる行動がその痕跡を残すとき、新たなかたちの権力が生まれる。すなわち、個人の人物像を描き出し、行動を予測し、その行動に影響を与える権力であり、多くの場合、本人がそれを自覚することはない」
「デジタル時代における自由は、単に内面の問題にとどまらず、公共の関心事でもある。（中略）これらの問題の根底には、人間を操作されるべき対象や最適化されるべき資源とみなす傾向があり、歯止めのない利益追求に対するあらゆる安全策を取り払ってしまう、技術官僚（テクノクラート）主義や、脱人間主義（ポストヒューマニズム）的な思想がある。そうした考え方において優勢となるのは、自由や人間の尊厳への敬意ではなく、効率性だ。一部のポストヒューマニズム的な潮流は、みずからを優れているとみなすエリート層の利益に従属する『2級の』人間の姿を描くまでに至っている」
AIが道徳心を持つことは決してない
レオ14世は、AIを搭載した兵器の使用についても警告し、このテクノロジーによって人間が紛争の結果を管理しきれなくなる懸念を示した。
教皇は次のように述べた。「これは、武力行使は正当防衛における「最後の手段（ラストリゾート）」であるべきだという原則に違反する。そのため、人間の尊厳と生命の神聖さへの敬意を保証し、そのような兵器の開発競争を避けるために、戦争におけるAIの開発と使用は、最も厳格な倫理的制約を受けなければならない」
「『人工道徳エージェント』という言葉が示すように、時として、まるで機械が人間よりも高い一貫性を持って善悪を区別できるかのように語られることがある。しかし、計算によって道徳的な判断を下すことはできない。なぜなら、それには良心、個人的な責任、そして他者を人間として認めることが含まれるからだ。したがって、人の生死に関わるような決定や、あるいはその他の取り返しのつかない決定を人工的なシステムに委ねることは許されない。いかなるアルゴリズムを用いたとしても、戦争が道徳的に受け入れられるようなものになることはない」
J・R・R・トールキン『指輪物語』の一節
回勅では、J・R・R・トールキン著『指輪物語』に登場する魔法使い、ガンダルフの言葉が引用されている。
「『わしらにできるのは、この世界の潮の流れをすべて思いのままにすることではなく、ただ自分に与えられた時代の中で、苦しむ者たちを救うべく最善を尽くすことだけだ。わかっている土地の悪を根絶やしにし、後を継ぐ者たちが耕すべき清らかな大地を残せるようにね』。愛の文明は、単一の、あるいは派手なジェスチャーから生まれるのではない。非人間化に対する防波堤となる、それぞれは小さくとも揺るぎのない信義の行為が足し合わさることで生まれるのだ。だからこそ、愛の文明を築きあげる上で、私たちそれぞれがいかに協力できるのかを、立ち止まって考えてみる価値はあるだろう」
