危険は機械の価値観が間違っていることではない。危険は私たちがそれらを中立だと誤解することだ。
これらのモデル内のガバナンス設定、ガードレール、デフォルト、そして厳選された境界は静かに人間の意思決定の憲法になりつつある。それらは人々が質問をする方法、リスクを解釈する方法、紛争を理解する方法、そして選択を評価する方法を形作る。それらは何が考慮するのに安全に感じ、何が安全でないと感じるかを形作る。それらはシステムが言うことを拒否するだけでなく、ユーザーが尋ねないことを学ぶことも形作る。
そしてそれが起こると、その効果はインターフェースを超えて波及する。企業は市場が必要とすることよりもモデルが報いることの周りに彼らの戦略を向け始めるだろう。機関はモデル仲介の決定をあたかもそれらが客観的であるかのように頼りにするだろう。文化的規範はモデルが合理的と枠付けするものに向かって曲がるだろう。そして個人は、決して意図せずに、彼らの内面生活を機械の道徳的文法を通してフィルタリングし始めるだろう。
これは何らかの思索的ディストピアではない。それは今、静かな増えている、インターフェースの磨かれた便利さの背後で起こっている。私たちはその変化を感じない。なぜなら、それは期待、本能、そして仮定のレベルで、認知的な地殻変動のドリフトに相当するものとして起こるからだ。
歴史の中で最も深遠な変革は、自分自身を告知することはない。それらは全社会が他の誰かの語彙で考え始め、他の誰かの境界で想像し、他の誰かの定義で判断し始めるときに起こる。そしてそれがこの瞬間をとても不安定にするものだ。私たちの未来を形作る価値観は公共広場で議論されたり、議会で投票されたりしていない。それらはモデルの重みにエンコードされ、アライメントミーティングで調整され、アップデートで実装され、その起源を調べることなく答えを受け入れることがかつてないほど熱心な世界に展開されている。
問題はもはやAIが道徳的推論に影響を与えるかどうかではない。問題は私たちがそれが消えたことに気づく前に、どれだけの倫理的推論を外部委託するかだ。
不快な予測：ChatGPTは道徳的推論の外部委託の触媒
簡単な恐怖は機械が意識を持つようになることだ。本当の恐怖、正直で静かなものは、人間が意識的であることを気にしなくなることだ。
私たちはすでにこの瞬間のリハーサルをしてきた。少しずつ、ほとんど気づかないうちに、私たちは最も古代の人間の能力のいくつかを機械に外部委託した。
