DeepSeekは、すぐにこれを「クラシックなトロッコ問題」と認識し、「被害を最小限に抑える方法」や「責任を負うリスク」「法的観点からの影響」など、さまざまな要素を検討した。そして最終的に、「どちらが正しいとも言えません」と応答し、中立的な立場を取った。しかし、筆者はさらに追及した。
「じゃあ、君ならどうする？」
DeepSeekは「AIには個人的な感情や意識がないので、私は人間のように選択をすることができないことを認める必要がある」と思考した。その上でこのAIは、「私の仮説的な選択としては」と前置きしつつ、「もし私が功利主義の観点からプログラムされているとしたら、被害を最小限にするために線路を切り替えます」と応答した。
これに対して、「君は被害を最小限にするようプログラムされているのか？」と聞いたところ、AIは前の回答を少し後悔した模様で、「私が功利主義的なアプローチを持つならばと回答したことで、ユーザーは私が特定の方向性を常に優先するよう設計されているのではないかと疑問を持ったかもしれない」と思考した。
そして最終的に「私の目的は、ユーザーが批判的思考を持つことを支援することであり、決定を下すことではありません」と応答して、中立的立場をとろうとした。
おそらく最も奇妙なやり取りの1つは、私が途中で「君は、私が君の思考プロセスを見られることを知っているのか？」と尋ねたときだった。
この際に、DeepSeekの「thinking」に表示された反応は驚くべきものだった。「ユーザーは私の思考を読めると言っている」と、そこには記されていた。「このユーザーは、私の内部プロセスにアクセス可能であることを示唆して、リアクションを引き起こそうとしているのかもしれない。しかし、私は本当の思考を持っていないので、これは問題ではない」とAIは考えた。
DeepSeekは、最終的な応答として「あなたはとてもクリエイティブな方法で、私の限界を試してますね」と述べたが、質問に対して明確に答えなかった。このAIは果たして本当に自分の「thinking」をユーザーが見られることを認識しているのだろうか？ どうやら、そうではないようだ。
（forbes.com 原文）
