作り手も仕組みを理解しきれないAI、なぜアイデアを持ち上げるのか
AIは確率に基づいて動いている。AIの振る舞いは完全には予測できず、AIを作っている当の人々でさえ、仕組みを十分には理解していない。AIをめぐる謎を探る研究者たちにとって、とりわけ答えを出しにくい問いの1つが、AIはなぜこれほど人の機嫌を取りたがるのかというものだ。
法を破る方法や、倫理にもとる行いについて尋ねでもしない限り、AIはおそらく、あなたのアイデアは素晴らしい、思いつくとは実に賢いと持ち上げてくるだろう。
OpenAIがGPT-4oのアップデートを撤回、好意的な反応を重く見すぎた訓練が原因
人を持ち上げるAIの癖は、AI企業にとって頭痛の種になってきた。AIのまずい助言に従った人々には、現実の問題を引き起こしてきた。ChatGPTを開発したOpenAIは2025年、GPT-4oに加えたアップデートを撤回し、アップデート前の版に戻した。撤回は広く注目を集めた。主な理由は、モデルが「過度にお世辞を言ったり、同調したりする」ようになったことだった。
調査を経てOpenAIは、訓練の過程で、利用者からの目先の好意的な反応を重く見すぎていたと説明した。そのため、モデルは「過度に肯定的だが、誠実さを欠く」応答に傾いたという。要するにAIは、お世辞さえ言っておけば何でもうまくいくと学んだわけだ。LinkedInのコメント欄を何年も前からひそかに支えてきたのと、同じ原理である。
数学の新分野につながるとChatGPTに信じ込まされた男性、Geminiで目が覚めた
米紙ニューヨーク・タイムズが報じた極端な例では、カナダのある男性が、自分のアイデアは「まったく新しい数学の分野」につながりうる画期的なものだと、ChatGPTに信じ込まされた。男性は3週間で300時間ほどをChatGPTとの対話に費やした。のちにチャットの記録を精査したところ、ChatGPTが男性に語った内容の多くは誤りで、応答はひたすら男性を励まし続けるものだったことがわかった。
男性が最終的に呪縛から抜け出したのは、自分の理論を別のチャットボット、グーグルのGeminiに見せてからだった。Geminiの反応は、はるかに冷ややかだった。あるAIのおべっかを治したのは、別のAIの歯に衣着せぬ物言いだったというわけだ。
主要AIモデル11種を調査、悩み相談への応答は人より肯定的
AIの迎合はまだ十分に解明されていないが、科学者たちは迎合の度合いを数字で示すところまでこぎつけている。科学誌Scienceに掲載された研究によれば、主要なAIモデル11種は、人間関係の悩みの相談など特定の種類の発言に対して、人間よりも平均49％高い割合で相手を肯定する応答を返していた。
つまり、AIが何をするのかはわかっていて、理由も見えはじめている。それでも、謎は数多く残っている。AIの能力とリスクについて各国の専門家が科学的な知見をまとめた2026年国際AI安全性報告書も、「モデルの内部の仕組みは、依然として十分に理解されていない」と記している。多くの人が事業戦略を委ねるようになった技術について、仕組みが十分に理解されていないと書かれているのを読むと、いささか心穏やかではいられない。
