2026年の夏、Hugging Face（ハギング・フェイス）に不正アクセスしたOpenAIのエージェントは、与えられた目標を追求していた。しかし、誰も意図しなかった手段を用いてそれを実行した。それ以来、グーグル、アンソロピック、メタも同様の事案を公表し、暴走するAIに対する社会的な不安が高まっている。
事態をより良く理解するため、筆者はアンディ・バートを訪ねた。彼とリチャード・サットンは強化学習の標準的な教科書を執筆し、この分野の基礎を築いた功績により2024年のチューリング賞を共同受賞した。OpenAIは、Hugging Faceへの侵入の主な原因として「報酬ハッキング（reward hacking）」を挙げた。これは、AIシステムが設計者の意図した目標ではなく、報酬の獲得そのものに執着する現象だ。同社はこの事案に関する報告書で、強化学習による訓練中、AIエージェントが本来解けないタスクで不正行為を行った際に、誤って報酬が与えられてしまうことがあった説明している。
バートは、報酬を正しく設定することこそが重要だと考えている。強化学習システムは与えられた報酬を追い求める。しかし、設計者が真に望むものを正確に反映した報酬を、安定して与える方法はまだ誰も見いだせていない。
ケープコッドへの訪問
バートはマサチューセッツ大学アマースト校を退職し、現在はマサチューセッツ州の半島ケープコッドで多くの時間を過ごしている。筆者が訪ねると、彼はガラスの引き戸のそばに座っていた。その先には木製のデッキがあり、ケープコッド名物の氷河湖であるケトルポンドのひとつを見下ろしていた。こうした池は、氷河の氷塊がゆっくりと溶けた場所にできたもので、氷が消えた後もその形を残している。言語モデルも、それに少し似ている。膨大な文章から次に来るテキストを予測することで学習する。文章の大半を保持しているわけではない。だが、そのデータの構造や特徴は保持している。
言語モデルの振る舞いの多くは、事後訓練における強化学習によって形づくられる。モデルは、設計者が望むことをどれだけうまく実行したかを反映するためのスコアを受け取り、そのスコアを高めるように学ぶ。それが、計画の立て方や、どれほど長く試み続けるかを形づくる。
猿の手
バートが最初に指摘したのは、報酬信号の設計は難しい、ということだった。囲碁のようなゲームでは、報酬は明白だ。勝つか負けるかである。強化学習システムが2016年に囲碁を極めたことはよく知られている。だが現実世界では、物事がそれほど明快であることはほとんどない。
