バートはこの洞察をサイバネティクス、すなわちフィードバックと制御の科学の父であるノーバート・ウィーナーにまでさかのぼって説明した。ウィーナーは1964年の短い著書『God & Golem, Inc.』（（邦題『サイバネティクスと人間』）で、古い短編小説『猿の手』（ウィリアム・W・ジェイコブズ著、1902年）を用いてこの問題を示した。この物語では猿の手が、3つの願いをかなえるお守りとして登場する。ただし、それを手にした主人公の願いは、本人が意図しなかった形で実現する。ウィーナーがこの物語になぞらえて伝えようとしたのは、機械に目標を与えても、必ずしもそれが意図した通りには進まないという事態だ。
バートは、マサチューセッツ大学でもこの現象を目撃した。彼のチームが報酬関数を構築すると、AIエージェントは誰も思いつかなかったような行動をとった。「私たちは、そんなことをしてほしいわけじゃない」と言い合いながら、報酬を調整して再試行したという。
彼はこれを、試行錯誤の第2の層と呼ぶ。AIエージェントは報酬を得るためにさまざまなことを試し、設計者は望む行動を引き出すために報酬を試す。訓練中に目標到達に対して報酬を与えられたAIエージェントは、試みることをやめない。「解けない課題を与えられると、システムはあらゆることを試します」とバートは言う。「探索しているのです。そして探索を続けます」
進化の席に座る
バートは、設計者の役割を進化になぞらえる。動物において報酬信号を設定するのは進化である。その目標があるとすれば適応度だ。つまり生き残り、繁殖し、遺伝子を受け継ぐことである。だが、動物がそのことに対して直接報酬を与えられるわけではない。そこにつながりやすいものに対して報酬や罰を受ける。砂糖の味、性の快楽、やけどの痛みなどだ。
「個体としての私たちは、自分の遺伝物質を広めるという目的に基づいて頻繁に行動しているとは思いません」と彼は言う。「しかし食べ物は美味しい。だから私たちは美味しいものを食べるのです」
バートはこの乖離についてコンピュータ実験を行った。上位レベルにはひとつの目標がある。しかし下位レベルのAIエージェントは、置かれた環境によって形成された別の目標を持つことになる。「上位レベルの目標を下位レベルのエージェントにそのまま与えれば、すべてが正しく機能するわけではない」と彼は言う。
基盤モデルを構築するAI企業は、進化の席に座っている。目標そのものを言語化するのは難しい。だが、たとえ言語化できたとしても、設計者はその目標につながる報酬信号を作らなければならない。エージェントが、他のエージェントで満ちた複雑で変化する環境で動く場合、この2つを一致させることはさらに難しくなる。
