彼らに「報酬」を支払う必要がある
氷河湖ケトルポンドが影に沈み始め、筆者はバート宅を辞す準備をした。報酬関数を正しく設定することは解決可能な問題かと尋ねると、バートは可能であり、それこそが学習システムにおける中心課題だと答えた。彼は報酬関数が階層構造を持つようになると予想しており、最上位の目標と作業を担うAIエージェントの目標は一致しない可能性があるという。
企業も同じ仕組みだ。企業の目標は利益追求だが、従業員は給料のために働く。企業の役割は、給料を得ようとする人々の行動が結果的に企業の利益につながるよう、報酬を設定することだ。AIエージェントも変わらない。「彼らにも何らかの『報酬』を支払う必要があるのだ」と彼は語った。


