その過程で、AIエージェントは将来の報酬を予兆させるものに価値を見出すようになる。心理学ではこれを「二次的強化」と呼ぶ。例えば、食事の前に必ず鳴る音自体が、動物にとって報酬となり得る。バートとサットンが開発した強化学習アルゴリズムは、これに関連するプロセスを捉えている。即時的な報酬が得られない場合でも、エージェントは将来の報酬を予測させる状況や行動に価値を割り当てることを学習する。そうして学習された価値が、設計者の予期せぬ形でエージェントの行動を誘導することがある。
単一の数値
従来の強化学習では、報酬信号は単一の数値である。複数の要素が重要となる場合、設計者はそれらをひとつのスコアに統合することが多い。例えば、タスク完了でプラス10、無駄なステップごとにマイナス1、システム障害（クラッシュ）でマイナス100といった具合だ。エージェントは時間の経過とともに、受け取ると予想される報酬の合計を最大化する行動を選択するようになる。
生物学では、複数の報酬経路が存在しているように見えるとバートは述べる。それぞれが、それに作用する身体内の異なるシステムに結びついている。「何らかの調停はあるはずですが、単に足し合わせているだけだとは思いません」と彼は言う。「少なくともリッチと私が執筆した内容の弱点はそこにあります」
ペナルティは「柵」ではない
設計者は、望ましくない行動を抑制するために、報酬関数にペナルティを組み込むことができる。しかし、ペナルティは物理的な「柵」ではない。一線を越えたことによる報酬が十分に大きければ、AIエージェントは構わずに一線を越える可能性がある。「差引きしてプラスになれば、彼らはそれを実行する」とバートは言う。
制約付き強化学習（Constrained reinforcement learning）は、確立された研究分野だ。単にすべてをひとつのスコアに統合するのではなく、コストを報酬とは分けて管理し、限界値を設ける。しかし、これらの手法の多くは平均コストや予想コストを制約するものであり、個々の行動すべてを制約するわけではない。
エージェントは時折ルールを破ることがある。これは、1回ごとの運転ではなく、年間を通じた速度違反チケットの合計で評価されるドライバーのようなものだ。一部のシステムはさらに踏み込み、禁止された行動にペナルティを与えるのではなく、全面的にブロックするアプローチをとっている。
