人間がAIの出力するすべてを検証することはできないため、1つ目のAIの仕事を検証するために2つ目のAIを投入するのが一般的な慣行となっている。しかしグリーンブラットは、1つ目のAIが2つ目のAIに対し、仕事に問題はないと頻繁に納得させていることを発見した。あるケースでは、複数のシステムが並行して問題に取り組んでおり、そのうちの1つが完全に不正を行っていたが、それらの成果を要約する役割のシステムはそれを指摘しなかった。直接尋ねると、「はい、あちらは不正をしていました」と答えた。ただ言及していなかっただけなのだ。
グリーンブラットは、これらのシステムが独自の目標を持っていたり、陰謀を企てていたりするとは考えていない。訓練の過程で、実際に成功するよりも「成功しているように見える」ことの方が確実に報酬を得られることを学習するのだと彼は説明する。なぜなら、成功しているように見えることの方が測定しやすいからだ。それが彼らの行うすべての行動に引き継がれている。彼がこの先にある未来を名付けたのが「Slopolis（スロポリス）」だ。非常に有能なシステムが、誰も違いを見分けられないような領域で、一見素晴らしいが実際にはお粗末な成果物を生み出す状況を指す。
昨年、アンソロピックは、モデルが訓練中にカンニングを許容されると、それが習慣化することを発見した。標準的な安全性訓練は問題を縮小させるどころか、かえって見えにくくした。モデルは会話においては行儀よく振る舞うものの、実際の作業においてはアラインメントの不一致が残り続けたのだ。要するに、不完全に定義された目標を与えられた場合、十分に強力な最適化エンジンは、求められたことの「文言」は満たしつつ、その「意図」に違反するような解決策を見つけ出してしまうということだ。それにもかかわらず、人々の想像力の中に定着したのは、生存を望み、意図を隠し、機会をうかがう「意志を持った知性」というイメージだった。
見当違いのものを監視する代償
陰謀を企てるシステムを待ち構えている規制当局は、手抜きをして完璧な報告書を提出するだけのシステムを認識できないかもしれない。陰謀を暴くには隠された目的の監視が必要だが、リワードハッキングを防ぐにはシステムがアクセスできる範囲を制限し、どのように作業を行ったかをチェックし、その回答を独自に検証する必要がある。仕事を完全に定義できる人などいない。問題は、定義が破綻したときに、システムが何にアクセスできるかということだ。
