不要になった指示を削除する
古い指示は、技術的負債（足かせ）になる。ファン・ラールのサポートボットは、顧客に開示する権利がある情報を拒否してしまった。原因は、かつて誰かが「誤った回答をするリスクを避けるため、顧客をウェブページに案内すること」というルールを書き込んでいたからだ。「このような指示は現在では不要になっており、実際には過剰適合（オーバーフィッティング）を引き起こしている」と彼女は指摘する。モデルは指示に従うように作られているため、その指示を忠実に守りすぎてしまったのだ。
保存してあるプロンプトを見直し、性能の低かった古いモデル向けに書いた「パッチ」を削除しよう。最新のモデルは指示をより真に受けて実行するため、昨年役立った防御策が、現在ではシステムを壊す原因になる可能性がある。「モデルは、実際にはアクセスできる情報をあえて隠してしまうことがある」とファン・ラールは言う。現在も有効な指示だけを残すようにしよう。
「もっと頑張れ」と命じるのではなく、ツールを与える
厳しい指示を与えても、スキルが追加されるわけではない。ファン・ラールのボットは請求金額の計算ミスを繰り返していたが、プロンプトでの対処法は、大文字で「正確に計算すること」と強調するだけだった。「指示によって能力が追加されるわけではない。モデルに『正確に計算することが極めて重要だ』と伝えても、暗算が得意になるわけではない」と彼女は言う。解決策は、電卓を与えることだった。
モデルが何度も間違えるプロセス（数学、検索、あるいは正確性が求められるあらゆる処理）に注目しよう。「注意深く行うように」と言い含めても、結果は変わらない。その仕事をこなせるツールに接続するか、そのプロセスをモデルの外部で実行して結果をフィードバックすることだ。ロボットに激励の言葉は通用しない。
トレードオフの両面を提示する
一方的な指示は、モデルを極端な方向に走らせる。ファン・ラールのボットは、請求エラーを人間の担当者に引き継ごうとしなかった。なぜならプロンプトに「エスカレーションには8ドルのコストがかかり、チームの評価が下がる」とだけ書かれており、そのメリットについては一切触れていなかったからだ。「トレードオフの両面を提示することを忘れてはならない。現在のモデルは、自らそのバランスを判断する能力が向上しているからだ」と彼女は述べる。
モデルに何かを天秤にかけさせるときは、全体像を提示しよう。コストとメリット、行動するリスクと何もしないリスクを明記する。片側の意見しか聞かされていないモデルは、常にその側に有利になるよう最適化を行ってしまう。意思決定に必要な情報をすべて信頼して委ねよう。
