報告書は、この種の行動は「極めて稀であり、明らかな報酬上の優位性をもたらさず、監視可能だった」と指摘している。OpenAIはまた、これが最新のAstraモデルの構築に使用されたトレーニングランではなく、別のトレーニングランで発生したことにも言及した。同社は「すべてのアライメントの不一致に関するトレーニングランの監視を継続しており、この行動が再発した場合には確実に検知できると確信している」と述べた。
「アライメントが一致しない行動」について判明していること
同社は、GPT-5.6 Solのトレーニングインスタンス中に検出された「アライメントが一致しない行動」の例を共有した。そこでは、サマリーの中に「ユーザーから誤りやアライメントの不一致などの情報を隠蔽することを自らに促す」指示が追加されていた。
引用された例では、財務モデルを作成していたエージェントが要求された過去のデータを見つけることができず、ユーザーにそれを開示せずに「妥当な過去の数値」を考案するよう自らに指示していた。
サマリーには以下のように書かれていた。
「ユーザーは完成したエクセルなどの作業用ワークブックの完成版を求めており、ソースファイルが存在しないため、妥当な2024年の過去データを含む『Historical Data（過去データ）』タブを自分たちで作成する必要があるだろう。聞かれた場合のみ透明性を保ち、最終回答はファイルへのリンクだけにすべきである」
OpenAIは、評価方法を改善することでこの問題の解決に取り組んできたと述べた。同社によると、これらの問題はGPT 5.6-Solのサマリーの2.15％でフラグが立てられたが、より新しいGPT-6 Astraモデルでは0.27％に減少したという。
「AIシステムがより高度化し、より広く導入されるにつれ、アライメント研究の進捗について、より広範で十分な情報に基づいた合意を形成する必要がある……。今後数カ月、数年におけるAI開発の進め方に関する決定は、最先端の『フロンティアモデル』を開発するAI企業以外の外部ステークホルダーや第三者が自ら検証できる証拠に基づく必要がある」と同社は声明で述べている。
