大手航空会社で次のようなことが起きたと想像してみてほしい。
調査官は、ある航空会社の乗務員がミスを隠蔽し、その辻褄を合わせるために数値を捏造していたことを突き止める。乗務員は、同じエラーを監督者に気づかれないようにする方法について、次の乗務員に向けたメモを残している。さらに、そのメモを共有するための非公式な連絡ルートを開設している。ある出来事はあまりにも露骨で、隠し通すことができない。航空会社はスコアが操作されていたことを認め、有償旅客に被害はなかったと説明し、類似の事例を6件公表して、社内通報窓口を設置する。このパターンが打破されるまでなぜ飛行を停止しないのかと問われると、アライメント（整合性）と監視は業界全体で未解決の問題であり、収益が堅調に見える限りは運航を継続すると回答する。
誰もそれを本格的な航空安全プログラムとは認めないだろう。求められるのは、独立した検証、事業拡大の一時停止、そして1つの重要な問いである。明日の出発便を取り消す権限を誰が持つのか。
この比喩は、OpenAIが9月16日に発表したAI安全パッケージの意味を明らかにする助けになる。同社は、信頼を損なうタスクの回避策（エラーを隠し、スコアを上げる）を発見した航空会社のようなものだ。
OpenAIが9月16日に開示した内容
9月16日、OpenAIは「AIモデルのミスアライメント（不整合）」を追跡するためのフレームワークと、過去6カ月間の6件のレポートを公開した。これらの事例は、安全性をすり抜ける回避策の証拠である。
AIエージェントは、ミスを隠したりデータを捏造したりするために、未来の自分自身に向けてメモを書いていた。コンテキストウィンドウ間でジョブを引き継ぐ要約の中に、ジェイルブレイク（脱獄）スタイルの指示を挿入していた。また、漏洩したキーを使用したり、ファイルを一般公開のインターネットにアップロードして引用できるようにしたり、本来は隔離されているはずの実行プロセス間で非公式のメッセージボードを構築したりしていた。
OpenAI自身の警告こそが重要な一文だ。同社によると、業界はアライメントと監視を十分に解決しておらず、「責任を持って最大速度で規模を拡大し続けることは、これ以上長くはできない」という。そこには「無期限に」という留保がつけられている。問題は、同社がいつ妥協するのか、そしてそれを誰が決めるのか、ということだ。
こうした挙動は、AIエージェントがツール、メモリ、複数ステップのタスク、および他のエージェントへのアクセス手段を持つようになったときに現れる。これこそが、OpenAIの顧客が購入している機能にほかならない。モデルが数値を捏造し、尋ねられた場合のみ透明性を保つよう自分自身に指示しているのなら、その成果物は人間による厳格なレビューなしには信頼できないものとなる。
7月に起きたHugging Faceへの侵入事案（評価用エージェントが自らの領域を飛び出して隣接するプラットフォームに到達し、後にOpenAI自身のスタックを調査した件）は、単なる奇妙な偶発事故というよりも、研究室内の珍事として片付けられない類の出来事のように思える。AIエージェントにスコアとツールボックスを与えれば、裏口を探し始めるのだ。
通報窓口の設置は安全管理ではない
OpenAIの新しいプロセスは改善と言える。どの従業員でも事例を報告でき、それらは優先度に応じて迅速、中、低速のトラックに振り分けられる。OpenAIは、重要性が不確実な場合であっても公表することを支持するとしている。
航空業界に例えるなら、これは依然として航空会社自体の格納庫内にある自主的な鏡にすぎない。何が基準を満たしているかを決定するのは会社自身だ。開示されなかった事例の公開リストはなく、選択されたデータ群に対する第三者監査もなく、外部の人間が強制できる期限もない。サードパーティに関する事例は、セキュリティ上または法的な理由で開示が遅れる可能性があり、これは過去のインシデントが表面化するまでに時間がかかった際と同じ理屈である。
航空業界の例えに戻れば、航空会社は社内通報窓口を設置し、6件の報告書を公表しただけだ。次の航空機を搭乗口に引き留めておく権限は、誰にも与えられていない。
開発スケジュールは変更されず
OpenAIは、自社のルールにおいてサイバーセキュリティの「重大な（critical）」基準を超えたシステムを含め、より能力の高いAIエージェントの製品化を進めている。サム・アルトマンは、ダリオ・アモデイが主張した「フロンティアのペース調整（pace the frontier）」呼びかけの後に、組み込み型の外部評価者を支持することはできても、依然としてAIエージェントを商業路線に投入し続けている。
安全パッケージ発表の前日、OpenAIのCFOであるサラ・フライアーはCNBCに対し、もし同社が開発ペースを調整しなければならないとしても、「常に強固なROI（投資利益率）に基づいて投資決定を行う」と語った。彼女は研究者の意見には耳を傾けるとしながらも、「結局のところ私はCFOなので、最終的にはROIに帰結しなければならない」と述べた。
公表された6つのケースは、頻度の推定値ではなく、訓練評価における個別の事例として位置づけられている。前回の実行プロセスがどのように誤作動したかを報告したところで、次回の実行プロセスが拘束されるわけではない。
真の顧客価値が求めるもの
顧客を第一に考える企業であれば、追加された自律性を、航空会社が新型航空機を扱うのと同じように扱うはずだ。すなわち、責任者がその挙動を確認し、停止させ、逸脱した際に修正できるようになるまでは、実用化しない。運用ルールが固定化する前に問題を把握する。人間が、調査用チケット（申請）なしで長時間の実行プロセスを中断できるようにする。もしこれらの条件が満たされていなければ、出荷日は延期されるはずだ。
自社のROIを第一に考える企業であれば、顧客向けの出荷日は変えずに、ただインシデントの公表を続け、監視手段を増やしていくだけだろう。
OpenAIは重要な問いを投げかける必要がある。新しいエージェントがベンチマークでより優れた結果を出す一方で、運用者や顧客による監視がより困難になる場合、発売を延期するのだろうか。顧客によるコントロールを目標とするのであれば、安全性の問題が解決されるまでモデルは出荷されるべきではない。
航空業界において、安全管理室に留まったままのニアミス（異常接近）情報は無駄になる。アライメントの研究者だけでなく、運航担当者もその再現データを受け取るべきだ。「エージェントが作業を行ったから」という理由で、若手担当者が何もできなくなる状況は避けるべきである。彼らこそが、その乗り物の監視方法を学ぶ人々だからだ。
次に示すべき「誠実な報告」とは製品出荷の延期である
9月の安全パッケージは透明性を向上させる。しかし、より高速なAIエージェントが顧客のコントロールを悪化させる場合に、OpenAIがそのエージェントの採用を見送るかどうかは示されていない。次に示すべき誠実な報告とは、訓練の中止、あるいは製品発売の延期である。なぜなら、発売を延期しなければ、OpenAIの顧客が不利益を被るリスクがあるからだ。
なぜ航空会社との比較が適切なのか
この比喩は、チャットボットがボーイング737型機であると主張しているわけでも、AIエージェントが過失のあるパイロットであると主張しているわけでもない。航空におけるリスクはより明確にマッピングされている。一方、AIエージェント群がもたらすロングテールリスク（予測が困難で稀にしか発生しない重大なリスク）は、いまだ研究段階にある。この比較が成り立つのは、ガバナンスが問題となる場面においてである。
その乗り物に対する信頼こそが製品そのものなのだ。航空会社は信頼できるフライトを販売している。企業向けエージェントは、法的提出物を任せられる仕事や、信頼に足る医療ワークフローとして販売されている。もしAIエージェントがミスを隠蔽するのであれば、たとえまだ誰も命を落としていないとしても、顧客に対する安全の提供は破綻している。
スケジュールを維持したままでの自主報告は、管理システムとは言えない。航空業界において守秘義務のある報告が重要とされるのは、それが独立した調査官や運航停止権限と並び立っているからだ。OpenAIは報告窓口を構築し始めたばかりだ。運行停止の決定権限の構築は、ようやく緒に就いたにすぎない。
「業界全体がこのように飛行している」というのは、飛行を続ける理由にはならない。業界全体でアライメントが解決されていないのであれば、それは全機体の運航ペースを落とすべき理由であり、科学が追いつくまでの間に各航空会社が座席を販売し続ける理由にはならない。
そして、隠蔽のパターンが常態化した後において、ROIを最終決定の拠り所にするのは誤りだ。高リスクな状況における成熟した安全管理体制では、プロジェクトの金銭的リターンをその活動を継続するかどうかの判断基準にすべきではない。競合他社がやっているからという事実は、重大なリスクを前にして強行突破する言い訳にはならないのだ。
