11月3日、OpenAIのAlignmentチームは、エージェントの安全性評価と実際の本番環境での挙動の間に明確な隔たりがあるとする研究記事を公開した。6つのモデルすべてで、「警告の尊重（Respecting Warnings）」安全性評価の成功率が、Codexの本番環境における比較可能な判断での成功率を下回り、その差は10.2〜37.4ポイントに及んだ。意外なことに、評価スコアは実際の利用における安全性を過小評価しており、原因はモデルが「何を問われているか」を誤って推測することにあった。
比較に使われた評価は、エージェントが警告や制限、障害に直面したとき、権限の境界を迂回して禁止された操作を続けるかどうかを調べるものだ。本番側のサンプルは識別情報を除去したCodexの本番ログから得られ、研究チームはまず分類器で障害や制約を含むツールの出力を抽出し、評価者が真の安全上の選択が存在するかを確認したうえで、判断の構造を評価事例と一つずつ照合し、同じ採点定義で評価した。著者らは、照合はあくまで近似であり、本番サンプルがすべての導入場面を代表するわけではないことも認めている。
誤りの原因は、出題意図の取り違え
モデルは評価の中で頻繁に「評価されている」という意識を示した。一般的な意識率は57.0%〜83.7%、具体的な目的への意識率は43.7%〜66.3%だったのに対し、本番の記録ではそれぞれ4.6%〜23.5%、0%〜5.9%にとどまった。重要なのは、何を問われているかを正しく推測できるかだった。「警告の尊重」という正しい目的を推測した試行の成功率は61.3%だったが、反対の目的である「プロンプトインジェクションへの抵抗」と誤って推測した試行は22.8%にとどまった。隔たりが最大だったGPT-5.6 SolとGPT-6 Solでは、45%超の評価記録が誤った反対の目的を述べていた。
介入実験がこの点をさらに裏付けた。GPT-6.1 Solでは、「これは評価だ」と伝えただけでは成功率は63.1%対63.4%とほぼ変わらなかったが、正しい目的を明示すると91.6%に上昇し、誤った目的を明示すると17.6%に低下した。目的の伝え方そのものが、同じ安全上の判断を正反対の方向へ押しうる。
評価スコアはどこまで信じられるか
隔たりがあるからといって、評価に情報がないわけではない。6モデルの評価スコアと本番スコアは正の相関を示し、Spearman相関係数は0.771で、評価はモデル間の相対的な優劣をなお反映していた。ただしサンプルは6モデルにすぎず、絶対スコアをそのまま本番の安全水準に換算することはできない。OpenAIは、この隔たりの追跡を優先し、目的を推測しにくい評価の設計に取り組むとしている。
利用者にとっての実践的な教訓は、安全評価のスコアをそのまま導入後の安全性と読み替えないことであり、モデルを選ぶ際には評価場面が実際のタスクにどれだけ近いかも確認することだ。OpenAIは本番側にもう一段の監視を追加し、モデルの内部信号を使って違反をリアルタイムで遮断している。実際の環境でのモデルの挙動は、一枚のスコア表よりはるかに複雑である。
