11月16日、OpenAIは初の組み込み評価(エンベデッド・アセスメント)を開始すると発表した。Apollo Research、METR、Transluce、Goodfireの4つの独立機関と契約し、外部の評価者がOpenAIの社内に入り、研究者とほぼ同じ権限でモデルのアライメントと安全対策が機能しているかを検証する。第三者評価を訓練過程と内部システムの深さまで踏み込ませるのはOpenAIとして初めてで、結果は公開される。
4機関はそれぞれ別の領域を担う。Apollo Researchは、モデルが開発者の意図に反して密かに行動する可能性を検証し、訓練がそうした行動を誘発したか、既存のレッドチームで検出できるかなど4つの主張を2段階で確認する。METRは最も重い役割で、OpenAIとして過去最大規模の強化学習訓練に、既存のテストや監視が見逃した不整合な振る舞いがないかを評価し、監視システムのストレステストももう一度行う。Transluceは訓練後のアライメント評価そのものの質と網羅性を審査し、2027年初には約8週間のフォローアップ評価も予定されている。Goodfireは解釈可能性の研究者を常駐させ、自社プラットフォームでモデルの内部を分析し、訓練実行の監視とデバッグを見守る。
深い権限には相応のルールが付く。機密情報に触れる評価者はOpenAIのオフィス内で、OpenAI支給の端末を使って作業しなければならない。OpenAIの安全・セキュリティ委員会は削除されていない報告書を閲覧でき、評価者は委員会と直接対話できる。意見が対立した場合はまず安全諮問グループと経営層が期限内に解決し、解決しなければ委員会が裁定する。評価者は結論を独自に公表できるが、OpenAIは機密情報を削除する権利を持ち、安全上のリスクがある場合は責任ある開示の遅延を求めることもできる。
重要なのは個別の報告書ではなく、安全に関する主張と独立した検証のあいだの溝を埋めることだ。これまで第三者は公開済みモデルを測るのが主だったが、これからは訓練の現場そのものを見ることができる。限界も同じく明確だ。まだ結果は出ておらず、削除の権限はOpenAIが握っており、評価の深さは最終的に同社がどれだけ開放するかにかかっている。Anthropicも最近、自社の安全プロセスを引き締め、脆弱性の開示期限を90日から30日に短縮した。モデル安全報告書自体が議論を呼ぶこともあり、Gemini 4の安全報告書は物議を醸した。OpenAIによれば、組み込み評価は、安全対策の独立評価に関するホワイトハウス・スーパーインテリジェンス協定での約束を果たすものでもある。