OpenAIの活性化分類器：モデルの内部信号で違反をリアルタイムに遮断

OpenAIの活性化分類器は11月2日、OpenAIのアライメント研究ブログに登場した。OpenAIによると、GPT-5.6以降、「probe」と略されるこの軽量モデルは、最も高性能なモデルの内部トラフィックと外部トラフィックの両方に導入され、すべてのアシスタント応答を対象としている。出力テキストだけを読むのではなく、モデル自身の内部活性化信号を読み取り、トークンごとに採点し、スコアがしきい値を超えれば生成の途中で違反する応答を止めることができる。これが従来のテキスト分類器との重要な違いだ。

導入時、probeは推論エンジン上で直接動作し、サンプリングされたトークンごとに1つのスコアを返す。しきい値を超えると、システムはユーザーへのストリーミング出力を止め、そのメッセージを推論モデルに渡して最終判断を仰ぎ、ツール呼び出しも安全が確認されるまで止める。訓練には最大100万件のメッセージが使われ、合成データと識別情報を除去した会話が含まれ、ラベルは最も高性能な推論モデルが判定を担い、1つの設定につき通常少なくとも32通りのランダムな初期化で訓練して最良のものを選ぶ。OpenAIはまた、probeの精度が監視対象モデルの能力向上とともに高まることを確認した。これは入力が変わらないテキスト分類器とは異なる。

既知の違反タイプしか検出できず、基盤モデルの変更には再訓練が必要

probeの境界も明確だ。ラベル付き訓練データに依存し、既知で測定可能な種類の望ましくない活動しか検出できない。訓練データにないケースは対象外である。各probeはあるモデルの活性化と密接に結びついており、重みの初期化が異なる基盤モデルに変えれば再訓練が必要になる。同じ基盤モデルファミリー内では、probeは事後訓練の各チェックポイント間でよく転移するが、事前訓練のチェックポイントをまたぐ転移は限定的で、定期的な再訓練が求められる。OpenAIはprobeを、モデルによる再審査、自動調査、人の対応とともに、より包括的な監視体制の中に置いており、1つの分類器だけで結論を出させてはいない。利用者にとって、今回の公開の意義は特定の遮断数値ではなく、安全監視が「テキストを読み終えてから判断する」から「生成しながら判断する」へ移り、ジェイルブレイクの攻防の場がモデルの内部へ移ったことにある。