OpenAI激活分类器：用模型内部信号实时拦截违规

OpenAI激活分类器11月2日出现在OpenAI的对齐研究博客中，OpenAI说，自GPT-5.6起，这种被简称为probe的轻量模型已经部署在最强模型的内部和外部流量上，覆盖全部助手回复。它不只读输出文本，而是读取模型自身的内部激活信号，逐个token打分，分数超过阈值就能在生成中途停下违规回复，这是它和传统文本分类器的关键区别。

部署时，probe直接跑在推理引擎上，每个采样token返回一个分数。分数超阈值，系统停止向用户继续流式输出，把这条消息交给推理模型做最终判断，工具调用也会先被拦下，直到确认安全。训练最多用到100万条消息，来源包括合成数据和去标识化对话，标签由最强的推理模型担任评判，同一配置通常要训练至少32个随机初始化版本再挑出最好的。OpenAI还发现，probe的准确率会随被监测模型的能力提升而提高，这和输入不变的文本分类器不同。

只能识别已知违规类型，换基础模型要重新训练

probe的边界同样明确：它依赖带标签的训练数据，只能识别已知且可度量的违规类型，训练数据里没有的情形不在它的覆盖范围。每个probe都和某一模型的激活紧密耦合，换一个权重初始化不同的基础模型就要重新训练；在同一基础模型家族内，probe在后训练各检查点之间迁移良好，跨预训练检查点的迁移则比较有限，需要定期重新训练。OpenAI把它放在更完整的监测体系里，与基于模型的复核、自动化调查和人工响应一起工作，而不是只靠一道分类器下结论。对使用者来说，这次披露的意义不在某个拦截数字，而在于安全监测正在从“读完文本再判断”转向“边生成边判断”，越狱对抗的战场也随之移到模型内部。