奖励模型是给 AI 回答打分的裁判：它不直接回答问题，而是对模型给出的回答评出高低，告诉模型哪种回答更值得学。训练时，人类先对同一问题的多个回答排序，奖励模型把这种偏好学下来，之后就能自动给成千上万条回答打分，模型再朝着高分方向调整。
奖励模型靠什么打分
它主要学三样东西：回答有没有真正解决问题、表达是否清晰完整、有没有越过安全边界。成对比较是常见做法：同一问题给两个回答，让标注者选更好的一个，模型从大量这样的选择里归纳出偏好。分数本身没有绝对单位，只有相对高低有意义，换一批标注者、换一套标准，分数倾向也会跟着变。
奖励模型不是最终裁判
奖励模型和最终聊天的模型是两个角色：前者只打分，后者负责回答。打分模型也会犯错，比如偏爱篇幅长、语气肯定的回答，哪怕内容并不准确；或者对某些话题过度谨慎，把正常回答也压低分。所以它更像训练阶段的陪练，而不是上线后每句话的质检员。
三个常见误解
第一，分数高不等于事实对，奖励模型衡量的是“更符合人类偏好”，不是“更符合事实”。第二，奖励模型不是人工审核的替代品，真正敏感的内容仍需额外规则和人工复核。第三，调奖励标准就能立刻改变模型风格是误解，风格变化来自后续训练，单改打分规则不会马上见效。
日常使用中你感受到的很多现象都和它有关：模型回答越来越客气、越来越爱分点说明、遇到敏感问题先拒绝，这些倾向很多都来自奖励模型在训练里反复加分的结果。理解这一点，就能明白为什么有时模型宁可说得保守，也不愿直接给一个干脆的答案。
