GRPO（Group Relative Policy Optimization，分组相对策略优化）是 DeepSeek 团队在 DeepSeekMath 中提出的强化学习算法，DeepSeek-R1 靠它在没有奖励模型的情况下练出了长推理。它的核心想法很简单：同一道题一次采样一组答案，让答案在组内互相比较定优劣，不再单独训练一个奖励模型来打分。
GRPO 怎么跑：采样、分组、比高低
训练时，模型对同一道题一次生成一组答案，比如 8 到 16 个。每个答案按规则算一个奖励：数学题看最终答案对不对，代码题看测试过没过。然后取这组奖励的平均值当基线，高于平均的答案加分、低于的减分，策略朝着高分答案的方向更新。为了防止模型一次学跑偏，更新幅度会被限制在旧策略附近，偏离太远要扣分。整套流程省掉了一个奖励模型，也省掉了 PPO 里那个估计价值的评论员模型，训练要养的模型更少，显存账自然小一圈。
它和 PPO 的差别在哪
PPO 也靠奖励学，但它需要一个价值模型来估计“当前状态值多少”，再算优势；GRPO 直接用组内平均值代替这个估计。好处是结构简单、省显存、超参数更少，坏处是组内答案全对或全错时，奖励拉不开差距，学习信号直接消失。R1 的训练因此很依赖题目难度分布：太简单的题组内全对，太难的题组内全错，都学不到东西。
两个误解，和它适用的边界
第一个误解是以为 GRPO 不用奖励。GRPO 不用的是“奖励模型”，奖励本身还在，只是改成按规则验证对错。第二个误解是把它当成通用训练法。开放式写作、创意任务没有可靠的自动裁判，奖励定不下来，GRPO 就无从下手。判断一个场景适不适合 GRPO，只看一条：答案能不能不靠模型自己、自动验证对错。数学、代码、格式这类有标准答案的任务可以；开放式问答先别硬套。
