GRPO（Group Relative Policy Optimization、グループ相対方策最適化）は、DeepSeekチームがDeepSeekMathで提案した強化学習アルゴリズムで、DeepSeek-R1はこれを使って報酬モデルなしで長い推論を身につけた。中心となる考えはシンプルだ。同じ問題に対して一度に一组の回答をサンプリングし、別途報酬モデルを訓練して採点するのではなく、グループ内で回答同士を比較して優劣を決める。
GRPOの仕組み：サンプリング、グループ化、比較
訓練時、モデルは同じ問題に対して8〜16個程度の回答グループを生成する。各回答はルールに従って報酬を得る。数学の問題なら最終的な答えが合っているか、コードの問題ならテストに通るかだ。そしてグループの報酬の平均をベースラインとし、平均より上の回答は強化され、下の回答は弱められ、方策は良い回答の方向へ更新される。モデルが一度の更新で大きく逸脱しないよう、更新幅は古い方策の近くに制限され、離れすぎるとペナルティが課される。この流れ全体で報酬モデルが不要になり、PPOで価値を推定するクリティックモデルも不要になるため、訓練で維持するモデルが減り、メモリのコストも小さくなる。
PPOとの違いはどこにあるか
PPOも報酬から学ぶが、アドバンテージを計算する前に現在の状態がどれだけ良いかを推定する価値モデルを必要とする。GRPOはその推定をグループ平均で置き換える。利点は構造がシンプルで、メモリが少なく、ハイパーパラメータも少ないことだ。欠点は、グループ内の回答がすべて正解、あるいはすべて不正解の場合、報酬に差がつかず、学習シグナルが消えてしまうことだ。そのためR1の訓練は問題の難易度分布に大きく依存した。グループ全員が解けるほど簡単な問題も、全員が失敗するほど難しい問題も、何も学ばせてはくれない。
二つの誤解と、適用できる境界
一つ目の誤解は、GRPOは報酬を使わないというものだ。GRPOが使わないのは「報酬モデル」であって、報酬そのものは残っており、ルールに基づいて正しさを検証することで計算される。二つ目は、これを万能の訓練法とみなすことだ。自由な文章作成や創作タスクには信頼できる自動判定が存在せず、報酬を定められないため、GRPOには手がかりがない。ある場面がGRPOに適しているかは、一点だけ見ればよい。答えをモデル自身に頼らず自動で検証できるかどうかだ。数学、コード、書式など正解が明確なタスクは向いている。オープンエンドの質疑応答を無理に当てはめるべきではない。
