GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화)는 DeepSeek 팀이 DeepSeekMath에서 제안한 강화학습 알고리즘으로, DeepSeek-R1은 이를 이용해 보상 모델 없이 긴 추론 능력을 길렀다. 핵심 아이디어는 단순하다. 같은 문제에 대해 한 번에 답변 그룹을 샘플링하고, 별도의 보상 모델을 훈련해 점수를 매기는 대신 그룹 안에서 답변끼리 비교해 우열을 정하는 것이다.
GRPO의 작동 방식: 샘플링, 그룹화, 비교
훈련 시 모델은 같은 문제에 대해 8개에서 16개 정도의 답변 그룹을 생성한다. 각 답변은 규칙에 따라 보상을 받는다. 수학 문제는 최종 답이 맞는지, 코드 문제는 테스트를 통과하는지가 기준이다. 그리고 그룹 보상 평균을 기준선으로 삼아 평균보다 높은 답변은 강화하고 낮은 답변은 약화하면서 정책을 좋은 답변 쪽으로 업데이트한다. 모델이 한 번의 업데이트로 너무 멀리 벗어나지 않도록 업데이트 폭은 기존 정책 근처로 제한되며, 너무 벗어나면 페널티가 부과된다. 이 과정 전체에서 보상 모델이 필요 없어지고, PPO에서 가치를 추정하던 크리틱 모델도 필요 없어져 훈련이 유지해야 할 모델이 줄고 메모리 비용도 작아진다.
PPO와의 차이점
PPO도 보상으로부터 배우지만, 어드밴티지를 계산하기 전에 현재 상태가 얼마나 좋은지 추정하는 가치 모델이 필요하다. GRPO는 그 추정을 그룹 평균으로 대체한다. 장점은 구조가 단순하고 메모리가 적게 들며 하이퍼파라미터가 적다는 것이다. 단점은 그룹 내 답변이 모두 정답이거나 모두 오답인 경우 보상이 갈리지 않아 학습 신호가 사라진다는 것이다. 그래서 R1 훈련은 문제 난이도 분포에 크게 의존했다. 그룹 전원이 풀 수 있을 만큼 쉬운 문제나 전원이 실패할 만큼 어려운 문제는 아무것도 가르쳐 주지 않는다.
두 가지 오해와 적용 범위
첫 번째 오해는 GRPO가 보상을 사용하지 않는다는 것이다. GRPO가 쓰지 않는 것은 '보상 모델'이지 보상 자체는 남아 있으며, 규칙에 따라 정답 여부를 검증해 계산한다. 두 번째 오해는 이를 범용 훈련법으로 여기는 것이다. 자유로운 글쓰기나 창작 과제에는 신뢰할 만한 자동 심판이 없어 보상을 정할 수 없으므로 GRPO는 손댈 수가 없다. 어떤 상황이 GRPO에 적합한지는 한 가지만 보면 된다. 모델 자체에 의존하지 않고 답을 자동으로 검증할 수 있는가 하는 점이다. 수학, 코드, 서식처럼 정답이 명확한 과제는 적합하고, 개방형 질의응답은 억지로 끼워 맞추지 말아야 한다.
