SAPO가 RL 훈련의 수렴 속도와 안정성에 미치는 포괄적인 이점

Qwen 팀은 대규모 모델 강화학습(RL)의 안정성을 향상시키기 위해 소프트 적응형 정책 최적화(Soft Adaptive Policy Optimization)를 제안했습니다

소프트 적응 정책 최적화(SAPO) 알고리즘에 관한 논문은 arXiv에 게재되었고, 이후 Qwen 팀은 공식 블로그 시스템을 통해 대규모 언어 및 다중 모달 모델에 대한 강화 학습 훈련 방법을 도입했습니다. 하드 클리핑에 기반한 기존 전략 최적화는 특히 혼합 전문가(M...