SAPO가 대규모 모델 강화학습 튜닝을 위한 확장 가능한 기반을 제공하는 방법

Qwen 팀은 대규모 모델 강화학습(RL)의 안정성을 향상시키기 위해 소프트 적응형 정책 최적화(Soft Adaptive Policy Optimization)를 제안했습니다

소프트 적응 정책 최적화(SAPO) 알고리즘에 관한 논문은 arXiv에 게재되었고, 이후 Qwen 팀은 공식 블로그 시스템을 통해 대규모 언어 및 다중 모달 모델에 대한 강화 학습 훈련 방법을 도입했습니다. 하드 클리핑에 기반한 기존 전략 최적화는 특히 혼합 전문가(M...