SAPO 알고리즘을 기존 RLHF 파이프라인에 통합하는 방법

Qwen 팀은 대규모 모델 강화학습(RL)의 안정성을 향상시키기 위해 소프트 적응형 정책 최적화(Soft Adaptive Policy Optimization)를 제안했습니다

소프트 적응 정책 최적화(SAPO) 알고리즘에 관한 논문은 arXiv에 게재되었고, 이후 Qwen 팀은 공식 블로그 시스템을 통해 대규모 언어 및 다중 모달 모델에 대한 강화 학습 훈련 방법을 도입했습니다. 하드 클리핑에 기반한 기존 전략 최적화는 특히 혼합 전문가(M...