SAPO를 이용한 대형 모델 동작 정렬 실무 엔지니어링 경험

Qwen 팀은 대규모 모델 강화학습(RL)의 안정성을 향상시키기 위해 소프트 적응형 정책 최적화(Soft Adaptive Policy Optimization)를 제안했습니다

소프트 적응 정책 최적화(SAPO) 알고리즘에 관한 논문은 arXiv에 게재되었고, 이후 Qwen 팀은 공식 블로그 시스템을 통해 대규모 언어 및 다중 모달 모델에 대한 강화 학습 훈련 방법을 도입했습니다. 하드 클리핑에 기반한 기존 전략 최적화는 특히 혼합 전문가(M...