왜 하드 트렌케이션 클리핑이 그라디언트를 사라지게 하나요?

Qwen 팀은 대규모 모델 강화학습(RL)의 안정성을 향상시키기 위해 소프트 적응형 정책 최적화(Soft Adaptive Policy Optimization)를 제안했습니다

소프트 적응 정책 최적화(SAPO) 알고리즘에 관한 논문은 arXiv에 게재되었고, 이후 Qwen 팀은 공식 블로그 시스템을 통해 대규모 언어 및 다중 모달 모델에 대한 강화 학습 훈련 방법을 도입했습니다. 하드 클리핑에 기반한 기존 전략 최적화는 특히 혼합 전문가(M...