Comment améliorer la stabilité de l’entraînement dans des scénarios à forte variance MoE

L’équipe Qwen a proposé l’Optimisation Soft Adaptive Policy pour améliorer la stabilité du RL de grands modèles

L’article sur l’algorithme Soft Adaptive Policy Optimization (SAPO) a été publié sur arXiv, puis l’équipe Qwen a introduit cette méthode d’entraînemen...