SAPOを使った大規模モデルの挙動を整合させる実践的なエンジニアリング経験

Qwenチームは、大規模モデル強化学習の安定性向上のためにソフト適応政策最適化を提案しました

ソフト適応政策最適化(SAPO)アルゴリズムに関する論文はarXivに掲載され、その後Qwenチームは公式ブログシステムを通じて大規模言語およびマルチモーダルモデル向けの強化学習トレーニング手法を導入しました。 ハードクリッピングに基づく既存の戦略最適化は、特に混合エキスパート(MoE)構造において...