LongCat-Flash-Lite : 68,5 milliards de paramètres généraux mais seulement 3 milliards de modèles actifs et open source efficaces

Interprétation LongCat-Flash-Lite : Un nouveau chemin d’efficacité pour le MoE clairsemé avec des embeddings N-gram

1. Résumé LongCat-Flash-Lite est un modèle open source de grande taille ciblant des scénarios MoE à haute parcimonie : les paramètres totaux sont de 6...