256K 长上下文实战:LongCat-Flash-Lite + YaRN 的工程要点

LongCat-Flash-Lite 解读：用 N-gram Embeddings 走出稀疏 MoE 的新效率路径

一、摘要 LongCat-Flash-Lite 是一个以高稀疏 MoE 场景为目标的开源大模型：总参数 68.5B，但每 token 仅激活约 2.9B~4.5B。它的关键思路不是继续堆 MoE 专家数，而是在特定稀疏区间通过扩容 N-gram Embedding（约 30B+ 参数用于 embed...