混合专家（MoE）是一种把前馈网络换成多个专家子网络、再由路由器按 token 分配计算的模型结构。它的关键不在专家数量多，而在稀疏激活：每个 token 只经过少数几个专家，其余专家当次不参与计算。模型总参数因此可以很大，单次推理的计算量却只按激活的那部分算。理解这句话，就抓住了 MoE 全部的取舍。
路由器是 MoE 里最小却最关键的部件。它是一个很小的可学习网络，读取每个 token 的表示后，给全部专家打分，只取分数最高的 k 个。被选中的专家各自处理这个 token，输出再按路由器权重加权合并。注意力层、词嵌入和路由器本身是所有 token 共享的，只有专家前馈层是稀疏的。有些设计还会加一个共享专家，让每个 token 都经过，处理通用模式，减轻路由专家的负担。
稠密模型和 MoE，账要分开算
稠密模型每生成一个 token 都要跑遍全部参数，参数翻倍，计算和显存占用大致一起翻倍。MoE 把两者拆开：总参数决定要装下多少权重，激活参数决定每步算多快。同一张模型卡上，MoE 往往装得下更大的总参数，却跑不出稠密小模型的速度幻觉，因为全部权重仍要常驻显存，加载和切换专家本身也有开销。看模型卡时只看总参数会误判，只看激活参数也会误判，两个数字要一起读。
三个常见误解需要拆开。第一，专家不是按学科分工的部门，路由学到的是统计模式上的分工，没有人给专家贴过“数学专家”“代码专家”的标签，硬按话题指定专家并不可靠。第二，专家多不等于能力自动叠加，路由器一旦把多数 token 送往少数专家，闲置专家就是白占的显存，训练里要靠负载均衡约束来避免这种塌缩。第三，MoE 不等于省钱，它省的是单位 token 的计算，换来的是更大的显存、更复杂的部署和更难调试的训练，推理服务要为专家并行和通信多付成本。
MoE 适合总容量需求大、单次延迟预算紧、且有条件承担大显存和分布式部署的场景，比如大规模在线推理。个人设备上跑 MoE 要先算显存账：权重总量决定能不能装下，激活量决定跑多快，两个条件缺一不可。反过来，参数规模不大、部署环境简单时，稠密模型往往更省事，调试和量化工具链也更成熟。选架构先看约束，再看参数数字。
