稀疏注意力
讲清稀疏注意力机制的原理、主流实现与取舍：模型如何只计算关键 token，把长上下文的算力和显存开销降下来。
稀疏注意力是让大模型在长上下文下保持高效的核心技术。它不再对每个 token 做全量注意力计算，而是通过块选择、token 级选择或 KV 共享，把算力集中在关键位置。本专题围绕其原理演进、HySparse 等代表架构，以及在 Agent 长程任务、百万 token 推理中的真实取舍，帮读者判断何时值得用、代价是什么。
混合专家 MoE 是什么：参数总量大，单次只算一小部分
混合专家（MoE）是一种把前馈网络换成多个专家子网络、再由路由器按 token 分配计算的模型结构。它的关键不在专家数量多，而在稀疏激活：每个 token 只经过少数几个专家，其余专家当次不参与计算。模型总参数因此可以很大，单次推理的计算量却只按激活的那部分算。理解这句话，就抓住了 MoE 全部的取...
Admin
64 
位置编码是什么？模型读句子时，为什么要先给每个词排座位
位置编码是给句子里每个词额外附上的一组顺序信号，让模型知道哪个词在前、哪个词在后。注意力机制会把所有词两两比较，却天生不分先后：没有位置信息，「狗咬人」和「人咬狗」在它眼里就是同一堆词。位置编码补的正是这个缺口。 为什么注意力机制看不见顺序 注意力算的是任意两个词之间的相关程度，和词站在哪里无关，把...
Admin
158 
NaiveAI 开源 309B 模型 N0.5-Flash：去掉全部全注意力层，原生 100 万上下文
NaiveAI 在 2026 年 9 月 27 日发布了开源权重模型 Naive-N0.5-Flash：总参数 309B、每 token 只激活 15.5B 的混合专家（MoE）模型，原生支持 100 万 token 上下文，权重以 MIT 许可证在 Hugging Face 公开。这是"无全注意力...
Admin
166 
小米公布 MiMo-V3 核心架构 HySparse2：Prefill 计算降至 1/5，专为长程多轮 Agent 打造
2026年9月24日，小米 MiMo 团队公布了 MiMo-V3 的核心架构 HySparse2。这是此前公开的第一代 HySparse 的升级版，面向长程多轮 Agent 任务设计，目标是同时做到三件事：更少的 Prefill 计算、更小的 KV Cache、更精准的长上下文检索。 HySpars...
Admin
386