大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
vLLM v0.32.0 发布：低精度 KV 缓存扩到老显卡，安全默认值收紧
vLLM v0.32.0 于 2026 年 10 月 18 日发布，vLLM 项目在 GitHub 上放出的这一版收进了 814 次提交、出自 363 位贡献者，其中 121 位是第一次参与。对自托管开源模型推理的团队来说，这一版真正值得看的不是新模型名单，而是两件事：低精度 KV 缓存开始覆盖更老...
Admin
150 
曙光8000 真机亮相深圳：十万卡超集群发布十大前沿成果
曙光8000 真机于 2026 年 10 月 17 日在深圳开幕的 2026 CCF 全国高性能计算学术大会（HPC China 2026）上亮相，中科曙光同时展出了国产高性能计算全链路技术成果；10 月 18 日，大会期间发布曙光8000十大前沿应用成果，央视新闻与界面新闻均有报道。这台今年 8 ...
Admin
124 
首字延迟是什么？第一个字等很久、后面却很快，差在哪
首字延迟指的是你按下发送之后、模型吐出第一个字之前的那段等待，英文常缩写为 TTFT（Time To First Token）。它决定了你对一个 AI 产品“快不快”的第一印象：有的产品点完发送要愣三四秒才开始出字，有的几乎立刻往外蹦，差别往往就出在这段时间里，而不是模型本身写得慢。 第一个字出现之...
Admin
159 
DeepSeek-V4.1-Flash-1017 发布：DeepSWE 升到 77 分，价格维持不变
DeepSeek-V4.1-Flash-1017 于 2026 年 10 月 17 日正式发布，DeepSeek 当天在官方公众号、官方账号与 Hugging Face 模型页同步上线了这个版本。网页端、App 与 API 已切换到新模型，API 名称仍为 deepseek-flash，价格与上一版...
Admin
230 
Kimi K3 跑在 AMD 芯片上反超 B300：vLLM 把重复计算砍掉之后
Kimi K3 在 AMD Instinct MI355X 上的推理优化，是 vLLM 官方博客在 2026 年 10 月 16 日发布的技术复盘给出的结果：在 AgentX 智能体负载下，八卡 MI355X 系统以 vLLM 运行时，每 GPU 每秒总 token 数比 NVIDIA HGX B3...
Admin
112 
Claude Opus 5.5 fast mode 结束预览：快 2.5 倍，价格也翻倍
Claude Opus 5.5 的 fast mode 在 2026 年 10 月 15 日结束研究预览：Anthropic 通过 Claude Devs 官方账号宣布，该模式已移除等待名单，在 Claude 平台上向开发者普遍开放。它用的是同一个模型、同一套权重，只是换上更快的推理配置，输出速度最...
Admin
89 
DeepSeek 宕机近5小时后致歉：一周消耗金额全额返成赠金
DeepSeek 在 2026 年 10 月 15 日晚间通过开放平台发布服务恢复及补偿通知：当天北京时间 8 时 11 分至 13 时 04 分，其服务系统出现故障，API 服务无法正常使用，网页端与 App 对话同样受影响。官方状态页记录，9 时 06 分已定位原因并实施修复，13 时 04 分...
Admin
125 
Ling-3.1-flash 正式开源：560B 级模型可 4 卡部署，先盯住办公与长程任务
Ling-3.1-flash 在 2026 年 10 月 15 日由蚂蚁百灵正式开源，权重已上架 Hugging Face 和 ModelScope。这个模型 9 月 30 日就已发布并开放试用，10 月 14 日试用期结束，这次补上的正是完整权重和最高 1M 上下文——对想把模型接进自有业务系统的...
Admin
167