大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
Flint 开源编程模型发布：40B 塞进笔记本，主要由 AI 造
Flint 开源编程模型在 2026 年 10 月 21 日由 Recursive 发布：总参数 40B、每次只激活约 2.5B，能跑在笔记本上，权重以 Apache 2.0 协议免费放在 Hugging Face 上。最受关注的不在参数，而在出身——从预训练到推理优化，几乎每一步都有其自家自动化研...
Admin
188 
Humming 量化内核库开源，一套代码适配十几种精度与多代显卡
Humming 在 2026 年 10 月 21 日由蚂蚁集团与 vLLM 社区在 vLLM 官方博客宣布开源，这是一个通用高性能量化推理内核库，现已托管在 GitHub 的 vllm-project 组织下。它想解决的问题不是某一个算子不够快，而是量化格式多到没人维护得过来。 量化组合爆炸，逐个写...
Admin
108 
llm-d 1.0 发布：开源推理栈迈过生产门槛，比跑分更难的是运维
llm-d 1.0 于 2026 年 10 月 20 日在北美 PyTorch 大会上正式亮相，IBM Research 在官方博客中宣布了这一版本。这个 Kubernetes 原生分布式推理项目由 Red Hat、IBM 与 Google 牵头维护，三家与 CoreWeave、NVIDIA 在 2...
Admin
72 
DeepSeek 开源 DeepInfer：撑起自家线上服务的推理框架全摊开了
DeepSeek 的推理框架 DeepInfer 在 2026 年 10 月 20 日正式开源：DeepSeek 把支撑自家大规模线上服务的推理框架放进 GitHub 官方仓库 deepseek-ai/DeepInfer，采用 Apache-2.0 许可证，首个开源版本提供离线推理，当前支持的模型只...
Admin
113 
提示缓存是什么？重复的前缀不用重算，省的是钱和等待
提示缓存（Prompt Caching）是给大模型接口的一项省钱机制：同一次对话或同一类请求里反复出现的那段开头内容，服务端算过一次之后先存起来，下次只要开头一字不差地对上，就直接复用上次的计算结果，不再从头算一遍。它省下的既是输入 token 的钱，也是等第一个字出来的时间。 它缓存的不是答案，而...
Admin
120 
FLUX 3 Max 发布：10 秒视频约 11 秒生成，同画质比对手快 22 倍
FLUX 3 Max 是 fal 与 Black Forest Labs 合作后训练出的新视频生成模型。2026 年 10 月 19 日，fal 通过 PR Newswire 发布这款模型：它在 Artificial Analysis 视频竞技场的人类偏好评测中拿到 1139 的 Elo 分数、进入...
Admin
103 
Mercury 3 扩散模型发布：每秒千词、百万上下文，速度压过同级竞品
2026 年 10 月 19 日，Inception 通过 Business Wire 发布 Mercury 3，这是其扩散大语言模型系列的第四次发布。Mercury 3 在常见 NVIDIA GPU 上保持每秒 1000 个以上 token 的生成速度，上下文窗口从 Mercury 2.5 的 2...
Admin
79 
TorchNeuron 发布：PyTorch 代码改一行，就能跑上 AWS 自研芯片
TorchNeuron 是 AWS 为自研 AI 芯片 Trainium 推出的原生 PyTorch 后端。2026 年 10 月 19 日，PyTorch 官方博客发文介绍这一开源项目：它以 Apache 2.0 协议发布，10 月 20 日起在 GitHub 的 aws-neuron 组织下公开...
Admin
91