大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
小米公布 MiMo-V3 核心架构 HySparse2：Prefill 计算降至 1/5，专为长程多轮 Agent 打造
2026年9月24日，小米 MiMo 团队公布了 MiMo-V3 的核心架构 HySparse2。这是此前公开的第一代 HySparse 的升级版，面向长程多轮 Agent 任务设计，目标是同时做到三件事：更少的 Prefill 计算、更小的 KV Cache、更精准的长上下文检索。 HySpars...
Admin
330 
阿里 Qwen 发布 Qwen-Audio-3.1：一口气五款语音模型，ASR 降价 95%
2026 年 9 月 23 日，阿里 Qwen 团队正式发布 Qwen-Audio-3.1 语音大模型全家桶：五个新模型一次到位，覆盖语音识别（ASR）、语音合成（TTS）、实时语音交互（Realtime），外加两个全新的"Next"系列——Qwen-Audio-3.1-ASR-Next 与 Qwe...
Admin
256 
阿里发布镇岳V900：性能翻三倍，剑指十万亿参数模型
2026年9月22日，阿里巴巴集团在杭州云栖大会（Apsara Conference）上发布新一代 AI 芯片镇岳 V900（Zhenwu V900），并同步披露了通义千问下一代大模型的训练路线图。发布由集团 CEO 吴泳铭在大会主旨演讲中亲自公布，这是阿里迄今在自研 AI 芯片上最大的一次加码。 ...
Admin
226 
Claude Opus 5.5 发布：降价四成，还顺带公开安全系统卡
2026年9月22日，Anthropic 通过官方 Newsroom 公告正式发布 Claude Opus 5.5——这是全新 5.5 系列打头阵的第一款模型。官方称，它在多数任务上达到顶级模型 Claude Fable 5.1 的水平，典型负载运行成本却比上一代 Opus 5 低 40%，输出提速...
Admin
229 
transformers 原生支持 GGUF：本地跑量化模型不用再装 llama.cpp
2026 年 9 月 22 日，Hugging Face 在官方博客宣布，transformers 现在可以直接加载 GGUF 量化模型。对习惯在笔记本上跑模型的人来说，这意味着一条熟悉的 from_pretrained 调用就能搞定量化模型，不用再在 transformers 和 llama.cp...
Admin
194 
OpenAI 升级 GPT-6 提示词缓存：缓存输入 token 最高直降 90%
2026 年 9 月 22 日，OpenAI 在官方博客发布《Better prompt caching for GPT-6》，为 GPT-6 系列推出改进的提示词缓存系统，以及一套帮开发者监控和诊断缓存表现的新工具。 先说这次到底变了什么。GPT-6 系列默认获得更高的缓存命中率：开发者在 30 ...
Admin
182 
OpenRouter 推出 Batch API：批量推理半价，实测中位数 7 分钟完工
2026年9月22日，AI 模型 API 聚合平台 OpenRouter 在官方博客宣布推出 Batch API：把一批请求打包提交，供应商在 24 小时窗口内自行安排执行时间，作为交换，价格通常降到标准按 token 计费的 50%，部分模型甚至更低。上线首日已支持 70 多个模型。 半价换的是什...
Admin
266 
TypeSafe AI怎么收费？输入价格、输出费用和限额说明
TypeSafe AI 的 Jev 1.13 按输入 Token 收费，官方当前标价为每百万输入 Token 0.042 美元，也就是每十亿 Token 42 美元；输出 Token 免费。实际账单取决于 state、问题说明和候选标准占用的输入量，不是按问题数量或返回选项数量简单计次。 这项价格信...
Admin
195