大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
Inworld 实时推理上线：消费级应用拼的不只是模型，还有每轮对话的成本
Inworld 实时推理服务在 2026 年 10 月 14 日通过 Business Wire 发布上线：这家主攻消费级实时 AI 的公司推出自营推理服务，把优化过的开源模型、缓存感知路由和按模型调校的解码打包进一个兼容 OpenAI 接口的 API，并可通过其 Realtime Router 与...
Admin
85 
Modal 年化收入破 10 亿美元：7.5 亿美元 D 轮把估值推到 157.5 亿
Modal 的年化收入已经越过 10 亿美元。2026 年 10 月 14 日，这家 AI 基础设施公司在官方博客宣布完成 7.5 亿美元 D 轮融资，投后估值 157.5 亿美元，由 Accel 领投，Kleiner Perkins 新加入，Menlo Ventures、General Catal...
Admin
99 
投机解码是什么？小模型先猜、大模型再验，吐字为什么变快
投机解码（Speculative Decoding）是一种让大模型生成文字时提速的方法：先让一个小得多的草稿模型抢先猜出接下来几个词，再让大模型一次性并行核对这几个猜测，对的留下、错的从出错处改对。它改变的是生成顺序和算力安排，不改变大模型本身，所以在标准实现下，最终输出的分布和大模型自己逐词生成保...
Admin
180 
LFM2.5-24B-A2B 开源：24B 模型只激活 2B，笔记本上跑智能体
LFM2.5-24B-A2B 于 2026 年 10 月 13 日由 Liquid AI 在官方博客发布并开放权重：这是一个总参数 24B、每 token 只激活约 2B 参数的推理模型，也是 LFM2.5 家族中最大的一员，专为在个人设备上快速、私密地运行智能体而设计。基础版与后训练版同日上架 H...
Admin
169 
MiniCPM-V 4.7 开源：35B 模型塞进 3GB 内存，手机解码 13 token/s 以上
MiniCPM-V 4.7 于 2026 年 10 月 13 日由面壁智能正式发布并开源，包含 35B-A3B 与 1B 两个版本：前者是这个系列第一个 MoE 模型，总参数 350 亿、每次推理只激活约 30 亿，官方称仅约 3GB 内存即可在端侧无损流畅运行。环球网、每日经济新闻、界面新闻与 I...
Admin
164 
SK 海力士 H-TPU 亮相：100 多颗小处理器接管 SSD，功耗只有通用 CPU 的 2.5%
2026 年 10 月 12 日，SK 海力士 H-TPU 在韩国仁川举行的国际 SoC 设计会议（ISOCC 2026）上公开了架构细节：这是该公司为固态硬盘（SSD）控制器自研的一款超轻量可编程小处理器，单个 H-TPU 的功耗只有通用 CPU 核心的约 2.5%（四十分之一），芯片面积只有约 ...
Admin
111 
Intel GPU D270 定名发布：480GB 内存专攻推理，峰值算力反而不是卖点
2026 年 10 月 12 日，Intel GPU D270 在开放计算项目（OCP）全球峰会上正式定名发布：这张此前代号 Crescent Island 的数据中心卡放弃了 3D 图形和光线追踪硬件，把芯片面积全部让给 AI 推理，英特尔自家版本配 160GB LPDDR5X 内存，合作厂商的版...
Admin
121 
位置编码是什么？模型读句子时，为什么要先给每个词排座位
位置编码是给句子里每个词额外附上的一组顺序信号，让模型知道哪个词在前、哪个词在后。注意力机制会把所有词两两比较，却天生不分先后：没有位置信息，「狗咬人」和「人咬狗」在它眼里就是同一堆词。位置编码补的正是这个缺口。 为什么注意力机制看不见顺序 注意力算的是任意两个词之间的相关程度，和词站在哪里无关，把...
Admin
127