大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
Priming 方法发布：不重训就能把 Transformer 改成混合架构，成本降 99%
Priming 是亚马逊 AWS 团队在 2026 年 10 月 12 日通过 Amazon Science 官方博客公布的一种架构改造方法，配套论文同日公开。它解决的问题很具体：想试一种新的混合架构，以前必须从零预训练一个模型，光是算账就要数万亿美元级别的 token 和数十万 GPU 小时；用 ...
Admin
120 
Maia 300 发布：微软自研芯片要当主力推理系统，每兆瓦多产 40% token
Maia 300 是微软第三代自研 AI 芯片。2026 年 10 月 12 日，微软在官方博客公布这款芯片，云与 AI 业务负责人 Scott Guthrie 撰文介绍，首席执行官纳德拉同日在社交平台称这是微软在自研芯片上最大的一次下注。这次发布的重点不在单颗芯片的参数，而在定位的变化：从 202...
Admin
106 
无问芯穹完成23亿元C轮融资，累计43亿元创下AI基础设施纪录
无问芯穹在2026年10月12日被投资界、澎湃新闻与证券时报等多家媒体确认完成23亿元C轮融资，公司成立以来累计融资额达到43亿元，单轮与累计金额都创下中国AI原生基础设施赛道的最高纪录。这家2023年由清华大学电子工程系推动成立的公司，不造芯片、不建数据中心，做的却是眼下最紧俏的生意：把分散在各处...
Admin
110 
亚马逊约 70 亿美元洽购 Decart：实时视频与世界模型，为什么值这个价
亚马逊被曝正在洽购 Decart。2026 年 10 月 11 日，《华尔街日报》援引知情人士消息称，亚马逊正就收购 AI 初创公司 Decart 展开谈判，交易对 Decart 的估值约为 70 亿美元；路透社同日跟进报道，并明确注明未能独立核实该消息，亚马逊与 Decart 也都没有回应置评请求...
Admin
89 
Asana 把浏览器智能体成本压低 76 倍，关键不在换模型
Asana 浏览器智能体的成本在 2026 年 10 月 9 日 OpenAI 发布的客户案例中被摆上台面：Asana 旗下无代码工作流平台 StackAI 的浏览器智能体经过一轮优化后，在 GPT-6.1 Sol 上平均每次运行的估算模型成本降到 0.47 美元、耗时约 4 分钟，相比原来在另一家...
Admin
98 
TypeSafe AI 拿到 8.7 亿美元 A 轮，Jev 上线不到一个月估值 75 亿美元
TypeSafe AI 在 2026 年 10 月 9 日通过官方博客宣布完成 8.7 亿美元 A 轮融资，估值 75 亿美元，由 Andreessen Horowitz 领投，Sequoia Capital、既有投资方 DCVC 和多位天使投资人跟投，a16z 合伙人 Martin Casado ...
Admin
152 
Microsoft-Decision-1 发布：不写长文，专给选项打分
Microsoft-Decision-1 于 2026 年 10 月 9 日由微软在官方博客发布，现已上架 Microsoft Foundry，接下来还会登陆 OpenRouter。它不生成长文，也不做开放式推理，唯一的工作是在一组固定选项里给每个选项打出校准过的概率分，让软件拿到分数就能直接执行下...
Admin
162 
Project Beacon 上线：Baseten 与 Goodfire 把安全信号塞进开放模型推理
Project Beacon 于 2026 年 10 月 9 日由 Baseten 在其官方博客宣布，合作方是 Goodfire AI，目标是把主动安全控制直接做进开放模型的推理环节。做法不是在输出之后再加一道文本过滤，而是在模型生成过程中读取其内部激活状态，用探针提前识别正在发生的风险事件，赶在内...
Admin
112