大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
Volantis 拿下 8800 万美元 A 轮：用光连接芯片与内存，专攻推理内存墙
Volantis 的 8800 万美元 A 轮融资在 2026 年 10 月 1 日由 Volantis 通过 PR Newswire 正式宣布，本轮由 Lachy Groom 与 Abstract Ventures 共同领投，John Doerr、VXI Capital、Triatomic、Sus...
Admin
135 
GPT-6 Astra Ultrafast 上线：速度最高提升8倍
GPT-6 Astra Ultrafast 于 2026 年 10 月 1 日登场：NVIDIA 官方博客发文《How NVIDIA GPUs Help Accelerate OpenAI's GPT-6 Astra Ultrafast》，宣布这款跑在 Blackwell GPU 上的新版本即日起经...
Admin
195 
LM Studio：把大模型装进一个桌面 App，下载开聊很简单，内存、量化与选型的三处代价
LM Studio 是 Element Labs 开发的一款桌面应用，干的事很直白：把大模型装进一个 App，让你在自己电脑上离线聊天。打开它，在内置的模型浏览器里挑一个开源大模型下载，点一下加载，就能开始对话；它还带一个本地 API 服务器，能让其他应用通过兼容 OpenAI 的接口调用本地模型。...
Admin
138 
OpenRouter 发布 Agent 模型选型三步法：先定质量线，再挑最便宜的够用模型
2026 年 10 月 1 日，OpenRouter 在官方博客发布了一套为 Agent 任务挑选模型的三步框架。它的起点是一个反常识的判断：按排行榜名次选模型，会让你为用不上的名次付前沿价格。正确的问题不是「哪个模型分最高」，而是「哪个模型是刚好够用的最便宜一款」。 榜单排名为什么会误导 Agen...
Admin
99 
DeepSeek把昇腾基础设施开源了：TileLang对标CUDA，国产算力降本增效
2026年9月30日，DeepSeek开源昇腾基础设施组件。DeepSeek 今日通过官方微信公众号宣布，正式开源面向华为昇腾算力平台的六个基础设施组件：TileLang、DeepGEMM、DeepEP、TileKernels、FlashMLA、DeepSelect，与此前面向英伟达平台开源的组件一...
Admin
172 
新模型发布当天 Databricks 就让 12000 名员工开测，三天后见分晓
Databricks 把「新模型发布」做成了一条三天见分晓的流水线：模型发布的当天，12000 名员工就能用上；三天后，靠实测数据决定它是转正还是下架。这套内部流程写在 Databricks 2026 年 9 月 28 日的官方博客里，核心目标是解决两个让所有烧钱用 AI 的公司都头疼的问题。 第一...
Admin
96 
GPT-6 Luna（Max）单任务成本 5 美分，凭性价比闯入 Agent Arena 第 23 名
GPT-6 Luna（Max）把一个智能体任务的成本打到了 5 美分。9 月 28 日，Arena 官方账号宣布这款轻量模型进入 Agent Arena 榜单，位列第 23，净改进 +1.6%——基于 8000 个真实智能体会话统计，比上一代 GPT-5.6 Luna（xHigh）上升了 6 位。 ...
Admin
84 
开源模型提及量同比涨 6 倍：美企财报开始谈 AI 账单，AT&T 计划 70% AI 任务交给开放权重
开源模型正在从工程师的技术选项，变成企业财报会议上的高频词。据 9 月 28 日动察 Beating AI 快讯引述的《金融时报》调查，数据公司 AlphaSense 的统计显示，今年 8 月和 9 月，美国企业在财报电话会和投资者会议中提到开放权重或开源模型的次数，同比增加了约 6 倍。开放权重模...
Admin
108