大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
Project Beacon 上线：Baseten 与 Goodfire 把安全信号塞进开放模型推理
Project Beacon 于 2026 年 10 月 9 日由 Baseten 在其官方博客宣布，合作方是 Goodfire AI，目标是把主动安全控制直接做进开放模型的推理环节。做法不是在输出之后再加一道文本过滤，而是在模型生成过程中读取其内部激活状态，用探针提前识别正在发生的风险事件，赶在内...
Admin
112 
ARC-AGI-2 高分榜刷新：Tufa Labs 以 88.06% 登顶，越过 85% 奖金线
ARC-AGI-2 高分榜在 2026 年 10 月 9 日被刷新：ARC Prize 官方公布，Tufa Labs 以 88.06% 登上 ARC Prize 2026 赛季 ARC-AGI-2 高分榜第一名。这个分数越过了 85% 这条线——赛事为此另设的 15 万美元奖金池，将由所有得分超过 ...
Admin
170 
自回归是什么？大模型为什么总是一个词一个词往外蹦
自回归，指的是大模型生成文字时采用的一种基本方式：根据前面已经出现的词元，预测下一个最可能的词元，再把新生成的词元接回输入末尾，继续预测下一个，循环往复，直到输出结束标记或达到长度上限。你在聊天时看到回答一个词一个词往外蹦，正是这一步步解码的外在表现，而不是另外做出来的效果。 一个词元接一个词元地往...
Admin
121 
DeepSeek V4.1 Flash 刷新 ARC-AGI 成绩：抽象推理涨了，单题成本也涨了
DeepSeek V4.1 Flash 的最新一组成绩在 2026 年 10 月 6 日由 ARC Prize 公布：这家独立评测机构在 ARC-AGI（Verified）评测中给它打出 ARC-AGI-1 得分 94.5%、ARC-AGI-2 得分 72.9%。抽象推理这条线又往前迈了一截，但每道...
Admin
164 
迷你主机跑大模型值不值得买？省电安静，但上限先看清
迷你主机跑大模型，值不值得买，答案不在广告词里，在你的使用强度里：它真正打动人的是小、安静、省电，还能把常用的小模型放在本地跑，不必事事上云。但它的上限也写得明明白白——能跑的模型规模、速度和可升级性都被那副小身板框死了。先看清它擅长什么、卡在哪，再决定这笔钱花不花。 真实卖点：小、静、省，还有本地...
Admin
65 
Together Link 上线：一行命令把 Claude Code 和 Codex 换成开源模型
Together Link 在 2026 年 10 月 5 日由 Together AI 通过官方博客发布：它是一个连接层，把开发者已经在用的编程智能体工具，原样接到 Together AI 托管的开源模型上。Together AI 给出的卖点很直接——工具不变、工作流不变，账单减少超过 50%。安...
Admin
123 
Beam 开放权重发布：501B 参数只激活 23B，Reflection 冲着中国开源模型来
Beam 是 Reflection AI 的第一个开放权重模型。2026 年 10 月 5 日，这家成立两年的美国初创公司正式公布 Beam：总参数 501B，每次推理只激活其中 23B，预训练用了 23.8 万亿 token，上下文窗口 100 万 token，定位直接对标智谱 GLM-5.2、D...
Admin
150 
AI 笔记本值不值得买？NPU 听着厉害，多数人现在还用不上
AI 笔记本值不值得买，先给结论：如果你只是写文档、做表格、刷网页，现在为 NPU 单独加价不划算；只有高频开会、看重续航，又打算一台用很多年的人，才值得认真考虑。 NPU 到底在干什么 简单分工来看：CPU 负责综合调度，GPU 负责图形和重型计算，NPU 是专门为 AI 任务准备的低功耗单元。它...
Admin
73