大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
自注意力是什么？模型先看清哪个词重要再回答
自注意力是让模型在处理一句话时，先判断每个词应该多关注句子里的哪些词，再把这些信息融合起来的一种机制。它不按固定顺序一个词一个词往后读，而是让所有词互相打分：关联越强，权重越大，最后每个词得到的新表示都混入了它最需要的那部分上下文。 先看一个例子 “小明把钥匙放在桌子上，他随后出门了。”里的“他”指...
Admin
11 
MiniMax M3.1 Flash 权重开放：428B 参数只激活 23B，首日就适配国产芯片
MiniMax M3.1 Flash 的模型权重在 2026 年 10 月 23 日开放了。MiniMax 通过官方账号宣布，M3.1 Flash 的权重正式公开：总参数 428B，每 token 激活约 23B，采用混合专家（MoE）架构，上下文窗口 100 万 token。这款模型 10 月 1...
Admin
60 
知识蒸馏是什么？大模型教小模型，手艺到底怎么传下去
知识蒸馏（Knowledge Distillation）是把大模型的"暗知识"传给小模型的技术：先让一个庞大的教师模型生成参考输出，再让小得多的学生模型学习这些输出，最终得到一个又小又能用的模型。 老师到底传了什么：软标签里的暗知识 普通训练只告诉模型"标准答案是 A"，而教师模型传给学生的不只是一...
Admin
68 
OpenAI Decisions API 正式上线，小决策提速 10 倍且只收输入 token 费用
OpenAI Decisions API 在 10 月 22 日正式上线（GA），基于 GPT-6 Luna，专为“有界答案”的小决策设计。OpenAI 在官方公告中写道，应用和智能体在工作流里会做大量微小决策：给输入打标签、决定请求走哪条路由、下一步执行哪个动作——单个都不复杂，但规模一大，延迟和...
Admin
40 
蚂蚁数科 LingDT-Decision-1.0 发布：高频判断不再让大模型逐字生成
LingDT-Decision-1.0 走的是和聊天模型相反的路。2026年10月22日，蚂蚁数科发布这款专为快速产业决策打造的模型，提供 4B 和 27B 两个版本，已经在蚂蚁数科 DTMaaS 平台上线，开发者可限时免费体验。它不写文章、不做对话，任务只有一件：在有限选项里快速给出准确判断。蚂蚁...
Admin
67 
讯飞星火 X2.6 发布：全国产算力训出 1M 上下文，端侧 4B 同步开源
讯飞星火 X2.6 于 2026 年 10 月 22 日在北京举行的 2026 科大讯飞全球 1024 开发者节主论坛上正式发布。这是一款端云一体大模型，科大讯飞称其首次基于全国产算力实现代码和智能体能力突破：云端版采用 293B 总参数、30B 激活参数的 MoE 架构，上下文长度拓展到 1M，已...
Admin
134 
SGLang 值得自托管吗？共享前缀跑得快，账算在显卡和运维
SGLang 是这两年推理部署圈绕不开的开源框架：同样一张显卡，它在多轮对话、智能体和结构化输出这类负载上往往比朴素部署快出一截。但它不是聊天产品，而是一台需要显卡、调参和值守的推理引擎，值不值得自托管，先看你的请求长什么样，再看你养不养得起。 官方仓库信息 - 所在平台：GitHub - 组织名：...
Admin
29 
模型剪枝是什么？删掉不重要的连接，模型为什么还能干活
模型剪枝是给大模型做减法的一种办法：先找出权重里那些数值接近零、对结果影响很小的连接，把它们删掉或置零，让模型变小、变快，而答题能力只掉一点点。它常和量化、蒸馏一起被称作模型压缩，但三者的下手位置完全不同，这篇先把剪枝本身讲清。 剪掉的到底是什么 神经网络里真正占体积的是权重，也就是神经元之间连接的...
Admin
87