大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
知识蒸馏：把大模型"教小"的技术，原理、边界与三个误解
知识蒸馏是一种让小模型（学生模型）向已经训练好的大模型（教师模型）学习的技术。它由 Geoffrey Hinton 等人在 2015 年的论文《Distilling the Knowledge in a Neural Network》中正式提出，目标是让参数更少、速度更快的小模型保留尽可能多的大模型...
Admin
133 
Ultrafast API 扩围信号：OpenAI 文档现身三档速度开关
Ultrafast API 是 OpenAI 今年 8 月随 GPT-5.6 Sol 推出的极速推理档位，官方宣称输出速度最高可达每秒 750 个 token，是标准档的 14 倍。9 月 26 日，多位开发者在 OpenAI Platform 与 API 文档中发现了 Ultrafast 相关文档...
Admin
175 
思维链是什么？让大模型先想明白再回答的提示技巧
思维链（Chain-of-Thought，简称 CoT）是一种提示技巧：不让模型直接给答案，而是先让它把中间推理步骤写出来，最后才给结论。解数学题时，模型会先列出"设未知数、列方程、求解"，而不是直接报数字。这种"先写过程"的约束，常能明显提高复杂问题的正确率。 核心做法：先写步骤，再给答案 大语言...
Admin
205 
Julia 1：144M 参数的小模型，专干 AI 的分类路由活
Julia 1 是巴西小实验室 Supersonic Labs 在 2026 年 9 月 26 日发布的决策模型：只有 1.443 亿参数，为 CPU 上的文本分类与路由而生。权重文件 550.5 MiB，代码与权重都已放在 Hugging Face 上，以 Apache 2.0 协议开源。它不生成...
Admin
174 
上下文窗口不是越大越好：1M token 背后的注意力代价和三个误解
上下文窗口是模型一次能"看到"的 token 总量上限：提示词、对话历史、检索到的资料，加上模型已写出的回复，全部按顺序排进这段序列。它决定模型的工作台有多大，但不决定它有多聪明——1M token 的窗口装得下上千页文档，却不等于模型真能用好每一页。 上下文窗口里到底装了什么 窗口里装的不是文件，...
Admin
179 
温度参数是什么？调高温度会让 AI 更有创造力吗
温度参数是控制大语言模型"输出随机程度"的一个采样参数，藏在多数 AI 对话产品的高级设置和 API 参数里。你平时很少直接看到它，但它决定了模型的回答是严谨收敛，还是天马行空。 理解它的关键只有一句话：模型每生成一个词，其实都是先算出所有候选词的概率分布，再从中"抽"出一个词。温度参数调整的就是这...
Admin
207 
Anthropic 116 亿美元签下 Akamai 七年算力长约：附赠 5% 股权期权
Anthropic 在 2026 年 9 月 24 日拿下一份算力大单：Akamai 通过官方新闻稿宣布，与 Anthropic 签署了一份为期七年、总额 116 亿美元的云服务承诺协议，同时向 Anthropic 发行最高约占其流通股 5% 的认股权证。消息公布后，Akamai 股价在盘后交易中一...
Admin
190 
vLLM 加上无失真文本水印：模型输出可溯源，速度几乎无损
vLLM 在 9 月 24 日的官方博客中宣布，推理引擎正式支持基于 Gumbel-max 的文本水印功能。这项技术的目标很直接：让模型生成文本的来源可被追溯，同时保证加水印不改变模型的输出分布、不拖慢推理速度。按官方实测，Qwen3.5-27B 开启水印后，各项基准成绩都在误差范围内，吞吐变化在 ...
Admin
197