大模型推理优化
排队方式一变，同一张推理卡的吞吐可能差出几倍。连续批处理、推测解码、KV Cache 与上下文缓存各自省下的是哪一段开销，算子库和稀疏架构又能压到什么程度，拆开来看。
连续批处理把调度粒度缩到单个生成步；推测解码让小模型起草、大模型一次验收；KV Cache 复用注意力状态，Context Caching 留下长文档的重复结果。MoE 每次只激活少数专家，Kimi Linear 把百万上下文的 KV 缓存砍掉约 75%。收益看任务：代码吃长草稿，发散创作未必。
扩散模型是什么？图片生成为什么先把画面打乱再慢慢还原
扩散模型是一种通过先向数据逐步加入噪声、再学习如何逐步去除噪声来生成新内容的生成模型，是当前图片生成的主流方法之一。它不直接画出一张图，而是从一片纯噪声出发，一步步清掉噪声，让画面慢慢显形。 先加噪，再去噪：两个相反的过程 前向过程是加噪：拿一张真实图片，按固定步骤一层层掺入随机噪声，经过多步之后，...
Admin
100 
Kolibri 开放权重发布：78B 参数只激活 3.5B，德英双语冲主权部署
Kolibri 是德国人工智能公司 Aleph Alpha 在 2026 年 10 月 3 日正式发布的开放权重模型。发布日恰逢德国统一日，Aleph Alpha 在官方博客《Kolibri Has Landed》中宣布，模型完整权重已上架 Hugging Face 的 Aleph-Alpha/Ko...
Admin
160 
Jalapeño 芯片进入内部部署：主机不用英伟达 Vera，OpenAI 选了 AMD EPYC
Jalapeño 芯片已经进入 OpenAI 的内部部署阶段，它旁边的主机配置也刚刚被确认。2026年10月2日，Tom's Hardware 在报道中援引 SemiAnalysis 对机架级部署的描述，并采访了 OpenAI 硬件副总裁 Richard Ho：Jalapeño ASIC 在部署时搭...
Admin
126 
本地跑大模型，显卡显存要多大？8GB、16GB、24GB 分别能跑什么
本地跑大模型，显卡显存够不够，往往在下载完模型之前就决定了体验上限。很多人先看算力，最后才发现模型装不进去，或者只能开很短的上下文。显存是硬门槛，买少了没法后期加，只能整卡换掉。 先看分档：多大显存跑什么模型 显存 能舒服跑的模型 适合人群 8GB Q4 量化的 7B/8B 模型，短上下文 只想尝鲜...
Admin
118 
分词器是什么？同一句话，为什么换个模型 token 数就不一样
分词器是你发给模型的那句话最先经过的部件，它不负责理解，只负责切分和编号。文字送进大模型之前，分词器会先把它切成一个个 token，再换成词表里的编号，模型读到的就是这串编号。想通这一点，不少困惑就有答案：token 既不是字，也不是词。 它切的不是字，而是出现概率 目前主流的分词器多采用 BPE ...
Admin
117 
Baseten 实测：Claude 写出的推理引擎比 vLLM 快 90%
推理引擎能不能由 AI 智能体从零写出来，并压过成熟的通用框架？2026年10月2日更新的 Baseten 工程博客给出了一次实测：工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B 从零构建定制推理引擎，在 NVFP4 精度、单张...
Admin
151 
Prime Inference 上线：给前沿开源模型做推理服务，拼的是稳定性
Prime Inference 于2026年10月2日由 Prime Intellect 正式发布，是一项面向前沿开源模型的推理服务。它在多个数据中心以自有 GPU 基础设施提供无服务器端点和预留容量两种形态，带有生产级 SLA、安全与隐私设计、统一计费和团队级用量追踪，支持跨数据中心自动故障转移，...
Admin
126 
DGX Spark 64GB 版 10 月 23 日开售：4999 美元，把大模型搬回桌面
DGX Spark 这次推出的 64GB 统一内存版本，把在桌面本地跑大模型的入门价定在了 4999 美元。2026 年 10 月 2 日，NVIDIA 在其官方博客发布了这一新配置，宣布新机将于 10 月 23 日开售，为想把智能体留在自己设备上的用户多给了一个更便宜的选择。 配置没缩水，只是内存...
Admin
119