Kimi K3 在 AMD Instinct MI355X 上的推理优化，是 vLLM 官方博客在 2026 年 10 月 16 日发布的技术复盘给出的结果：在 AgentX 智能体负载下，八卡 MI355X 系统以 vLLM 运行时，每 GPU 每秒总 token 数比 NVIDIA HGX B300 高 24.4%，按报告采用的成本模型折算，每美元 token 数高 87.4%。数据来自 SemiAnalysis 的 InferenceX 公开曲线，测试快照为 2026 年 10 月 9 日。
先看清这组数字的口径
对比的口径是每用户每秒 50 个 token 的 P90 交互速度下，MI355X 约 7567 token 每秒每 GPU，B300 约 6083。两款芯片的显存同为 288GB HBM3E、峰值带宽同为每秒 8TB，纸面算力峰值 B300 还更高，所以差距来自软件栈而不是硬件参数。AgentX 回放的是真实编程智能体会话轨迹，前缀复用率理论上超过 96%，这正是优化能发挥作用的地方；换成无复用的短请求负载，结论不能直接照搬。
优化主要砍在三处重复上
第一处是缓存：原本每张 GPU 都存一份完整的 MLA 历史，改用八路解码上下文并行后，每张卡只存八分之一，142000 token 对话的缓存占用从约 1.96GB 降到约 245MB，放不下的状态再卸载到主机内存。第二处是 MoE 计算：路由专家的输出投影原本在八张卡上重复算了八遍，拆分坐标后每张卡只算自己那份，再借已有的全规约拼回完整结果。第三处是内核融合与无效拷贝：单 token 解码中每步有 69 次无用拷贝被移除，若干串行内核被合并成一次启动。
对部署方的实际含义
这组结果的意义不在于某一次跑分，而在于证明同一模型换芯片平台时，推理框架的适配深度能直接改写性价比排序。报告采用的 GPU 小时成本模型是 MI355X 1.50 美元对 B300 的 2.26 美元，成本差与吞吐差叠加，才有了每美元 token 数 87.4% 的差距；实际采购还要看云厂商报价、供货和自家负载的缓存命中率。对正在给智能体服务选硬件的团队，值得带走的动作很具体：先按自己的会话轨迹测前缀复用率，再比较整栈吞吐，而不是只看芯片峰值表。
