Together Compiler 11月4日上线，Together AI 把推理优化交给了一群智能体：它们连夜改写 GPU 内核、反复测速，只把验算通过的版本送进生产。官方称，在英伟达 Blackwell 芯片上，4 个开源模型 24 小时编译后，吞吐最高达到原有最佳开源引擎的 3 倍。值得关注的是，推理部署的调优方式变了——从研究员手工调几周，变成智能体按流量和硬件持续重调。
智能体改内核，靠的是一套“只放行验算过的版本”
Together 把这套做法叫多态推理，Together Compiler 是第一个落地的部分。智能体群组针对模型整个前向过程提出内核改法，常驻引擎用热重载快速换上候选版本，一边测速度、一边对照原版引擎验算正确性，胜出的内核记进共享注册表，下一个模型或芯片从已有经验起步，不必从零开始。模型、硬件或流量一变，优化可以再跑一轮，不必等研究员腾出手。这支团队此前做过 FlashAttention 与 ThunderKittens，这次是把内核研究能力产品化。
数字好看，但要看清是在什么前提下测的
官方页面给出几组数字：同等单用户速度下，Blackwell 上 4 个模型每块 GPU 的 token 吞吐最高为原来的 2.6 倍；AMD MI355X 上 GLM 最高 3.7 倍，AWS Trainium2 上 MiniMax M3 最高 2.7 倍；Llama-3.2-1B 在 H100 与 B200 上跑赢了专家手写的大内核。客户案例里，语音公司 Phonic 称其中位首字延迟一夜下降近一半。这些都是 Together 自家基准下的结果，对照的是“最佳开源引擎”或“最佳公开基准”，不是所有部署的普遍提速，真实收益取决于模型、流量形状和硬件组合。眼下编译后的内核已默认用于部分无服务器模型，包括 GLM 5.3、GLM 5.3 Flash 与 DeepSeek V4.1 Flash，价格不变；专属端点需申请内测，自助优化后续推出。Together 此前还推过 Together Link，让 Claude Code 与 Codex 改用开源模型，两次动作合起来看，Together 在把开源模型的“好用”从接入层推向运行层。对用开源模型跑服务的团队来说，下一步值得看的是：自助优化开放后，中小规模部署能不能拿到同样幅度的收益，以及跨硬件的稳定性是否经得起真实流量检验。
