TorchTPU 在 2026 年 10 月 20 日的 PyTorch Conference 2026 上由 Google 与 Meta 的 PyTorch 团队联合宣布开源，它第一次把 Google 的 TPU 变成 PyTorch 的原生设备：已有模型通常只需把 .to("cuda") 改成 .to("tpu")，就能先在 TPU 上跑起来，再谈调优。
旧桥为什么不够用
TPU 过去长期和 TensorFlow、JAX 绑在一起。PyTorch 用户想用 TPU，只能走 2020 年推出的 PyTorch/XLA：它基于惰性张量记录计算图，要求开发者在代码里显式标出可编译区域，编译等待时间长，不支持 PyTorch 日常调试用的即时执行模式，新出的分布式训练能力也经常跟不上官方版本节奏。对已经用 PyTorch 写好训练和推理管线的团队来说，迁移成本不在模型本身，而在整套习惯被迫改写。
这次换掉的是底层接法
TorchTPU 不是在 JAX 上再套一层翻译，而是按 PyTorch 后端的规矩从头实现：运行时不依赖 JAX，原生支持即时执行，torch.compile 走 Torch Dynamo 路线，DDP、FSDP、DTensor 等分布式写法在最底层就有 TPU 集合通信支撑。官方博客称，目前已支持约 450 个 ATen 算子，并在 Hugging Face 下载量最高的 5000 个模型上做过开箱运行验证，覆盖 Qwen、DeepSeek、Gemma、Llama 等语言模型以及 Whisper、CLIP、ViT 等音频和视觉模型。推理侧同步推出基于 TorchTPU 的 vLLM 与 SGLang 引擎，训练侧打通了 TorchTitan 和 Ray。Google 表示，TorchTPU 已经在部分大型 Google Cloud 客户的生产环境中用于训练和推理，并推荐新负载逐步替代 PyTorch/XLA。
谁会因此多一个选择
最直接的受益者是算力账单被单一 GPU 供应绑住的团队：多一个能跑现有 PyTorch 代码的硬件选项，议价和排队情况都会不一样。但要把话说清：改一行代码解决的是“能不能跑”，不是“跑得快不快”。官方也明确提醒，模型的张量形状、分片方式和算子组合如果原本是按 GPU 架构调的，迁到 TPU 后仍要针对矩阵单元的特性重新调优，才可能接近峰值性能。对个人开发者而言，短期影响有限，这更像基础设施层的一次松绑：PyTorch 生态和 TPU 算力之间那道用了六年的桥，终于换成了直达路。
