TorchTPU は 2026 年 10 月 20 日、PyTorch Conference 2026 で Google と Meta の PyTorch チームが共同でオープンソース化を発表した。これにより Google の TPU が初めて PyTorch のネイティブデバイスになり、既存モデルは多くの場合 .to("cuda") を .to("tpu") に変えるだけで、まず TPU 上で動き始める。
古い橋渡しが足りなかった理由
TPU は長く TensorFlow と JAX に結びついてきた。PyTorch ユーザーが TPU を使うには 2020 年登場の PyTorch/XLA を経由するしかなく、遅延テンソル方式のためコード内にコンパイル範囲を明示する必要があり、コンパイル時間も長く、日常のデバッグで使う即時実行モードにも対応せず、分散学習の新機能への追随も遅れがちだった。移行コストはモデル自体ではなく、作業習慣全体の書き換えにあった。
土台から作り直したバックエンド
TorchTPU は JAX の上に翻訳層を重ねたものではない。PyTorch バックエンドとして一から実装され、ランタイムに JAX 依存はなく、即時実行を原生的に支え、torch.compile は Torch Dynamo を使い、DDP、FSDP、DTensor といった分散の書き方も最下層の集合通信で支える。公式ブログによれば、すでに約 450 の ATen 演算子に対応し、Hugging Face でダウンロード数上位 5000 モデルの開箱実行を検証済みで、Qwen、DeepSeek、Gemma、Llama のほか Whisper、CLIP、ViT なども含む。推論側では TorchTPU 上に構築した vLLM と SGLang の新エンジンも同時発表され、学習側は TorchTitan と Ray に対応する。Google は大規模な Google Cloud 顧客の一部がすでに本番の学習と推論に使っているとし、新規ワークロードでは PyTorch/XLA からの移行を推奨している。
選択肢が増えるのは誰か
最も直接恩恵を受けるのは、単一の GPU 供給に計算コストを縛られたチームだ。既存の PyTorch コードが動くハードウェアが増えれば、価格交渉も待ち時間も変わる。ただし1行の変更が解決するのは「動くかどうか」であって「速いかどうか」ではない。形状や分割方法が GPU 前提で調整されたモデルは、TPU の行列ユニットに合わせた再調整なしに峰值性能には届かないと公式も注意している。個人開発者への短期的影響は限られるが、PyTorch 生態系と TPU の計算資源を隔ててきた6年越しの橋が、ようやく直通路に置き換わった出来事として読むべきだろう。
