TorchTPU a été annoncé en open source par Google et l'équipe PyTorch de Meta le 20 octobre 2026, lors de la PyTorch Conference 2026. Pour la première fois, le TPU de Google devient un appareil natif de PyTorch : dans de nombreux cas, il suffit de remplacer .to("cuda") par .to("tpu") pour qu'un modèle existant commence à tourner sur TPU, avant toute optimisation.
Pourquoi l'ancien pont ne suffisait plus
Les TPU ont longtemps été liés à TensorFlow et à JAX. Les utilisateurs de PyTorch devaient passer par PyTorch/XLA, lancé en 2020. Fondé sur les tenseurs paresseux, il exigeait de marquer explicitement les zones compilables dans le code, souffrait de temps de compilation élevés, ne prenait pas en charge le mode d'exécution immédiate de PyTorch utilisé au quotidien pour déboguer, et accusait souvent un retard sur les nouvelles primitives d'entraînement distribué. Pour les équipes ayant des pipelines PyTorch établis, le coût de migration ne tenait pas au modèle, mais à la réécriture de toutes leurs habitudes.
Un backend reconstruit depuis la base
TorchTPU n'est pas une couche de traduction supplémentaire au-dessus de JAX. Il a été implémenté comme un backend PyTorch à part entière : aucune dépendance à JAX à l'exécution, un mode eager solide, torch.compile fondé sur Torch Dynamo, et des collectifs TPU qui soutiennent les idiomes distribués comme DDP, FSDP et DTensor au plus bas niveau. Selon le blog officiel, environ 450 opérateurs ATen sont déjà pris en charge et l'exécution immédiate a été validée sur les 5 000 modèles les plus téléchargés de Hugging Face, dont Qwen, DeepSeek, Gemma et Llama, ainsi que des modèles audio et vision comme Whisper, CLIP et ViT. De nouveaux moteurs d'inférence vLLM et SGLang bâtis sur TorchTPU ont été lancés en parallèle, et l'entraînement s'intègre à TorchTitan et Ray. Google indique que TorchTPU sert déjà en production, pour l'entraînement et l'inférence, chez certains de ses plus grands clients Google Cloud, et le recommande pour les nouvelles charges à la place de PyTorch/XLA.
Qui gagne une vraie option
Les premiers bénéficiaires sont les équipes dont la facture de calcul dépend d'une seule offre de GPU : une option matérielle supplémentaire capable d'exécuter le code PyTorch existant change à la fois le rapport de force sur les prix et les temps d'attente. Mais une ligne de code règle la question de savoir si le modèle tourne, pas celle de sa vitesse. Les formes de tenseurs, le sharding et les combinaisons d'opérateurs pensés pour les architectures GPU devront toujours être réajustés aux unités matricielles du TPU pour approcher les performances maximales, comme l'équipe le souligne elle-même. Pour les développeurs indépendants, l'effet à court terme reste limité. Il faut plutôt y voir un desserrement d'infrastructure : le pont vieux de six ans entre l'écosystème PyTorch et la puissance TPU vient d'être remplacé par une route directe.
