TorchTPU는 2026년 10월 20일 PyTorch Conference 2026에서 Google과 Meta의 PyTorch 팀이 함께 오픈소스로 공개했다. 이로써 Google의 TPU가 처음으로 PyTorch의 네이티브 장치가 됐고, 기존 모델은 대개 .to("cuda")를 .to("tpu")로 바꾸는 것만으로 일단 TPU에서 실행을 시작할 수 있다.
기존 연결 방식이 부족했던 이유
TPU는 오랫동안 TensorFlow와 JAX에 묶여 있었다. PyTorch 사용자가 TPU를 쓰려면 2020년에 나온 PyTorch/XLA를 거쳐야 했는데, 레이지 텐서 방식이라 코드에 컴파일 구간을 직접 표시해야 했고, 컴파일 시간이 길었으며, 일상적인 디버깅에 쓰는 즉시 실행 모드를 지원하지 않았고, 분산 학습 신기능 반영도 자주 늦었다. 마이그레이션 비용은 모델 자체가 아니라 작업 방식 전체를 바꿔야 한다는 데 있었다.
바닥부터 다시 만든 백엔드
TorchTPU는 JAX 위에 번역 계층을 얹은 것이 아니다. PyTorch 백엔드로 처음부터 구현돼 런타임에 JAX 의존성이 없고, 즉시 실행을 기본으로 지원하며, torch.compile은 Torch Dynamo를 쓰고, DDP, FSDP, DTensor 같은 분산 방식도 최하위 계층의 집합 통신으로 뒷받침한다. 공식 블로그에 따르면 이미 약 450개의 ATen 연산을 지원하고, Hugging Face 다운로드 상위 5000개 모델의 즉시 실행을 검증했으며, Qwen, DeepSeek, Gemma, Llama는 물론 Whisper, CLIP, ViT 등도 포함된다. 추론 쪽에서는 TorchTPU 기반 vLLM과 SGLang 엔진이 함께 공개됐고, 학습 쪽은 TorchTitan과 Ray를 지원한다. Google은 일부 대형 Google Cloud 고객이 이미 운영 환경의 학습과 추론에 사용 중이라고 밝혔고, 신규 워크로드에는 PyTorch/XLA 대신 TorchTPU를 권장했다.
누가 새로운 선택지를 얻는가
가장 직접적인 수혜자는 단일 GPU 공급에 컴퓨팅 비용이 묶인 팀이다. 기존 PyTorch 코드를 실행할 수 있는 하드웨어가 하나 더 생기면 가격 협상력과 대기 시간 모두 달라진다. 다만 코드 한 줄이 해결하는 것은 실행 가능 여부이지 속도가 아니다. 텐서 형태와 샤딩, 연산 조합이 GPU 아키텍처에 맞춰 조정된 모델은 TPU의 행렬 연산 유닛 특성에 맞게 다시 조정해야 최고 성능에 가까워진다고 공식 설명도 강조한다. 개인 개발자에게 단기 영향은 제한적이지만, PyTorch 생태계와 TPU 컴퓨팅 사이에 놓였던 6년 된 다리가 마침내 직행로로 바뀐 사건으로 볼 만하다.
