Evergreen 工具站
|
← 返回AI工具

TorchTPU 开源：PyTorch 原生跑上 TPU

Google 在 PyTorch Conference 2026 上把 TorchTPU 开源，TPU 正式与 GPU、CPU 并列成为 PyTorch 的原生硬件选项。这套栈和 Meta 的 PyTorch 团队共同开发，现有 PyTorch 代码几乎不用改就能跑；eager 调试完切 torch.compile 上生产，vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face、LiteRT 全部打通

工具界面

交互式工具即将上线

功能特点

  • ✓ TPU 成为 PyTorch 的第三种原生硬件，同一套代码覆盖训练、推理与部署，硬件选择不再绑死一家的加速卡
  • ✓ 与 Meta 的 PyTorch 团队共同开发，用熟悉的 API 就能跑现有 PyTorch 负载，改动量极小；eager 模式调试，torch.compile 上生产
  • ✓ 推理侧接上 vLLM（连续批处理、量化、多芯片并行）与 SGLang（RadixAttention 复用 KV cache），保留上游的 worker、调度器与 API server
  • ✓ Hugging Face Transformers v5 里 device_map=tpu 一行就部署到 TPU，Diffusers 原生支持 eager、torch.compile 与张量并行
  • ✓ TorchTitan 在 Qwen3 8B 上跑到约 52% MFU，线性扩展验证到 8192 张 Ironwood TPU（TPU v7x）
  • ✓ LiteRT 加入 PyTorch 生态，litert-torch.convert() 一次转换即可部署到 Android、iOS、macOS、Windows、Linux、Web 与 IoT 设备

使用步骤

  1. 到 GitHub 上的 google-pytorch/torch_tpu 拉代码，按 cloud.google.com/tpu/docs/pytorch-on-tpu 的文档配好环境
  2. 先用 eager 模式把现有模型跑通，确认算子、分布式原语和诊断工具都与本地一致
  3. 确认无误后切 torch.compile 提 TPU 利用率、降显存；Hugging Face 上的模型直接传 device_map=tpu
  4. 上生产选后端：追吞吐用 vLLM，跑结构化与多步智能体用 SGLang，跨 TPU/GPU 编排用 llm-d 1.0 的前缀缓存感知路由

常见问题

TorchTPU 是什么？

是 Google 为 TPU 做的原生 PyTorch 栈，2026 年 10 月 21 日在 PyTorch Conference 2026 上宣布开源，代码在 github.com/google-pytorch/torch_tpu。官方说明是让 TPU 与 GPU、CPU 一起成为 PyTorch 的原生硬件选项。原文：https://cloud.google.com/blog/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus

现有 PyTorch 代码要改多少？

官方口径是用熟悉的 API、以最小的代码改动就能把现有 PyTorch 工作负载跑在 TPU 上。实践路径是先在 eager 模式下调通，再用 torch.compile 优化 TPU 利用率和显存占用。

哪些框架和库已经支持？

官方列出的有 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face、LiteRT。其中 vLLM 是与 Inferact 合作的原生后端，SGLang 是与 RadixArk 合作的版本，两者都保留了上游的 worker 模型、调度器与 API server。

训练侧能跑到多大规模？

官方数据是 TorchTitan 走 TorchTPU 训练路径时，Qwen3 8B 上最高约 52% MFU，近线性扩展到 8192 张 Ironwood TPU（TPU v7x）。TorchTitan 自带 Llama 3 70B/405B、Qwen3 8B/32B、Qwen3 235B MoE 和 FLUX.1 12B 的配比。

端侧部署怎么办？

LiteRT（原 TensorFlow Lite）这次加入了 PyTorch 生态，用 litert-torch 的 convert() 一次转换，基于 torch.export() 与 Core ATen 算子，模型代码仍然留在 PyTorch；转换后的模型能在 Android、iOS、macOS、Windows、Linux、Web 和 IoT 上跑，CPU 走 XNNPack、GPU 走 ML Drift。