谷歌开源 TorchTPU:与 Meta 合作开发的原生 PyTorch TPU 支持栈,Transformers、vLLM、SGLang 同步接入,谷歌称 8192 颗 Ironwood 上 MFU 最高 52%
阅读 0
- 发布日期
- 2026-10-20
- 类型
- 产品/应用
- 相关机构
- 信息来源
- agipulse
这件事意味着什么
【要点】
谷歌云 10 月 20 日(北京时间 19:30)在 PyTorch Conference 2026 上宣布,把原生 PyTorch 的 TPU 支持栈 TorchTPU 在 GitHub 开源。谷歌称,这让 TPU 和 GPU、CPU 一样成为 PyTorch 的原生选项,现有 PyTorch 代码只需少量改动就能在 TPU 上训练和推理。
一、怎么用:TorchTPU 与 Meta 的 PyTorch 团队共同开发,支持 eager 模式调试,再用 torch.compile 做生产级优化;沿用标准 PyTorch API 和原生分布式原语。
二、生态接入:Hugging Face Transformers v5 里传入 device_map="tpu" 即可把模型部署到 TPU,Diffusers 也原生支持;vLLM(与 Inferact 合作)和 SGLang(与 RadixArk 合作)都有了基于 TorchTPU 的原生后端;Ray 原生支持 TPU;VeRL 强化学习框架上游合入了 TPU 后端(预览)。
三、训练数字(谷歌自测):TorchTitan 已在最多约 8000 颗 Ironwood TPU(v7x)上验证,Qwen 3 8B 训练最高 52% 模型算力利用率(MFU),在最多 8192 颗 Ironwood 上接近线性扩展。
四、同时发布:LiteRT(原 TensorFlow Lite)加入 PyTorch 生态,可用 litert-torch 一键转换模型到手机和边缘设备;TPU agent suite 在 GitHub 早期预览,用编码智能体帮助把 PyTorch 模型迁到 TPU 并调优。
五、Meta PyTorch 工程总监在公告中表示,TorchTPU 让 Meta 能把大模型、广告和推荐等 PyTorch 工作负载部署到谷歌 TPU 上。
【可核验】
谷歌云博客:https://cloud.google.com/blog/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus/
GitHub:https://github.com/google-pytorch/torch_tpu
vLLM 后端:https://github.com/vllm-project/vllm-torchtpu
SGLang 后端:https://github.com/sgl-project/sglang-torchtpu
【我们的判断】
一、TPU 过去主要靠 JAX 和 PyTorch/XLA,PyTorch 用户迁过去门槛不低。TorchTPU 走原生后端路线,加上 Transformers、vLLM、SGLang 同步接入,是谷歌对外卖 TPU 算力最关键的一块软件拼图。
二、同在这次 PyTorch 大会上,亚马逊也开源了 TorchNeuron,让 PyTorch 原生跑在 Trainium 上。两家云厂商都在把自研芯片做成 PyTorch 的一等后端,直接冲着英伟达的 CUDA 生态护城河。
三、52% MFU 和扩展性都是谷歌自测数字;Meta 的表态说明它在用,但没说规模。实际迁移成本,要等社区用起来再看。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策