亚马逊发布 TorchNeuron:Trainium 成为 PyTorch 原生设备,现有代码改一行设备名即可在 Trainium2/3 上训练和推理,10 月 20 日 PyTorch 大会以 Apache 2.0 开源
阅读 1
- 发布日期
- 2026-10-19
- 类型
- 产品/应用
- 相关机构
- Amazon
- 信息来源
- agipulse
这件事意味着什么
【要点】
亚马逊北京时间 10 月 19 日 20:45 起在 PyTorch 官方博客和 aboutamazon.com(21:00)同时宣布 TorchNeuron:一个让 Trainium 芯片成为标准 PyTorch 设备的原生后端。现有 PyTorch 代码只要把设备改成 .to('neuron'),不用重写就能在 Trainium 上训练和推理。TorchNeuron 将于美国时间 10 月 20 日 PyTorch 北美大会上以 Apache 2.0 协议开源(github.com/aws-neuron/torch-neuronx),同时进入公开 Beta。
技术要点(亚马逊自述):通过 PyTorch 官方的 PrivateUse1 自定义硬件扩展点接入,支持 eager 模式(含实验性「自适应 eager」)和 torch.compile(经 Torch-MLIR 降到 StableHLO 再由 Neuron 编译器编译)、FlexAttention、NKI 自定义内核;分布式支持 DDP、FSDP2、张量并行、流水线并行和 DTensor,集合通信走芯片内专用核心和 EFA;BF16/FP32/FP16 可用,FP8 和 TorchAO 仍是私有 Beta。覆盖 Trainium2 和 Trainium3,vLLM Neuron、vLLM Omni Neuron 推理插件也建在其上。Hugging Face 已在自家工具中直接支持 Trainium,TorchTitan 可直接用于多机训练。
早期用户包括语音 AI 公司 Cartesia 和 Lieber 脑发育研究所。亚马逊称每个版本都用数十万个模型做回归测试,并把去除芯片绑定的改动提交回 PyTorch 上游。Meta 的 PyTorch 工程总监 Jana van Greunen 为发布背书。
【可核验】
亚马逊官方:https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai
PyTorch 博客技术说明:https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/
大会议程(10/20 主题演讲):https://pytorch.org/blog/your-guide-to-hardware-acceleration-compute-infrastructure-at-pytorch-conference-north-america-2026/
【我们的判断】
一、英伟达最深的护城河是 CUDA 软件栈,而不只是芯片。亚马逊这次不再要求开发者改写成 Neuron 专用代码,而是让 Trainium 以 PyTorch 原生设备的身份出现,直接降低用户从 GPU 迁移的成本。
二、「零改代码」是厂商说法。实际性能、算子覆盖和 torch.compile 的稳定性,要等 10 月 20 日开源后由社区测出来。FP8 还没正式可用,对大模型训练是明显短板。
三、这条路线和谷歌 TPU、AMD ROCm 一致:都在争取 PyTorch 原生后端的地位。PyTorch 越与硬件无关,云厂商自研芯片越容易拿到外部客户。
同一天的短讯集中在 2026-10-19 短讯
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策