PyTorch Conference 2026: Google and Meta Open-Source TorchTPU for Native PyTorch on TPUs

PyTorch 2026大会：谷歌与Meta开源TorchTPU 实现PyTorch原生TPU支持 - InfoQ

InfoQ 首页 News PyTorch 2026大会：谷歌与Meta开源TorchTPU 实现PyTorch原生TPU支持

AI、机器学习与数据工程

从Token到特征：构建AI辅助工程的成本归因体系（10月29日网络研讨会）

PyTorch 2026大会：谷歌与Meta开源TorchTPU 实现PyTorch原生TPU支持

2026年10月25日 4分钟阅读

作者：

• Andrew Hoblitzell

#### 关注我们

YouTube

232K关注者

LinkedIn

26K关注者

Instagram

新

RSS

19K读者

X

57.1k关注者

Facebook

21K点赞

Bluesky

收听本文 -

0:00

音频准备就绪

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

• 阅读列表

在2026年北美PyTorch大会上，谷歌与Meta开源了TorchTPU，这是谷歌TPU（张量处理单元）的原生PyTorch后端。Meta软件工程师周宗伟在10月21日的主旨演讲中表示，作为2016年创建PyTorch的公司，Meta计划通过TorchTPU将更大规模的LLM（大语言模型）工作负载迁移至TPU。

TorchTPU取代了2020年推出的PyTorch/XLA惰性张量桥接器，据官方声明，"该工具需要进行侵入式的源代码修改"。新后端的目标是让模型迁移像将model.to("cuda")改为model.to("tpu")一样简单。"借助TorchTPU，TPU与GPU和CPU一样，成为PyTorch的原生选项，"谷歌云在联合作者Bill Jia（Core ML/AI工程副总裁）发布的声明中表示。

Jia与Zhou共同发表了题为"智能体时代的工作负载可移植性：将原生PyTorch带到云TPU"的主旨演讲。此前的两场演讲设定了需求背景。PyTorch基金会执行主任Mark Collier表示，推理工作负载已超过训练成为数据中心最大的工作负载，催生了"对token的极大需求"。Collier描述社区的目标是开发"可在任何云平台的任何芯片上运行，并连接任何智能体的开源软件模型"。基金会的主旨演讲幻灯片展示了市场的快速发展：DeepSeek的Flash模型在37天内成本下降60%，Kimi K3在相同硬件上33天内运行速度提升68%。

智能体AI基金会执行主任Mazin Gilbert表示，2026年2月6日，智能体消耗的token量已超过人类消耗量。此后智能体消耗量增长了14倍，而人类仅增长2.8倍。"这基本上是一个呈指数级增长的 hockey stick曲线，"Gilbert表示。从业者在复用这些数据前应确认范围，因为公开数据仅来自单一平台OpenRouter。

由于TorchTPU接入PyTorch底层调度器，演讲者表示Hugging Face模型可直接使用。vLLM和SGLang推理引擎原生支持，TorchTitan支持密集模型、专家混合模型和扩散模型的大规模训练。Ray和llm-d可在Kubernetes上跨主机扩展TPU工作负载。开源了四个仓库：TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU和TorchTitan。

Jia展示了超过8000个TPU芯片的近线性扩展能力，随着集群规模扩大，每个芯片的吞吐量基本保持稳定。谷歌发布的实验结果包括在8192个TPU v7x芯片上运行Qwen3 235B专家混合模型，模型FLOPs利用率达28%。声明坦率指出，这一行代码的修改只是一个起点：

仅通过这种简单的更改无法实现TPU的峰值性能，因为模型的形状、分片和操作可能更偏向于GPU架构；但模型应该能够开箱即用。

为弥补这一调优差距，Google的解决方案是引入更多代理。Jia在宣布TPU代理套件时指出，该套件现已在GitHub上预览，可集成到编码框架中，用于自动化上架、诊断和性能调优。

周表示，Meta的PyTorch团队与Google联合开发了TorchTPU，"旨在让TPU成为PyTorch的一流原生目标"，并引用了对性能、可靠性和可维护性的生产需求。"所有这些内容都是开源的，今天已可供使用，这只是个开始，"周说道。Meta的PyTorch工程总监Jana van Greunen在Google Cloud的公告中解释了动机：

在Meta，推动AI前沿需要巨大的计算规模和深入的硬件多样性。我们不能被单一的硬件架构所限制。

Google并非唯一参与者。AWS于10月20日将TorchNeuron（其Trainium芯片的原生PyTorch后端）公开测试版发布，仅需代码更改.to('neuron')。这两个后端都通过PrivateUse1注册，这是PyTorch为自定义硬件提供的扩展接口。TorchNeuron的首次发布存在局限：Next Web报道称，它目前尚不支持动态输入形状，并跳过了约22,000个PyTorch测试。在Forkast的一篇分析中，Blair Hayes认为锁定现象只是转移而非消失：

虽然PyTorch的扩展接口为开发者提供了通用语言，但优化和供应层仍牢牢掌握在供应商手中。

在Hacker News上，TorchTPU发布帖子获得379个赞，评论中既有欣慰也有实际疑虑。一位评论者写道："我记得过去必须与XLA斗争才能让PyTorch在TPU上运行，现在终于获得了原生支持！"其他人则询问在哪里能买到TPU。一位曾评估过Google本地TPU的评论者则较为冷静："我们评估过它们，但决定至少再坚持一代Nvidia。"

在数据中心之外，可移植性也是核心卖点。在关于使用ExecuTorch部署机器人策略的会议中，Meta的Anthony Shoumikhin和Jacob Szwejbka认为，策略可以从训练到设备全程保留在PyTorch中，无需转换堆栈。相同的量化和操作图可在从NVIDIA Jetson的TensorRT到Intel的OpenVINO的各种目标设备上运行。

训练专题讨论为成本侧提供了具体数据。在介绍Miles强化学习框架时，RadixArk的Yueming Yuan表示，将两个对数概率计算融合为一个内核使该步骤速度提升了10倍以上。Delta更新将一次大型运行中每个权重同步的数据量从62GB减少到不到1GB。

多个会议展示了用于训练代理的开源工具。Anyscale的SkyRL将训练、推理和环境分离，并通过Ray进行编排。Hugging Face的OpenEnv（10月22日加入Agentic AI基金会）为每个RL环境提供统一接口。使用TRL和OpenEnv，Hugging Face的Sergio Paniego Blanco通过四个代码代理训练了一个小型Liquid AI模型，其在保留任务上的得分从42%提升至54%。

对于正在考虑迁移的团队，一行设备更改可以启动一个模型，但该模型未经过调优，因此预算需涵盖分片和内核工作，并首先确认TPU容量。有兴趣了解更多信息的开发者可以阅读TorchTPU 宣布，TorchTPU 仓库或InfoQ对PyTorch Conference 2024的报道。会议录像预计在活动结束后两周内发布在PyTorch基金会的YouTube频道。

作者信息部分主容器

关于作者

#### 作者信息部分标题

每位作者的主要信息容器

#### Andrew Hoblitzell

显示更多

显示更少

#### 本内容属于AI、机器学习与数据工程主题

##### 相关主题：

• DevOps
• AI、机器学习与数据工程
• 云技术
• 机器学习
• 大型语言模型
• 智能体
• 相关编辑内容
• 相关赞助商 《实用智能体编码实践手册》
• 相关赞助商 大规模自动化代码转换。修复漏洞、迁移框架、现代化所有仓库中的遗留代码。免费试用Moderne

InfoQ 新闻通讯

每周二发送上周InfoQ内容摘要。加入超过25万名高级开发者的社区。查看示例

我们保护您的隐私。