PyTorch Conference North America 2026: Accelerating Open Intelligence Together

TL;DR · AI 摘要
PyTorch 2026年北美会议展示了TorchTPU、TorchNeuron等关键进展,推动跨硬件平台的AI模型训练与部署。
核心要点
- TorchTPU实现Google TPU的原生PyTorch支持,简化工作负载迁移
- TorchNeuron为AWS Trainium提供原生后端,单配置变更即可运行
- IBM和AMD的编译器开发扩展PyTorch在异构硬件上的兼容性
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- PyTorch 2026会议进展
- TorchTPU
- Google TPU原生支持
- TorchNeuron
- AWS Trainium后端
- 编译器优化
- IBM SpyreCode
- AMD GPU支持
金句 / Highlights
值得收藏与分享的关键句。
TorchTPU支持eager execution和torch.compile,迁移只需设备变更
TorchNeuron实现AWS Trainium单配置变更部署,兼容PyTorch API
IBM SpyreCode编译器通过PyTorch API连接AMD MI350 GPU优化内核
2026年北美PyTorch大会:携手加速开放智能 - PyTorch
2026年北美PyTorch大会于10月20日至21日在圣何塞举办,吸引了3500多名参会者。大会为期两天,聚焦加速开放智能发展,并探讨PyTorch基金会项目(如PyTorch、vLLM、DeepSpeed、Ray、Helion和Safetensors)对行业的影响。
PyTorch基金会执行董事Mark Collier在大会开场演讲中展示了基金会如何构建开源软件,实现任何芯片、任何云环境和任何智能体的模型训练与服务。
携手加速开放智能
Mark Collier的开幕主题演讲串联了研究、模型、框架、基础设施、硬件和生产等多个领域的工作。第一天重点探讨了各层级技术突破如何帮助社区协同加速发展。第二天则展望了更广泛的硬件参与、工作负载在更多环境中的迁移,以及更大规模的前沿模型训练与定制化。
PyTorch生态系统近期的重要进展表明,AI本身正在加入学习循环,以改进代码、内核和研究工作流程。大会期间及此前几天发布的公告和更新涵盖了以下工作:
Google TPU原生PyTorch支持
TorchTPU是谷歌与Meta合作的开源项目,为Google TPU提供了原生且原理化的PyTorch后端。它支持即时执行和torch.compile,已验证的集成方案包括TorchTitan用于训练、vLLM和SGLang用于推理、Ray用于编排。工作负载迁移可能仅需设备变更,而峰值性能可能需要对形状、分片和操作进行额外调整。
阅读《TorchTPU介绍》。
AWS Trainium原生PyTorch支持(TorchNeuron)
TorchNeuron是针对AWS Trainium(及对应Amazon EC2实例:Trn2和Trn3)的开源原生PyTorch后端,使AI研究者和从业者只需一次配置变更即可实验和运行PyTorch工作负载。通过即时执行、torch.compile以及对PyTorch API(DTensor、torch.distributed)和TorchTitan等库的原生支持,TorchNeuron实现了从研究实验到生产部署的全流程。基于Apache 2.0协议的公开测试版于10月20日在PyTorch大会上发布。
阅读《TorchNeuron介绍》。
IBM Spyre和AMD GPU编译器开发
IBM的“从KTIR到SpyreCode”解释了torch-spyre如何将Inductor关于任务划分和张量放置的决策转化为可执行程序。开源数据流调度器在设备特定阶段生成SpyreCode前,会构建数据移动和计算的流水线。10月21日的FlyDSL更新还描述了针对AMD MI350系列GPU的可选后端,通过现有PyTorch API将符合条件的操作连接到优化内核,同时保留对不支持工作负载的现有实现。
阅读《从KTIR到SpyreCode》。
TorchTitan与TitanRL
TorchTitan扩展了其5D并行堆栈的模型支持,并通过TitanRL引入强化学习。TitanRL在预训练、微调和vLLM内的执行过程中保持相同的模型实现,支持异步rollout和多种并行形式用于训练和生成。本次更新还涵盖性能改进、FlexShard、基于图的训练、分布式通信和检查点功能。
阅读 TorchTitan 更新。
Helion 与 NVIDIA CompileIQ
Helion 与 NVIDIA CompileIQ 的整合为内核自动调优搜索增加了编译器控制功能。开发者可以将高级控制文件与内核配置(如分块大小和线程数)一同进行评估,支持离线调优并锁定选定配置。编译器默认设置仍会作为搜索候选方案之一。
阅读 Helion 与 NVIDIA CompileIQ 的相关内容。
ExecuTorch 在 Arm Cortex-M CPU 上的应用
ExecuTorch 现在提供了从 PyTorch 训练到设备端推理的直接路径。Cortex-M 后端使 PyTorch 模型能够直接在 Arm Cortex-M CPU 上运行,并借助 Arm CMSIS-NN 加速。该方案通过单一工作流支持所有能力层级(标量、DSP 和 MVE/Helium)。
阅读《将 ExecuTorch 带入 Arm Cortex-M CPU》。
Zephon 为 TorchTitan 带来弹性确定性数据加载
Zephon 与 TorchTitan 的整合在训练恢复时可保持相同的全局批次。在 10 亿参数模型测试中,训练从 16 块 GPU 的检查点恢复到 8、32 和 64 块 GPU 上时,每个全局批次的 SHA-256 哈希值与原始运行完全一致。Zephon 在训练任务内部完成数据分词、打包、洗牌和混合操作,避免了预处理语料库的副本。
了解更多关于 Zephon 的信息。
九家新成员加入 PyTorch 基金会
新晋白金会员包括 Nebius、Nscale 和 Shopify,进一步巩固了 PyTorch 基金会作为开源 AI 开发智能层的核心地位。
基金会欢迎以下新成员加入:
- 白金会员:Nebius、Nscale 和 Shopify Inc.
- 银牌会员:LightSeek 基金会和 Lablup Inc.
- 联合会员:SKOPOS INDIA FOUNDATION、Siksha ‘O’ Anusandhan、Messiah University 和 Valencia College.
如今,AI 创新正同时在所有技术层级发生,研究、模型、基础设施、硬件和生产相互推动发展。PyTorch 基金会作为这个互联生态系统的中心枢纽,汇聚了研究人员、开发者和构建开放 AI 的企业。
“当更多人、项目和组织协同工作时,开放系统会学习得更快,产生复利效应,”PyTorch 基金会执行主任 Mark Collier 表示。“开源生态系统使突破性进展能够在组织间传播,而非被锁定在单一公司内部。”
Nebius 长期为 vLLM 提供计算资源支持开发、测试和基准测试,包括在 DeepSeek R1 等大型模型上的多节点工作。
Nscale 最初通过 Ray 进入 PyTorch 基金会项目生态,Ray 是一个用于分布式计算和扩展 AI 工作负载的开源框架。随着 Nscale 计划收购 Ray 的开发公司 Anyscale,Nscale 承诺继续投资 Ray 的开发及其贡献者社区,并在 Ray 于 2025 年 10 月加入基金会后,持续推动其治理结构发展。
“大多数基础设施提供商将框架和数据中心视为两个独立的问题。我们则将它们视为一个整体。PyTorch之所以能成为AI的基础层,是因为它保留了研究人员熟悉的Python风格,同时在性能方面投入了大量精力。Ray作为PyTorch基金会的一部分,采取了不同的方法:让这些工作能够跨数千个GPU运行。随着Ray的创建者Anyscale即将加入Nscale,我们不仅仅是使用这个生态系统,而是在其下方构建基础设施。Nscale云原生平台工程副总裁Nick Jones表示:‘作为PyTorch基金会的铂金会员,我们直接支持这一生态,而不仅仅是从中受益。’”
Shopify的工作在Cody Mazza-Anthony的主题演讲和配套案例研究中均有展示。通过使用PyTorch和vLLM构建持续学习循环,Shopify每天将生产故障压缩到模型权重中,其模型质量超越了前沿模型,并将服务成本降低了96%。
- 阅读完整的会员新闻稿
- 了解更多关于Nebius加入PyTorch基金会的信息
- 了解更多关于Nscale加入PyTorch基金会的信息
- 阅读Shopify的持续学习案例研究
第0天:培训、研讨会及联合活动
10月19日的第0天活动包括:
- PyTorch与Red Hat、NVIDIA和IBM合作推动企业应用
- LF AI & Data Summit 2026
- PyTorch认证培训(Associate Training)
- Jupyter日
- 从学术到应用研讨会
- Arm与Google、Google DeepMind、Nota和Renesas合作的创新项目
- 在Amazon SageMaker上微调LLM,并通过GenieX在设备端运行
PyTorch认证培训提供了面对面的讲师指导课程,聚焦于PyTorch认证助理(PTCA)考试涵盖的基础和实用技能。通过讲座、演示、指导实验室和评估,该培训旨在帮助参与者从零开始构建和优化真实世界模型。课程完成后将包含认证考试的代金券。
感谢主讲人Faradawn Yang、内容创作者Sahdev Zala以及助教Allison Ding、Krishna Kalyan、Santosh Bahir、Lakshay Garg和Ian Wang的贡献。
由PyTorch基金会OSPO与学术推广工作组主办的“从学术到应用”研讨会,聚焦于如何将有潜力的PyTorch项目从单一论文、实验或实验室中推广出去。该社区活动探讨了如何将研究软件转化为可靠、可重复使用的工具,供他人采用、贡献和进一步开发。
两天的主题演讲
10月20日(星期二)
- 共同加速开放智能:Mark Collier(PyTorch基金会)
- Shopify使用PyTorch和vLLM的持续学习循环:Cody Mazza-Anthony(Shopify)
- PyTorch更新:Alban Desmaison和Edward Yang(Meta)
- MAX与Mojo:扩展PyTorch的最佳方式:Chris Lattner(Qualcomm)
- Ray的演进:支持AI工作负载:Ion Stoica(UC伯克利/Anyscale)
- Trainium的原生PyTorch之旅:Robert Hundt(Amazon)
- 超越暴力计算:适应性智能时代:Sara Hooker(Adaption)
- Meta的PyTorch应用:从内部工作负载到多芯片生态系统:Jana van Greunen(Meta)
- vLLM更新:扩展开放前沿推理基础设施:Simon Mo(Inferact)
- 生产级开源推理:Carlos Costa(IBM)、Abdullah Gharaibeh(Google Cloud)和Stephen Watt(Red Hat)
- PyTorch在Vera Rubin上的代理性能:Ujval Kapasi(NVIDIA)
10月21日(星期三)
- 构建开源AI的未来:Mark Collier(PyTorch基金会)
- 从AI到智能AI再回归:Mazin Gilbert(智能AI基金会)
- 智能时代的工作负载可移植性:将原生PyTorch带到云TPU:Bill Jia(Google Cloud)和Zongwei Zhou(Meta)
- 从硅芯片到规模化模型:Priya Nagpurkar(IBM)
- 贡献者奖项 – 由Red Hat赞助:由Cara Delia(Red Hat)和Chris Gottbrath颁发
- 使用DeepSpeed扩展大前沿模型训练:Zhipeng Wang(Google)
- 开放科学与AI基础模型:知识探索的合作伙伴:Rachad Alao(Cohere)
- AI模型定制平台:Yiwei Song(Crusoe)
- 研究时代的线性代数:Mark Saroufim(Core Automation)
技术会议与社区博览会
今年的精彩议程涵盖了超过100场会议,内容从基础概念和核心框架工作,到训练、推理、应用、内核工程和负责任的人工智能。每个专题均突出展示了PyTorch基金会项目在构建、扩展、部署和实际应用中的不同方面。查看完整日程,并关注PyTorch YouTube频道,所有会议内容将在会后发布。
除了技术会议,大会还通过社区博览会的现场体验促进了社区协作,包括"志同道合者"(BoFs)讨论、演示剧场的实时展示、开发者见面会期间与核心维护者的直接问答,以及专为女性和非二元性别者设立的PyTorch午餐会等定向社交活动。与会者排队领取Philip Kiely亲笔签名的《推理工程》书籍,现场还有无数机会进行交流与创新。144场海报会议展示了由社区主导的创新成果,涵盖核心PyTorch开发、内核工程、模型训练、设备端推理和负责任的人工智能等多个领域。亮点包括针对多样化硬件架构的LLM性能优化技术、高效的设备端部署框架ExecuTorch,以及新颖的智能工作流。
庆祝2026年PyTorch贡献者奖得主
2026年PyTorch贡献者奖表彰了在PyTorch基金会项目(包括PyTorch、vLLM、DeepSpeed、Ray、Helion和Safetensors)中展现的创新、协作和影响力。
祝贺获奖者:
- 杰出大使:Jiho Kim
- 新星:Jiangyun Zhu 和 Johannes Zeiser
- 知识增强者:Abdulsalam Yazid Bande 和 Suman Debnath
- 错误终结者:Guilherme Vieira Leobas 和 Vishal Goyal
- 审核能手:Wentao Ye
- 催化剂:Jiahao Tan 和 Harry Mellor
- 创新者:Masahiro Tanaka、Elfie Guo 和 Xinan Lin
- 生态系统冠军:Guangye Yu
- 超级英雄:Thomas Ortner
祝贺提名者:Chandra Mohan Singh Negi、Arun Bhandari、Masahiro Hiramori、Luka Govedič、Irakli Salia、Jiahao Chen、Kunshang Ji、Rohit Kumar Tiwari、Subin George、Xunzhuo Liu 和 Aaron Gokaslan。
感谢Red Hat的Cara Delia和Chris Gottbrath颁发奖项,感谢Red Hat的赞助支持。
我们同时感谢2026年奖项委员会:Chris Hoge(NVIDIA)、Chris Gottbrath、Ashok Emani(Intel)、Piotr Bialecki(NVIDIA)、Yashasvi Misra、Sudhir Dharanendraiah(Red Hat)、Zesheng Zong(华为)、Jiawei Li 以及 Kaichao You(Inferact)。
与De La Soul共同举办的Flare派对和AI社区庆典
社区博览会将与会者与赞助商和参展商聚集在展位上,共同探讨开源AI堆栈各层面的工作。Day 1结束后,周二的Flare Party延续了这一交流,Demo Theater内提供了美食、饮品和趣味问答环节。
周三的AI社区晚宴汇聚了AGNTCon + MCPCon与PyTorch社区成员,共同度过了一个充满美食、饮品、优质社交圈以及传奇嘻哈组合DE LA SOUL现场演出的夜晚。
感谢我们的项目主席、委员会和赞助商
感谢项目主席Jeff Daily(AMD)、Alban Desmaison(Meta)和Mike Ruberry(NVIDIA),以及全体项目委员会成员贡献的时间与专业见解。
了解项目主席和委员会成员。
感谢我们的钻石赞助商:AMD、AWS、Crusoe、Google、IBM、Meta、NVIDIA和Qualcomm。
感谢我们的白金赞助商:Anyscale、Arm、Baseten、Clockwork.io、华为、Inferact、Intel、Lightning AI、Nscale、Red Hat和Verda。
我们感谢每一位赞助商的支持。请访问会议官网查看完整的赞助商名单。
展望2027
感谢所有在圣何塞汇聚的贡献者、维护者、演讲者、与会者和会员组织,共同推动开放智能的发展。
敬请期待会议演讲幻灯片和录像资料,敬请预留日期:PyTorch大会将于2027年10月6日至7日重返圣何塞!
/post-content
/inner-wrap