The State of Simulation for Physical AI: An Overview

物理人工智能仿真的现状：概述

返回文章

[0

[-1

企业

+

]

文章

2026年7月21日发布

点赞

34

[

• +28

Johnny Nuñez Cano

johnnynv

关注

nvidia

Mitesh Patel

mitp

Asier Arranz

asiernvidia

lior ben horin

liorbenhorin-nv

Raymond Lo

raymondlo84-nvidia

为什么需要仿真

图1：人形机器人运动仿真。机器人的姿态由追踪的身体关键点（绿色标记）表示，连续的机器人实例展示了其随时间推移的运动。方向箭头表示指令运动，展示了基于物理的仿真环境在训练和评估机器人运动及控制策略中的应用。

构建物理人工智能系统的主要挑战是数据可用性。大型语言模型（LLMs）和视觉-语言模型（VLMs）可以使用互联网规模的数据集进行训练，但机器人和物理人工智能系统并不具备同样的优势。要训练物理人工智能系统，机器人必须学习与物理世界互动的后果。例如，它需要理解杯子滑落、电缆弯曲或抓取器以错误角度接触物体时会发生什么。

在现实世界中收集这类数据速度慢、成本高、风险大，有时由于任务的破坏性本质而难以实施。仿真通过使开发者能够生成大量逼真且基于物理的数据，搭建起一座桥梁。通过在仿真中远程操作机器人，并利用GPU并行计算扩展数据收集，开发者可以以现实世界数据收集成本的一小部分，生成数千小时的机器人经验。

早期的机器人仿真器主要用于调试几何形状、测试控制器或可视化机器人运动。如今，仿真已成为模型开发流程的一部分。团队使用仿真生成感知数据集、训练强化学习策略、收集演示数据、增强现实世界数据、基准测试模型，并在罕见或对抗性场景中测试策略。这种转变正是为什么工业研究实验室和学术团体越来越多地参与或开发能够满足这些新需求的仿真引擎。

这些需求可以通过三台计算机的范式来理解：

• 训练计算机：用于处理数据和训练基础人工智能模型的大型GPU集群。

• 仿真计算机：使用GPU加速物理和RTX渲染的GPU工作站或集群，用于生成机器人经验、传感器数据和模拟交互。

• 机器人上的计算机：如NVIDIA Jetson AGX Thor级系统这样的边缘设备，在部署期间运行训练好的策略或模型。

图2：物理系统（地球和机器人）持续与虚拟表示（数字模型）交换数据，通过双向反馈回路实现监控、分析、预测和控制。

每台计算机根据任务的延迟、吞吐量、准确性和部署需求扮演不同的角色。

当前可用的仿真引擎种类繁多，每种引擎针对不同应用场景，例如人形机器人、空中飞行器、地面机器人、自动驾驶车辆、四足机器人和灵巧机械臂。这些引擎在强化学习支持、批量仿真、高接触物理模拟、逼真渲染和传感器仿真等方面也存在差异。请参见图2，了解按机器人领域和加速特性对仿真引擎的分类。

我应该使用哪种仿真引擎？

开发者在选择适合当前应用场景的仿真引擎时常常面临困难。这通常涉及几个基本问题，例如：

• 我是否需要可扩展的合成数据生成工作流程？
• 我是否需要进行强化学习？
• 某个仿真引擎支持哪些传感器类型？
• 仿真引擎支持哪些3D资源格式？
• 需要怎样的环境保真度和规模？

这些因素将帮助开发者根据自身开发需求选择合适的仿真引擎。

NVIDIA Isaac Sim和Isaac Lab、MuJoCo、PyBullet、Drake和Genesis是人形机器人和双臂灵巧操作领域最流行的仿真引擎之一。这些引擎各具特色，针对特定应用场景，如扩展强化学习、生成合成数据、在仿真环境中测试算法和/或模型。本文将简要介绍MuJoCo、MuJoCo Warp、NVIDIA Isaac Sim和Isaac Lab。

MuJoCo

MuJoCo（多关节接触动力学）是一款专为机器人、生物力学、强化学习、控制和可动系统仿真而开发的快速且精确的开源物理引擎。与主要面向游戏或视觉真实感的引擎不同，MuJoCo的设计核心是精确的动力学、高接触交互运动和基于模型的优化。MuJoCo在物理正确性至关重要的系统中，强调速度、精度和建模能力。

图3：在MuJoCo中模拟的机械臂。该图展示了一款配备平行夹爪的多关节机械臂在基于物理的仿真环境中的运行状态。MuJoCo用于建模机器人的动力学、运动学和接触交互，使开发者能够在实际部署前开发和评估运动规划、操作和控制算法。

尽管MuJoCo并非总是光追渲染或大规模GPU并行仿真的最佳选择，但其广为人知的核心特性包括确定性流程、定义明确的接触逆动力学、强大的接触建模和广义坐标仿真。

MuJoCo Warp

MuJoCo Warp（也称MJWarp）是基于NVIDIA Warp框架开发的MuJoCo GPU加速实现。该框架用于编写高性能CUDA加速的可微分内核，专为机器人学习和物理仿真优化。

它将MuJoCo风格的可动体物理、高接触交互仿真和机器人动力学引入批量GPU计算环境，使其特别适合强化学习和大规模策略训练。与传统CPU版本的MuJoCo相比，MJWarp更注重吞吐量而非单步延迟：其设计目标是并行模拟多个世界，减少CPU-GPU传输瓶颈，并更高效地扩展高接触交互的机器人任务以适应学习工作负载。

Isaac Sim

Isaac Sim 是一个基于 NVIDIA Omniverse 的开源机器人仿真框架。它采用 OpenUSD 作为核心场景和数据层，使机器人、环境、传感器、材质、光照和物理属性能够以 USD prims 和 schema 的形式进行表示。Isaac Sim 通过 PhysX 提供高保真物理模拟，通过 RTX 实现逼真渲染，并提供针对机器人领域的传感器仿真，支持相机、深度、激光雷达、雷达、分割和合成数据生成工作流。它能够导入来自 CAD、URDF、MJCF、USD 和现实世界重建流程的资产，使机器人能够在逼真的数字孪生环境中进行测试。

Isaac Lab

NVIDIA Isaac Lab 3.0 是一个开源、GPU 加速、支持智能体的机器人学习仿真框架，旨在大规模训练和评估机器人策略。该框架支持智能体辅助的工作流程，用于构建环境、调整物理参数、调试、性能分析、仿真到仿真的迁移以及仿真到现实的部署。其基于模块化管理器和直接工作流的设计，支持强化学习、模仿学习、运动规划、数据收集和策略评估。

Isaac Lab 3.0 与 Isaac Sim 和 Newton 的关系

在 Isaac Lab 3.0.0 中，我们已将 Isaac Sim 与 Omniverse 的依赖关系解耦，使 Isaac Lab 成为一个轻量级、多后端的机器人学习框架。

新架构将特定于后端的代码与核心 Isaac Lab API 分离。开发者可以选择使用 Isaac Sim 配合 PhysX 和 RTX 渲染实现高保真、传感器丰富的仿真工作流，或运行轻量级无头 Newton 物理引擎以实现高吞吐量仿真。此外，开发者可通过独立的 OVRTX 渲染器添加逼真传感器，或利用 Newton 渲染器处理需要大量环境的基于视觉的强化学习任务。

用于机器人领域的现代 GPU 加速物理模拟

现代机器人仿真框架依赖于数值物理：刚体和软体动力学、接触与摩擦模型、关节约束、执行器、传感器以及时间积分。在每次仿真步骤中，引擎会估算物体在力、扭矩、碰撞、重力、约束和控制器输入作用下的运动方式。对于机器人学习，这种物理模拟必须足够快速、稳定、可重复，并能扩展到运行数千个并行环境，同时还要具备足够的精度，以实现从仿真到真实机器人的行为迁移。为解决这些问题，Newton 库应运而生。

Newton

Newton 是由 NVIDIA、Google DeepMind 和 Disney Research 共同开发的开源、GPU 加速、可扩展且可微分的物理引擎，由 Linux 基金会管理。该引擎基于 NVIDIA Warp 和 OpenUSD 构建，并集成 MuJoCo Warp 作为核心物理后端。在更广泛的模拟生态系统中，Newton 为 Isaac Lab 和 MuJoCo Playground 等机器人学习框架提供现代物理层支持，为研究人员提供了可扩展、可微分且与模拟器无关的物理实现路径。在 Isaac Lab 中，Newton 目前是活跃的集成路径，其中 MuJoCo-Warp 求解器被作为高吞吐量机器人学习实验的主要焦点。图示展示了不同应用框架如何与 GPU 加速的物理库和模拟引擎进行通信的分解示例。Newton 提供了多种求解器实现，而非为每个问题规定单一数值方法。SolverMuJoCo 和 SolverFeatherstone 使用广义坐标处理刚体系统。SolverSemiImplicit、SolverXPBD 和 SolverKamino 采用最大坐标公式。SolverVBD 是一个支持刚体、粒子、布料和软体的隐式求解器，但其关节支持仍有限。SolverImplicitMPM 针对基于粒子的连续介质材料，而 SolverStyle3D 专注于布料模拟。由于不同求解器的功能存在差异（包括对关节结构、可变形体、接触和微分的支持），合适的求解器选择取决于所建模的物理系统。

图 4：Newton 物理引擎是一个基于 NVIDIA Warp 构建的开源、GPU 加速模拟引擎，专为机器人研究者和模拟研究者设计。

其他模拟引擎

PyBullet 仍然是快速原型设计的有用 CPU 基准；DART 和 ODE 仍是 Gazebo 的后端；如果需要隐式接触轨迹优化和严谨的数值计算而非吞吐量，Drake 是黄金标准。每个引擎都有其特定的应用场景。但它们都无法满足“我需要在一块 GPU 上运行 4096 个仿人机器人”的需求。

结论

机器人模拟已悄然成为现代具身人工智能堆栈中最重要的层次之一。随着模型从静态数据集转向物理交互，生成高质量、可扩展且多样化的模拟体验不再是可选，而是基础需求。模拟是策略的极限测试场，是数据的放大器，也是越来越多训练流程的起点。

长期以来，机器人模拟器的讨论一直聚焦于“哪个引擎运行最快”，对于许多工作负载，这一说法仍然成立。但 2026 年我们更感兴趣的问题是：哪些堆栈组件可能成为不同引擎共同构建的共享基础设施？目前尚无明确答案，但从当前视角看，一些候选方案似乎具有可行性。生态系统正在碎片化并重组为分层架构，不同工具在专业化、互操作性以及有时竞争中定义着其他工具将构建的抽象层。

我们有信心指出的是，大量相关工作正在开源社区中进行，这些工作采用开放治理模式，并向任何拥有消费级GPU的用户开放。越来越多的核心基础设施（如物理引擎、可微分模拟器和训练流水线）正在以开源项目的形式出现，开源治理模式和面向GPU的工具链正在降低准入门槛并加速迭代进程。无论最终选择使用哪些引擎，仅这一进展本身就值得庆祝。

展望未来：从概念到实践

本文将回顾2026年的技术图景：目前存在哪些技术方案，主要引擎之间的关系如何，以及这些技术演进对物理AI领域建设者的重要性。系列文章的下一篇文章将深入探讨Warp和MuJoCo Warp本身，解释其定义及驱动方式。随后我们将逐步深入，到系列文章结束时，我们将展示一个完整的端到端机器人示例，该示例使用两年前尚不存在的软件栈在GPU上完成训练。

如果您使用本文描述的工具构建了任何项目，无论选择其中的哪些方案，我们都期待看到您的成果。您可以通过任意链接的代码仓库提交Issue，或通过Discord上的Nvidia Omniverse联系我们。

进一步学习资源

• 实践实现：如果您希望与本系列文章同步深入学习，可以参加NVIDIA的SO-101仿真到现实课程，该课程将演示如何使用Isaac Sim、Isaac Lab和GR00T完成从仿真到物理部署的完整流程。

• 全局视野：如需了解更全面的技术图景，NVIDIA的物理AI学习路径提供了涵盖仿真、机器人和具身AI工作流的结构化指导。

更多该作者的文章

介绍Cosmos 3 Edge

33

2026年7月20日

使用NVIDIA NeMo Automodel和🤗 Diffusers规模化微调视频和图像模型

78

2026年7月17日

社区

编辑

预览

通过在文本输入框中拖拽、粘贴或

点击此处

上传图片、音频和视频。

轻点或粘贴此处上传图片

评论

· 注册或登录以发表评论

• +22