Offloaded inference for real-world physical AI robotics

实物AI机器人卸载推理 - 微软研究院

/.itemprop=publisher

/itemprop=image

实物AI机器人卸载推理

发布于2026年9月23日

作者：Ganesh Ananthanarayanan，高级首席研究员 Matthew Balkwill，首席软件开发工程师 Xenofon Foukas，首席研究员 Sanjeev Mehrotra，软件架构师 Bozidar Radunovic，高级首席研究员 Connor Settle，高级软件工程师 Ankit Verma，软件工程师 David White，首席软件工程师 Shawn Cicoria，首席软件工程师负责人兼架构师 Mark Martin，多学科工程经理 Rachel Johnson，软件工程师 II Mayur Patel，首席技术项目经理

分享此页面

• 在Facebook上分享

• 在X上分享

• 在LinkedIn上分享

• 在Reddit上分享

• 订阅我们的RSS源

/#single-header

一目了然

• 挑战机器人AI的核心假设：我们的研究表明，仅在车载GPU上运行实物AI推理会限制机器人性能、电池寿命和可扩展性，而将推理卸载到边缘或云端GPU可带来显著优势。

• 展示推理卸载的可衡量效益：在代表性移动操作任务中，卸载推理提高了任务成功率，支持更大AI模型，并帮助机器人在动态真实环境中更有效响应。

• 延长机器人运行时间：用轻量级车载硬件和远程推理替代耗电的车载AI计算，可显著提升电池寿命，使机器人在充电间隔内运行更长时间。

• 在实物AI工具链中引入新功能：开发者现在可以使用基于Kubernetes的工具，将机器人AI工作负载容器化、部署并编排到机器人、边缘基础设施和云端，实现分布式推理。

现成的实物AI在制造、家庭和仓储场景中通过机器人协助用户，具有巨大潜力，可提升广泛任务的安全性、生产率和辅助能力。在许多方面，物理世界的AI代表了AI领域的重要前沿。实物AI必须在开放、不可预测的环境中运行，与其它机器人和人类互动，并适配多种形态的实体。实现这一愿景需要在三个维度取得进展：机器人硬件、具身AI模型，以及用于训练和推理的系统基础设施。虽然机器人硬件和AI模型近年来迅速发展，我们关注一个相对较少被探讨的方面：实物AI的推理基础设施。要使机器人有效且安全地在物理世界中运行，需要复杂的系统来处理大量分布式推理计算。

今天，实体AI的主流方法是为机器人配备一块GPU，例如通过将GPU连接到机器人上。在这种模式下，机器人的推理将局限于机载GPU，并为机器人提供执行任务所需的必要模块和操作序列。虽然高层规划可能在云端完成，但任务执行通常仍与机器人本身绑定。我们挑战这一假设。随着实体AI模型在规模和复杂性上的增长，机载计算的限制变得愈发明显。GPU消耗大量电力，缩短电池寿命，增加成本和重量，并可能限制运行最新一代AI模型的能力。

为了更好地理解实体AI的系统影响，我们进行了首项对机器人工作负载的系统性研究。我们聚焦于移动机器人操作，以“检查厨房是否有垃圾并将其放入垃圾桶”等典型任务为例。此类任务包括规划前往厨房的路径、感知环境以发现垃圾、导航至垃圾处、拾取垃圾并返回垃圾桶进行处理。我们评估了涵盖三个核心能力的代表性模型：语义地图与规划、导航和操作，如图2所示。

图2：用于移动操作不同组件的模型详情。

将实体AI推理从机器人中卸载，可提升响应时间、准确率以及电池续航和成本效益。我们评估了推理模型在多种机载、边缘和云端计算配置下的表现。具体测试硬件的详细信息可参见我们的技术报告。

任务性能的提升：我们的评估表明，推理卸载可显著提升机器人在地图构建、规划、导航和操作任务中的表现。部分小型GPU无法容纳移动操作堆栈。在内存充足的GPU上，与A100相比，地图构建和规划速度最多减缓了383%，从而限制了机器人在动态空间中的能力。使用轻型GPU时，导航的障碍物及时检测率下降了30%。尽管VLA模型在小型GPU上的减速并不显著，但减速幅度仍足以使准确率下降50%。换句话说，机载GPU限制了机器人的性能，而将推理卸载到本地或云端GPU则提升了其操作能力，如下方视频所示，并在图表中进行了量化。随着实体AI模型规模和复杂性的持续增长，卸载带来的优势可能更加显著。

图3a：视频展示了使用机载GPU完成交接任务的过程。

图3b：视频展示了推理卸载后完成交接任务的过程。

图4：当使用不同GPU（部分机载、部分卸载）执行推理时，机械臂相互交接物体的成功率。卸载可提升成功率。

电池续航的提升：除性能外，机载GPU还会显著消耗机器人的电池寿命。我们通过将机载GPU替换为Raspberry Pi-5板并将所有数据发送到卸载GPU，比较了电池寿命的提升。更大的机载GPU（如Jetson Thor）即使在大型机器人上也会使电池寿命缩短高达160%（即数小时）。

Figure 5：将GPU推理卸载对机器人电池寿命的影响；上述数据为Stretch-3机器人的测试结果。

上述结果表明，将GPU推理从机器人中卸载对于在开放世界中使用大型模型并实现长电池续航至关重要。然而，将推理从机器人中卸载涉及性能、网络延迟和带宽以及可用GPU资源之间的复杂权衡。我们相信，我们的测量研究将为物理AI推理系统的开发提供指导。

视频系列

再思

由Sinead Bovell制作的视频系列，围绕人们关于AI的普遍疑问展开。我们邀请微软各领域的专家，解析这项快速变化技术的潜力与挑战，探讨其演进方向和可能性。

探索该系列

/.msr-promo__content

/.msr-promo__inner-wrap

在新标签页中打开

/.msr-promo

自动卸载工具集

我们构建了一套工具集，用于便捷地将推理从机器人中卸载，并在边缘GPU和云端之间分配推理任务。Kubernetes作为天然平台，能够为机器人计算、边缘GPU和云端之间的机器人AI提供统一的抽象接口。该工具集通过声明式规范实现机器人工作负载的自动容器化和卸载，利用Kubernetes智能策略部署物理AI容器，并与机器人模拟器、LeRobot和ROS2集成，便于开发。以下步骤展示了工具集如何根据指定的卸载需求生成独立的GPU推理容器并完成卸载。

Figure 6：卸载工具集的容器化与部署步骤。

微软近期发布了Physical AI Toolchain（在新标签页中打开），用于规模化部署物理智能。Physical AI Toolchain是一个开源且生产就绪的框架，将微软Azure（在新标签页中打开）云服务与NVIDIA（在新标签页中打开）的物理AI技术栈集成，加速机器人和物理AI开发人员在感知、移动、模仿学习和强化学习流程中实现数据收集、增强和评估的自动化与规模化。我们宣布在Physical AI Toolchain中新增行业首创的机器人卸载物理AI推理功能。此次发布包含SO-101和UR10e推理卸载的示例项目。下方视频展示了微软Rho模型（针对双臂机器人设计）推理的卸载过程，该推理被传输至Jetson Thor GPU，用于控制Mobile Aloha机器人（在新标签页中打开）的动作。

Figure 7a：微软Rho模型的GPU推理卸载，用于Mobile Aloha机器人与BusyBox互动以按下蓝色按钮。

Figure 7b：微软Rho模型的GPU推理卸载，用于Mobile Aloha机器人与BusyBox互动以将旋钮转至位置4。

查看推理卸载功能，研究源代码，并向我们反馈您的意见。我们已用许多实际案例进行了测试，期待了解您的部署经验。

相关出版物

卡片

卸载还是过载：移动机械臂操作工作负载的平台测量研究

作者介绍

卡片列包装器

卡片主体

Ganesh Ananthanarayanan

高级首席研究员

卡片页脚

了解更多

Matthew Balkwill

首席软件开发工程师

Xenofon Foukas

首席研究员

Sanjeev Mehrotra

软件架构师

Bozidar Radunovic

Connor Settle

高级软件工程师

Ankit Verma

软件工程师

David White

首席软件工程师

Microsoft

Shawn Cicoria

首席软件工程师主管兼架构师

Mark Martin

跨学科工程经理

Rachel Johnson

软件工程师 II

Mayur Patel

首席技术项目经理

研究领域

• 系统与网络