What If AI Builds the Robot Instead of Controlling It?

如果AI构建机器人而不是控制它？ - 梯度流

如果AI构建机器人而不是控制它？

Ben Lorica

2026年10月28日

去年我撰文讨论过机器人技术正从定制化机械转向可复用的基础模型，本质上是尝试构建一个通用型机器人脑。最近我提出模型正变得更容易购买，而真正困难的工作在于如何让数据产生价值。但最新发展让这个故事更加复杂。如果我们能自动化更多机器人工程本身所需的工作，会怎样？

感谢您阅读这封简报，考虑成为付费支持者 🙏

#### 机器人工程中的瓶颈

大量机器人问题位于刚性工厂自动化与演示中通用机器人之间。机器人和工作空间可能基本保持不变，但包裹的位置会变化，杂货的形状不同，电缆每次弯曲的方式也不同。机器人专家有时将这种现象称为变体自动化。这些工作在仓库、工厂和食品加工厂很常见，但自动化成本依然高昂。

存在多个瓶颈。机器人缺乏语言模型所拥有的大量物理经验储备，每个新应用场景仍需工程师组装感知、抓取、运动规划和恢复系统。仿真虽然减少了物理测试，但构建能准确反映决定成功因素的仿真环境本身工作量巨大。商业化门槛同样很高。机器人必须快速可靠地运行，而不仅仅是在精心挑选的演示中取得成功。

#### 构建机器人的四种方式

传统方法结合了成熟的感知、运动规划和控制组件。这些系统可以快速可靠，但每个应用场景都需要大量工程工作。最近，视觉-语言-动作模型（Vision-Language-Action models，VLAs）试图用学习替代部分工作。给模型图像和指令，它就能生成动作。这种方法的承诺是更广泛的泛化能力，但多个VLAs在物体位置或任务指令变化时都遇到了困难。

仿真提供了另一条路径。机器人可以在不占用硬件或每次失败后需要人工重置场景的情况下练习数千次。困难之处在于让虚拟环境能准确预测现实环境。摩擦力、重量、刚度或接触行为的小误差都可能导致在虚拟环境中成功的策略在实际硬件上失败。这就是熟悉的仿真到现实问题。

世界模型正越来越多地被视为解决方案的一部分。一些模型从大量视频中学习，然后为机器人策略提供基础。另一些模型则重建真实环境、生成额外经验或测试动作后可能发生的情况。最有趣的系统已经是混合体，将学习到的表征与仿真、传统软件和真实失败的反馈相结合。世界模型与传统模拟器之间的界限正变得越来越模糊。

#### 如果AI构建机器人程序？

这正是为什么最近Ken Goldberg的一篇文章引起我的注意。他的团队正在探索其称为Agentic Robotics（智能体机器人）的研究方向。他们不是让一个大型神经网络直接控制机器人，而是通过编码代理从可复用的机器人技能中组装程序。他们的Graph-as-Policy系统将程序表示为连接模块，用于感知、抓取和运动规划等任务。代理在模拟环境中反复演练程序，发现其失败之处，并修改相关部分，而不是重新训练整个系统。

更令人惊讶的步骤是自动化模拟器本身。Goldberg描述了如何给前沿模型提供一段机器人用海绵擦拭金属棒上墨水的短视频，并为其提供物理引擎的访问权限。模型构建了模拟环境，随后代理使用该模拟环境改进机器人程序，之后才在真实机器人上运行代码。并非所有试验都成功。有一次，机器人推倒了金属棒，因为其质量无法从视频中可靠推断。这种失败表明，为什么在真实硬件上进行测试仍然重要。这让我想起了最近关于AI辅助芯片设计的对话。硬件工程师正在使用基础模型编写和优化内核（kernels），这些专用程序使模型在特定硬件上高效运行。在这两种情况下，AI都在帮助专家完成传统上需要详细、专业且耗时的工程工作。

我们有理由认真对待这些进展，但也有理由不要过度解读证据。在一项基准测试中，智能体生成的系统接近机器人专家构建的图结构。在另一个案例中，Ambi Robotics报告称使用智能体分析了500个生产事件，并在大约十小时内开发出三个候选修复方案。该公司随后在客户仓库的生产机器人上对这三个方案进行了十天的测试。其中两个方案降低了吞吐量，第三个方案将吞吐量提高了每小时4.2个包裹，Ambi表示已将该修复方案部署到其美国舰队的30%。这些仍然是受限的工业任务，而开放式操作和人形机器人要困难得多。有趣的结果并不是智能体总是正确，而是生成、测试和改进高度具体的工程解决方案的成本可能大幅降低。

#### 世界模型可能需要证明其价值

改变我观点的是Agentic Robotics在没有学习到的世界模型的情况下能取得多远的进展。一个通用基础模型可以解释任务、帮助构建特定任务的模拟环境并编写机器人程序，而传统物理引擎处理动态过程。对于受限的工业任务，这表明学习到的世界模型并非总是必需。开发这些模型的公司需要证明学习到的模型能提供基础模型、现有机器人软件和物理引擎无法同样提供的内容。

我不会排除世界模型的可能性。它们可能重建环境、补充从短视频中难以推断的物理行为，或为压力测试生成变体。VLA（视觉语言模型）可能仍然是处理难以编程的操作技能的最佳方式。更大的转变是，这些模型未必需要成为机器人的“大脑”。通用智能可以存在于一个工程代理中，该代理为特定任务选择所需的模型和工具。

这也改变了我寻找持久竞争优势的方向。单个模型可以被更好的模型取代，但经过校准的模拟、可复用的技能、评估环境、失败历史和生产数据更难以复现。这对企业AI团队来说应该很熟悉——基础模型的获取变得更容易，而围绕它的系统才真正成为核心资产。对机器人团队而言，实际关注点可能从"如何训练出最好的机器人脑"转变为"我们如何快速构建一个系统，将对现实世界的观察转化为可信赖的行为"？