Grabette: an open system to record robot-manipulation data

Grabette：用于记录机器人操作数据的开源系统

返回文章列表

Grabette：用于记录机器人操作数据的开源系统。一起构建共享数据集。

[-1

]

[0

发布于 2026 年 7 月 21 日

GitHub 上的更新

点赞

34

[

• +28

Steve Nguyen

SteveNguyen

关注

pollen-robotics

Claire Houziel

chouziel

Gaelle Lannuzel

glannuzel

Simon Le Goff

simheo

Jeremy Laville

Jeremy-Pollen

Étienne

etienne-pollen

只需使用手持夹爪在几分钟内记录自己的操作任务，即可自动生成机器人可用的数据集，并帮助构建一个开放协作的机器人学习数据集。

瓶颈不在模型，而在数据

机器人学习面临一个供给问题。我们拥有强大的策略架构（基于 Transformer 的 VLAs、扩散模型和流匹配策略，甚至世界模型），也拥有训练它们的 GPU。我们缺乏的是大量、多样化的现实世界操作数据。

通过远程操作机器人来收集数据可能既昂贵又繁琐：首先需要一台机器人。而且根据远程操作方式的不同，如果数据收集需要数小时并涉及大量硬件和物流挑战，对用户来说可能非常麻烦。这种模式难以扩展到各种任务和环境需求。

但你不需要机器人就能收集机器人数据。只需人类的手、夹爪、相机，以及一种能够恢复手部 6-DoF 运动轨迹的方法。记录演示过程，你就能获得机器人可以学习的数据。

今天，我们发布的就是 Grabette：一个开源、低成本的操作数据记录系统。拿起它，用你的手记录任务，就能获得干净、机器人可用的数据集。无需机器人、无需实验室、无需远程操作设备。

这正是更大的目标：如果记录演示过程像拍摄视频一样简单，任何人都可以参与贡献。我们希望 Grabette 能够催生一个大型、开放、协作的操作数据集。这是任何单一实验室都无法独自构建的。

站在 UMI 的肩膀上

Grabette 直接受到斯坦福大学的通用操作接口（UMI）启发：一种配备鱼眼相机的手持夹爪，可在现实环境中记录演示，通过 SLAM 恢复相机轨迹，并从中训练视觉运动策略。

UMI 证明了这种方案是可行的。其他类似设备（如 Agibot 的 MEgo 夹爪、Genrobot 的 DAS 夹爪和 Sunday Robotics 的技能捕捉手套）也存在，但都是闭源的。我们的目标是让使用变得尽可能简单，将从“我有一个任务”到“我有一个训练好的模型”的门槛降到最低。

Grabette 构建于现代开源生态系统之上：使用 LeRobot 进行数据集管理，通过 Hugging Face Hub 进行数据共享，并提供一个无需安装即可通过浏览器运行的处理流程。Grabette 是任何人都可以在工作台上构建、在实地使用并贡献数据的工具。

认识 Grabette

我们已经开发 Grabette 多月，现在我们认为它已经足够成熟，可以与大家分享。我们非常兴奋能够现在与你们分享！

Grabette 是一个配备了所有必要设备的手持夹爪，能够重建操作演示。

它搭载了两台相机，各自承担不同的任务。这种分工是刻意为之：廉价的广角鱼眼相机为策略提供丰富上下文的腕部摄像头视角，而 RGBD 相机则负责实现稳健的 6-DoF 跟踪。

而 Grabette 在用户执行任务时记录数据，但它依赖其机械臂孪生体来执行训练后学习到的动作。因此，让我们认识一下 Gripette，它是 Grabette 的机械臂末端执行器孪生体。

该系列产品共享相同的硬件基因：

• Grabette，手持演示设备（摄像头 + IMU + 夹爪，BOM 成本约 490€）

• Gripette，电动夹爪（摄像头 + 两个伺服电机，BOM 成本约 120€），可与真实或模拟机械臂形成闭环

Grabette 手持记录设备（左）和 Gripette 机械臂夹爪（右）

为所有人打造

所有内容均开源

去查看仓库！

• 硬件：Grabette 和 Gripette 的 CAD 和生产文件

• 捕获服务：设备端的 Raspberry Pi 软件

• 处理流程：可在本地运行，或通过我们的 Hugging Face Space 在线运行

• 示例下游堆栈：标准 LeRobot 训练 + OpenArm 评估，作为参考

组件。您可以购买的标准传感器，没有封闭流程，没有分叉锁定。一个 Raspberry Pi，一个标准 Pi 摄像头，一个现成的 OAK-D 深度摄像头，磁性编码器。关键点在于任何人都可以使用您只需订购的零件组装一个。

设计上与机器人无关。捕获过程或数据格式中没有任何内容假定特定的机械臂。演示以摄像头本地的 6-DoF 笛卡尔位姿加夹爪状态存储，输出是 Hugging Face Hub 上的标准 LeRobot 数据集，因此相同的数据可以驱动不同的机器人和不同的学习方法。不过，您仍然需要在机械臂上安装匹配的 Gripette 夹爪。

从您的手到数据集，只需两步

此次发布使任何人都能快速且无需专业知识地从“我想演示一个任务”过渡到“我有了一个可用于训练的数据集”。

1. 记录

按下按钮，观察摄像头、跟踪摄像头（颜色、深度和 IMU）以及夹爪的编码器关节值将通过单个共享时钟同步记录。再次按下按钮以停止记录，数据将保存在 Raspberry Pi 上。

2. 在浏览器中直接处理

在浏览器中打开 Grabette 仪表板。选择要添加到数据集的片段，单击一次即可开始后处理。

• 片段上传到 HF Hub

• grabette-slam 空间使用 RTAB-MAP 库执行 SLAM 并验证轨迹是否正确（无跳跃或跟踪丢失）

• 片段转换为 LeRobot 格式

• 新数据集上传到您的空间，您可以通过 Le Robot 可视化工具查看每个片段的数据

现在一切都已就绪，可以开始训练了！

您可以用这些数据做什么？这里有一个示例。

只有能训练出东西的数据集才有意义。为了展示完整的闭环，我们提供了一个完整的示例。但需要明确的是，这只是展示其能力的一个示例，而非产品本身：此次发布的是记录系统。您的 Grabette 数据可以与任何使用 LeRobot 数据集的方法兼容。

我们的示例使用了 200 条记录的演示，例如：

可在该 HF 数据集获取数据集

以及：

• 使用 LeRobot 套件训练策略——一个扩散策略（ResNet18 + SpatialSoftmax 编码器，DDIM 调度器，6-D 旋转动作），可在单个消费级 GPU 上运行。

• 在配备 Gripette 夹爪的 OpenArm 7-DoF 机械臂上评估，通过 gRPC API 驱动，结果如下：

策略可在该 HF 模型获取

现在轮到您了

数据瓶颈的解决不是依靠单一实验室，而是依靠社区在各个地方记录演示。现在你可以帮助构建数据集：搭建一个Grabette，录制你感兴趣的任务，并在Hub上分享。每一次录制都会使开放数据集更加庞大和多样化，每一位贡献者都能让机器人学习少一些依赖昂贵硬件的限制。

接下来是什么

此次发布只是项目的开端！Grabette将持续进化。我们已经有更多内容正在开发中，包括Casquette——一款头戴式第一视角设备，用于与Grabette配合实现以自我为中心的捕捉（仍在开发中）。但最重要的下一步不仅属于我们，也属于你：开始录制，让我们一起构建数据集。

👉 搭建Grabette（GitHub） · 处理你的数据（HF Space） · 贡献数据集

由Pollen Robotics倾情打造。

本文提到的Spaces 1

更多博客文章

robotics

ai

community

LeRobot参加驾驶学校：全球最大的开源自动驾驶数据集

108

2025年3月11日

datasets

NVIDIA在GTC 2025上对物理AI开发者的公告：新的开放模型和数据集

• +1

42

2025年3月18日

社区

AritaTomoki

大约11小时前

[2

@ SteveNguyen @ glannuzel 恭喜发布，非常期待能搭建一个。在处理物料清单时遇到一个小问题：它链接的电子仓库无法公开访问。能否公开elec_grabette？谢谢！

查看翻译

• 1条回复

·

文章作者

大约10小时前

Hi Arita，你发现得很准确！现在已公开：https://github.com/pollen-robotics/elec_grabette

🔥

1

+

编辑

预览

通过拖动文本输入框、粘贴或点击此处上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以评论

• +22