LeRobot v0.6.0: Imagine, Evaluate, Improve

LeRobot v0.6.0：想象、评估、改进

返回文章列表

[-1

]

[0

发布于 2026 年 7 月 7 日

GitHub 上的更新

点赞

12

[

• +6

Steven Palma

imstevenpmwork

关注

Pepijn Kooijmans

pepijn223

Caroline Pascal

CarolinePascal

Khalil Meftah

lilkm

Martino Russi

nepyope

Nikodem Bartnik

nikodembartnik

Nicolas Rabault

Nico-robot

Thomas Wolf

thomwolf

这个新版本旨在闭合机器人学习的闭环：能够在行动前想象未来的策略、告诉您机器人何时成功的奖励模型、将失败转化为训练数据的部署 CLI，以及六个新的模拟基准来衡量所有内容。它还带来了深度感知、由 VLM 驱动的数据集标注、自定义视频编码、在 HF Jobs 上的云训练，以及更精简的安装。

TL;DR

LeRobot v0.6.0 引入了世界模型策略（VLA-JEPA、FastWAM、LingBot-VA），这些策略学习如何想象未来；一系列新的 VLAs（GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT）；以及新的奖励模型 API（Robometer、TOPReward）。它发布了六个新的模拟基准，统一在 lerobot-eval 下，包含 lerobot-rollout CLI（带有 DAgger 风格的人机协同校正）、FSDP 训练，以及在 HF Jobs 上的云训练。数据集支持深度感知、自动语言标注流水线、自定义视频编码，以及在更精简安装基础上的最高 2 倍更快的数据加载速度。

目录

• LeRobot v0.6.0：想象、评估、改进 TL;DR 目录 世界模型：想象的策略 VLA-JEPA LingBot-VA FastWAM VLAs：模型动物园持续扩展 GR00T N1.7 MolmoAct2 EO-1 Multitask DiT EVO1 奖励模型：知道机器人何时成功 Robometer TOPReward 数据集：更快的加载，更丰富的数据 你的编码器，你的规则 深度感知，端到端 大规模语言标注 高达 2 倍更快的数据加载 基准测试：一个 CLI 评估所有内容 训练与推理 lerobot-rollout：部署拥有自己的 CLI FSDP：训练比你的 GPU 更大的模型 在 HF Jobs 上的云训练 代码库：更精简、更整洁 社区与生态系统 最后想法

世界模型：想象的策略

机器人领域提出了一个重大问题：世界模型真的能帮助机器人策略吗？v0.6.0 为 LeRobot 带来了三种策略，以帮助回答这个问题。每种策略都在训练过程中学习如何想象未来，并通过不同的路径保持这种想象的可行性。

VLA-JEPA

VLA-JEPA 教会一个紧凑的 VLA（基于 Qwen3-VL-2B）在潜空间中预测未来，同时学习如何行动：在训练期间，JEPA 世界模型必须从模型自身动作中预判接下来的帧。关键在于，世界模型在推理时会消失，因此你可以以零额外推理成本获得世界模型的监督。Hub 上有三个即用型检查点，包括一个用于微调的 DROID 预训练基础模型：

lerobot-train \
  --policy.path=lerobot/VLA-JEPA-Pretrain \
  --dataset.repo_id=
${HF_USER}
/my_dataset \
  --policy.repo_id=
${HF_USER}
/my_finetuned_policy

了解更多请查看 VLA-JEPA 文档和论文。

LingBot-VA

LingBot-VA 更进一步：这是一种自回归视频-动作模型，能够按块逐步预测未来视频和动作，并将真实观测值反馈进来以保持其想象的现实基础。你甚至可以保存机器人想象的内容（--policy.save_predicted_video=true），并将其与实际发生的情况进行对比。推理过程可在单块 24–32 GB GPU 上运行。有关技术细节，请查看文档和论文。

FastWAM

FastWAM 在其论文标题中提出问题：世界动作模型是否需要推理时的未来想象？它将一个约 50 亿参数的视频生成专家与一个紧凑的动作专家结合在单一网络中，使模型真正学会“梦想”自己的模拟过程。推理时完全跳过“做梦”步骤，直接对动作块进行去噪。你可以从 lerobot/fastwam_base 进行微调，并在文档中阅读更多内容。

VLAs：模型动物园持续扩展

GR00T N1.7

我们已将 NVIDIA GR00T 集成升级至 GR00T N1.7，这是 NVIDIA 最新开放版本的跨形态基础模型。N1.7 将之前的 VLM 替换为基于 Qwen3-VL 的 Cosmos-Reason2-2B，并连接一个流匹配动作头。我们的集成方案已通过与 NVIDIA 原始 Isaac-GR00T 实现的对等测试：相同输入，相同输出。Flash-attention 现在变为可选，因此 pip install 'lerobot[groot]' 可直接运行，且可直接加载 NVIDIA 发布的检查点。

GR00T N1.7 在 LeRobot 中取代了 N1.5。如需使用 N1.5，请锁定 lerobot==0.5.1。

MolmoAct2

由 Allen AI 实验室开发的视觉-语言-动作模型 MolmoAct2 现已完整集成到 LeRobot 中，涵盖微调（全量或 LoRA）、评估和真实机器人部署的完整生命周期。内置校准修正的现成检查点，使你可在 SO-100/101 上零样本运行：

lerobot-rollout \
  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras=
'{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}'
\
  --task=
"pick up the red cube"
--duration=30

使用 bf16 精度时推理占用约 12 GB 显存，LoRA 微调可在单块 24 GB GPU 上完成。完整部署指南请参阅 MolmoAct2 文档。

EO-1

EO-1 加入 LeRobot，这是一个在交错视觉-文本-动作数据上预训练的 VLA 模型，由论文作者之一贡献。其架构基于 Qwen2.5-VL-3B，配备流匹配动作头。使用 --policy.type=eo1 通过标准 lerobot-train 工作流进行训练。详细信息请参阅文档和论文。

多任务 DiT

多任务扩散变换器策略将 TRI 大规模行为模型方案引入 LeRobot：一个约 4.5 亿参数的扩散变换器，基于 CLIP 视觉和语言嵌入进行条件建模，使单一模型能通过自然语言选择多种任务。它同时支持扩散和流匹配目标，且规模足够小，可自行训练。详情请参阅文档。

EVO1

VLA 不一定需要巨大规模。EVO1 将策略压缩至 0.77B 参数，采用 InternVL3-1B 主干和流匹配动作头，体积足够小，可在普通 GPU 上实时微调和运行。开箱即支持两阶段微调和实时分块处理。详情请参阅 EVO1 文档和论文。

奖励模型：判断机器人何时成功

成功检测和进度估计是机器人学习循环中缺失的环节，v0.6.0 为它们提供了支持。LeRobot 现在拥有统一的奖励模型 API（lerobot.rewards），与策略 API 对应，通过单一接口集成四种奖励模型——HIL-SERL 奖励分类器、SARM 以及两个新增模型：

Robometer

Robometer 是一个预训练的通用奖励模型：将 lerobot/Robometer-4B 指向任何 LeRobot 数据集，它能够通过原始视频和语言指令直接评估任务进度和成功状态，无需特定任务的训练。该模型基于 Qwen3-VL-4B 构建，并通过超过一百万条机器人轨迹数据集（RSS 2026 论文）进行轨迹对比训练。

TOPReward

TOPReward 实现完全零样本学习：完全不需要奖励权重。它封装了一个现成的视觉语言模型（Qwen3-VL），通过轨迹视频和任务指令计算 "True" 令牌的对数概率。任何功能完备的视觉语言模型都可以直接作为奖励函数使用。

两者均附带标注脚本，可将逐帧进度曲线写入数据集，直接用于奖励感知的行为克隆（RA-BC）、数据集质量检查和进度叠加视频生成。查看 Robometer 和 TOPReward 文档了解更多。

数据集：加载速度提升，数据更丰富

你的编解码器，你的规则

录制过程不再受限于单一硬编码编解码器。新的 --dataset.rgb_encoder.* 选项完整暴露了编码参数（编解码器、质量、像素格式、GOP、预设参数），vcodec=auto 会自动探测 NVENC、VideoToolbox、VAAPI 和 QSV 等硬件编码器，若未找到则回退到默认的软件 AV1 编码器。对于现有数据集，一条命令即可重新编码所有视频：

lerobot-edit-dataset \
    --repo_id
${HF_USER}
/my_dataset \
    --operation.type reencode_videos \
    --operation.rgb_encoder.vcodec h264 \
    --operation.rgb_encoder.crf 23

完整细节请参阅视频编码文档。

端到端深度支持

接入 Intel RealSense 深度相机，设置 use_depth: true，LeRobot 即可端到端记录深度图：以毫米为单位捕获，与 RGB 相机同步压缩为紧凑的 12 位深度视频流，并在训练时解码回物理单位。深度信息在录制过程中实时渲染，并在 lerobot-dataset-viz 中可视化，兼容 SO-100/101、Koch、OpenArm、reBot、Unitree G1 等多种平台。

大规模语言标注

你的数据集不再局限于每个片段一个任务字符串。LeRobot 数据集现在原生支持丰富的语言标注（带时间戳的子任务、计划、记忆、修正、语音和每摄像头 VQA 对），新 lerobot-annotate CLI 工具可通过视觉语言模型自动填充这些标注：

lerobot-annotate \
    --repo_id=
${HF_USER}
/my_dataset \
    --new_repo_id=
${HF_USER}
/my_dataset_annotated \
    --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \
    --push_to_hub=
true

一个 YAML 配方层会在采样时将这些标注渲染为聊天风格的训练消息：这正是未来长时域对话机器人策略将训练的数据形式。通过 HF Jobs 扩展规模，阅读标注流水线文档了解更多细节。

数据加载速度最高提升 2 倍

训练视频数据集现在开箱即用的速度提升至原来的 ~2x：多摄像头帧并行解码，数据加载器工作者传输紧凑的 uint8 帧（进程间内存占用减少 4x），持久化工作者在多个训练周期中保持解码器缓存。加载大型数据集的子集（episodes=[...]）从分钟级缩短至毫秒级（在我们的基准测试中从 275 秒降至 0.06 秒）。采样现在也支持确定性和可恢复性，因此中断的训练可以精确恢复到断点。

基准测试：一个 CLI 评估所有

v0.5.0 在 LeRobot 上确立了作为 VLAs 评估中心的地位；v0.6.0 通过新增六个仿真基准测试，使其成为真正的评估平台。所有基准测试均可通过 lerobot-eval CLI 运行，每个基准测试均配有文档页面、Docker 镜像，以及在 CI 中经过烟雾测试的 SmolVLA 基线检查点：

• LIBERO-plus 通过在七个维度上对 LIBERO 进行约 10,000 个扰动变体的压力测试，从光照和摄像头视角到重写指令。它能告诉你策略何时失效。

• RoboTwin 2.0 在 SAPIEN 上覆盖 50 个双臂操作任务，包含大量领域随机化，Hub 上提供超过 10 万条即用型训练轨迹。

• RoboCasa365 在 2,500 个程序生成的厨房中涵盖 365 个厨房任务，是目前任务覆盖面最广的基准。

• RoboCerebra 评估长期行为，包含基于语言指令的 3-6 个子目标链式任务，以及包含 6,660 个样本的数据集。

• RoboMME 是一项记忆测试：你的策略能数清重复次数、追踪隐藏物体并模仿演示流程吗？包含 4 个记忆套件的 16 个任务。

• VLABench 测试操作中的知识和推理能力，从物理问题到端到端的咖啡冲泡等复合任务。

lerobot-eval \
  --policy.path=lerobot/smolvla_robotwin \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.n_episodes=100 --eval.batch_size=1

模拟器后端需要特定的系统依赖和独立的安装步骤；每个文档页面都提供精确的安装指南，每个基准测试都附带现成的 Docker 镜像（如需跳过环境配置）。结合 LIBERO、Meta-World 和 NVIDIA IsaacLab-Arena，这使九个基准测试家族齐聚一堂，新增的《添加新基准测试》指南详细说明了如何接入自定义基准。评估速度也得到提升：并行评估默认使用异步向量化环境，基准测试显示速度提升达 2x。

训练与推理

lerobot-rollout：部署拥有独立 CLI

过去部署策略需要在 lerobot-record 上进行复杂操作。新的 lerobot-rollout CLI 使部署成为一个独立的工作流程，支持可插拔的策略和推理后端（包括针对慢速兼容 VLAs 的实时分块功能）。基础策略仅运行策略本身。sentry 实时记录，自动轮换片段并上传至 Hub。highlight 保留环形缓冲区，按下键时保存最近 N 秒内容，确保精彩时刻永不丢失。episodic 模拟经典片段/重置记录流程。dagger 将部署直接转化为数据收集。

使用 DAgger 策略时，您会观察策略运行，当出现错误时立即按下按键（或 USB 脚踏板），用主导手接管并记录修正，然后交还控制权。在您接管前，执行器会自动调整到跟随者的姿态，因此交接过程平滑无抖动。每个修正帧都会标记干预标志，生成的数据集即可用于下一轮微调：

lerobot-rollout \
    --strategy.type=dagger \
    --policy.path=
${HF_USER}
/my_policy \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --dataset.repo_id=
${HF_USER}
/dagger_corrections \
    --dataset.single_task=
"Grasp the block"

部署、收集修正、微调、重复：机器人学习飞轮现已通过 CLI 标志实现。阅读部署文档。

FSDP：训练比 GPU 更大的模型

机器人基础模型正在超越单块 GPU 的能力。通过 Accelerate，LeRobot 训练现已支持 FSDP（完全分片数据并行）：参数、梯度和优化器状态在 GPU 间分片，检查点会重新聚合为标准单文件模型 safetensors，加载方式与任何其他策略相同。您甚至可以在不同数量的 GPU 上恢复 FSDP 训练。查看多 GPU 训练文档。

使用 HF Jobs 进行云训练

没有 GPU？没问题。只需添加一个标志，相同的 lerobot-train 命令现在即可在云端运行：

lerobot-train \
  --dataset.repo_id=
${HF_USER}
/so101_test \
  --policy.type=act \
  --policy.repo_id=
${HF_USER}
/my_policy \
  --job.target=a10g-small

LeRobot 会根据需要将本地数据集推送到私有 Hub 仓库，提交任务，将日志流式传输到终端，并在训练结束时将训练好的策略推送到 Hub。通过 --job.target 可选择从 T4 到 8x H200 的任意配置（计算资源按使用量计费）。查看文档

代码库：更精简更整洁

• pip install lerobot 现在真正轻量化，基础依赖项减少约 40%。功能模块化扩展（[training]、[core_scripts]、[evaluation] 等）覆盖其余需求，缺失依赖错误会明确提示需要添加的扩展。如果仅使用 LeRobot 数据集，不再需要安装硬件相关依赖项。

• 支持的 PyTorch 版本升级至 2.7–2.11，Linux uv 安装默认预装 CUDA 12.8 轮子。--policy.dtype=bfloat16 现在通过 Accelerate 实现真正的混合精度训练。

• uv.lock 文件作为 CI、Docker 和开发的权威依赖规范，文档包含每一步的 uv 安装路径，甚至可通过单个标志选择 CUDA 轮子。

• --display_mode=foxglove 将遥操作、录制和 rollout 流式传输到 Foxglove（机器人领域广泛使用的可视化工具）。支持远程设置，lerobot-dataset-viz 提供可回放的数据集。

• 现在可通过 pip 安装的 lerobot_env_* 包会自动注册其环境。插件系统覆盖所有五类组件：机器人、相机、遥操作器、策略和环境。

• 录制期间的键盘控制现在支持 Wayland、SSH、无头设备以及无需 Accessibility 权限的 macOS。

查看发布说明获取完整变更列表和重大变更迁移指南。

社区与生态系统

• LeLab 将整个 LeRobot 工作流程（校准、远程操作、记录、本地或在 HF Jobs 上训练、部署）整合到浏览器用户界面中，无需命令行界面。目前支持 SO-ARM101。立即体验！

• Isaac Teleop 允许您通过 VR 控制器使用 NVIDIA 的 Isaac Teleop 堆栈远程操作 SO-101，该功能基于 CloudXR/OpenXR 实现，是与 NVIDIA 团队合作的成果。查看文档。

• 新的计算硬件指南解答了每位新用户都会问的两个问题：我需要哪种 GPU？训练需要多长时间？该指南按策略家族提供了实测的显存占用范围，并给出了从 RTX 4090 到 4x H100 的参考训练时间。

• 重写的《添加策略》指南展示了如何发布您自己的策略，无论是集成到内核中还是作为插件包，无需提交 PR。

最后想法

除了这些主要功能外，v0.6.0 还包含数百个错误修复、文档改进以及代码库中跨模块的用户体验优化，从更智能的默认设置到更可靠的 CI。

我们想向社区中的每一位成员致以诚挚的感谢。本次发布包含了来自学术界、工业界和爱好者团队的贡献，这些团队选择 LeRobot 作为其模型和基准的开发平台。每一份 PR 和错误报告都在推动开源机器人技术向前发展。

敬请期待更多内容 🤗 立即开始 – LeRobot 团队 ❤️

本文中提到的模型 3

本文中提到的数据集 1

更多博客文章

lerobot

robotics

LeRobot v0.5.0：在所有维度上扩展

45

2026 年 3 月 9 日

使用 NVIDIA Isaac 从仿真到部署构建医疗机器人

32

2025 年 10 月 29 日

社区

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以发表评论