Berkeley AI Research(@berkeley_ai)

Presenting research from @berkeley_ai Humanoid Intelligence Center. DexTacWAM: A Visuo-Tactile Worl...

8.5内容质量

TL;DR · AI 摘要

DexTacWAM模型通过视觉-触觉联合学习，在灵巧操作任务中显著优于现有方法，开源资源可直接用于工程实践。

核心要点

  • DexTacWAM在六项任务中平均得分70.6，远超基线38.0
  • 直接注入触觉特征的策略效果下降至26.6，证明模型设计的关键性
  • 开源代码/模型权重/数据集已发布，促进技术复现和应用

结构提纲

按章节快速跳转。

  1. §引言

    介绍DexTacWAM模型及其在灵巧操作中的应用价值

  2. ·核心机制

    通过视觉到触觉学习，将预训练视频模型转化为触觉世界模型

  3. ›实验结果

    在六项任务中平均得分70.6，显著优于基线38.0

  4. ·方法对比

    直接注入触觉特征策略效果下降至26.6，证明模型设计优势

  5. ›开源资源

    提供代码/模型权重/数据集，促进技术复现和应用

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • DexTacWAM模型
    • 核心机制
      • 视觉-触觉联合学习
      • 世界模型预测
    • 实验结果
      • 六任务平均70.6
      • 基线38.0
    • 开源资源
      • 代码
      • 模型权重
      • 数据集

金句 / Highlights

值得收藏与分享的关键句。

#机器人控制#触觉感知#多模态学习#开源项目
打开原文

Berkeley AI Research on X: “介绍 @berkeley_ai 人形智能中心的研究成果。DexTacWAM：面向灵巧操作的视觉-触觉世界-动作模型。🖐️🤖 灵巧操作需要触觉，但大规模收集多指触觉数据仍然稀缺且成本高昂。通过持续的视觉到触觉学习，DexTacWAM将预训练的视频世界模型适配为预测多指接触建模和动作生成的视觉-触觉世界模型。在六个富含接触交互的灵巧操作任务中，DexTacWAM在所有任务中均取得最高分，平均得分70.6，而最强基线仅为38.0。 🔬 为什么不直接将触觉特征注入动作策略？在相同多指触觉编码器、策略架构和训练流程下，用直接触觉特征替代触觉世界模型潜在变量，会使四任务平均得分从74.7降至26.6。结论：优势并非单纯来自向策略提供触觉观测，而是将多指接触演化作为预测世界状态的一部分。所有代码、模型权重和数据集现已开源！ 🌐 项目：

dextacwam.github.io

📄 论文：

arxiv.org/abs/2609.24976

💻 代码：

github.com/dextacwam/DexT…

🤗 权重&数据：

huggingface.co/collections/Je…

作者列表：

Jensen_Yuan

,

zekaiw04

sbn_epiphany

Haoran Lu,

trevordarrell

Ismini_L

Wei_ZHAN_

$

00:00

/$

2026年9月29日 下午7:12

·

56.5K

浏览量

10

19

130

82