Jim Fan(@DrJimFan)
The sense of touch is the most criminally under-explored modality in robotics. Imagine doing sleight...
8.5内容质量
TL;DR · AI 摘要
触觉感知在机器人领域被严重忽视，T-Rex方法通过异步双时钟架构和开放数据集提升触觉学习效果。
核心要点
- T-Rex采用异步双时钟架构，触觉专家以4Hz频率实时修正视觉专家动作
- 开源了50小时高质量触觉数据集，包含5500个同步采集的机器人操作片段
- 触觉感知在接触瞬间比视觉更能提供关键反馈，未来技术突破将取决于触觉数据量级
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- T-Rex触觉学习框架
- 核心创新
- 异步双时钟架构
- 触觉优先设计
- 数据基础
- 50小时触觉数据集
- 22自由度硬件采集
- 技术生态
- NVIDIA-Berkeley合作
- HuggingFace开源
金句 / Highlights
值得收藏与分享的关键句。
Forces change faster than frames arrive, so the architecture had to as well
The largest tactile dataset ever released: 50-hour (~5,500 episodes) high-quality corpus
Tactile will carry the last mile. The next scaling curve will be measured in hours of touch
#机器人#触觉感知#T-Rex#开源数据集#NVIDIA
打开原文Jim Fan 在 X 上的推文："触觉是机器人领域最被忽视的感知方式。想象一下戴着厚实的烤箱手套进行手法表演。这正是如果机器人拥有生命，它今天所感受到的。一块磁性部件咔哒一声归位，一个纸杯从堆叠中剥离，一个 USB 接口在端口中艰难插入——这些都逃过摄像头的视线。学习如何感知必须是一个全栈协同设计的过程。我们开源了一种名为 'T-Rex' 的方法论：1. 将触觉作为模型中的首要公民。我们的混合变压器模型运行两个异步时钟：一个缓慢的视觉运动专家规划动作，一个快速的触觉专家则以每帧视觉更新 4 次触觉反馈的频率实时修正。力量变化的速度快于画面帧率，因此架构也必须如此。2. 开放数据集。据我们所知，这是迄今为止规模最大的触觉数据集：一个 50 小时（约 5500 个片段）的高质量、精确同步的机器人互动语料库，使用具有 22 个自由度的最先进触觉手硬件采集。今天已在 HuggingFace 上发布！3. 训练方案：T-Rex 延续了我们之前的 EgoScale 工作。使用人类第一视角视频进行预训练，再通过多样化的触觉机器人互动数据进行中期训练。实验表明，这种方法能显著弥合无接触预训练与高接触操作之间的差距。像素廉价且无处不在，但在接触瞬间却力不从心。触觉将完成最后一公里。下一次的扩展曲线将以触觉小时为单位衡量。T-Rex 是 NVIDIA 与伯克利大学的杰出合作：🧵
$
00:00
/$
下午4:06 · 2026年8月21日
164.8K
次浏览
85
122
882
332 /