量子位

3万小时触觉数据补齐具身智能“手感”！新智具身&复旦报告三连发

8.5内容质量

TL;DR · AI 摘要

NeoteAI与复旦大学发布N0系列报告，通过3万小时触觉数据和创新模型显著提升机器人物理交互能力。

核心要点

  • NeoData数据集包含3万小时触觉交互数据，覆盖450项真实任务
  • N0-VTLA模型使插插头任务成功率从60%提升至85%
  • N0-TWAM仿真成功率84.5%，是世界模型最强基线的2.3倍

结构提纲

按章节快速跳转。

  1. §引言

    揭示机器人物理交互失败的根源在于触觉反馈缺失。

  2. ·N0-Foundation

    构建3万小时触觉数据集并提出统一表征模型NeoForce。

  3. ›N0-VTLA

    通过触觉预判使机器人任务成功率显著提升。

  4. ›N0-TWAM

    重构世界模型实现触觉与视觉的协同预测。

  5. ·行业影响

    触觉模态成为具身智能核心基建，推动认知范式演进。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 触觉驱动具身智能
    • 数据底座
      • NeoData 3万小时数据集
      • NeoForce统一表征模型
    • 技术路线
      • N0-VTLA触觉预判
      • N0-TWAM世界模型重构
    • 行业影响
      • 触觉成为核心基建
      • 认知范式从视觉驱动转向视触融合

金句 / Highlights

值得收藏与分享的关键句。

#具身智能#触觉数据#机器人#NeoteAI#复旦大学
打开原文

3万小时触觉数据补齐具身智能“手感”！新智具身&复旦报告三连发 – 量子位

扫码关注量子位

<div class="top_search"> <form role="search" method="get" class="search-form" action="https://www.qbitai.com/" id="search"> <label> <input type="search" class="search-field" placeholder="搜索…" value="" name="s"> </label> <button type="submit" class="search-submit"></button> </form> </div>

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

articlead begin

articlead end

3万小时触觉数据补齐具身智能“手感”！新智具身&复旦报告三连发

鱼羊

2026-07-26

13:30:21

来源：

量子位

摘要样式

项目数据模型均开源

允中 发自 凹非寺 量子位 | 公众号 QbitAI

煮鸡蛋面、调柠檬水……机器人又来秀花活了。

这次登场的是来自NeoteAI和复旦大学的N0系列模型。不仅是居家料理，收纳整理它同样拿手。工厂流水线装配、精细零件组装、线材缠绕梳理这些精细活也全都不在话下。

不知道大家有没有见过机器人实操翻车的名场面：插头边缘反复摩擦却难以插入、抓取塑料瓶时力道失控导致瓶身瘪陷、叠好的毛巾在松手瞬间散落……在具身智能的落地进程中，这类“视觉系统判定无误，但物理交互瞬间翻车”的现象屡见不鲜。

这些失败指向了一个行业共识：

决定机器人能否在真实物理世界中生存的关键，往往不只在于视觉感知的精度，而更在于接触瞬间的触觉反馈。摄像头能确认空间位置，却无法感知“是否接触”、“顶到边缘”、“夹力过载”或“发生滑移”等，缺失这层反馈，正是阻碍机器人跨越“最后一厘米”的核心痛点。

现在，上海新智具身智能科技有限公司（NeoteAI）联合复旦大学可信具身智能研究院，正式发布了N0系列三份技术报告，把触觉从“辅助模态”跃升为“核心基建”。 三份报告合起来看，恰好拼出一张蓝图——一套触觉数据底座，搭配两条不同侧重的技术路线。

更具行业价值的是，项目的数据和模型会进行开源，可以直接查看项目的完整链接：

https://research.neoteai.com

N0-Foundation：统一触觉“方言”，构建3万小时交互语料库

触觉数据的规模化应用长期受制于各类触觉设备输出的数据格式互不兼容。不同传感器输出的凝胶形变图、电容矩阵或六维力向量，犹如缺乏统一语法的方言，难以在同一模型中融合。

NeoteAI搭建的NeoData数据集旨在打破这一壁垒：

  • 包含超3万小时视觉-触觉交互操作数据；
  • 约140万条操作片段，33亿个时间步；
  • 对应80亿帧RGB画面与100亿帧触觉图像；
  • 动用Franka、Piper、UR5e等6种机器人本体；
  • 覆盖450项真实长程任务（如叠衣、插拔接头、倒液体等），由90位操作员采集；
  • 已开源5千小时视觉-触觉交互操作数据。

另外，研究团队还提出了NeoForce统一表征模型。无论底层传感器硬件如何，都能够学习到具备迁移能力、时序结构化的触觉表征，以供下游具身智能策略使用：哪里被按？按多大力？有没有横向拉扯？这种“触觉普通话”有效解决了跨设备数据融合难题。

N0-VTLA：以“触觉预判”赋能轻量级VLA

数据底座夯实后，研究团队接下来思考的是如何将触觉真正融入到VLA技术路线之中。

在现有的多模态融合实践中，直接将触觉图像与RGB视觉信号进行简单拼接往往面临挑战：

由于触觉信号仅在物理接触瞬间产生高频响应，大部分时间处于“静默”状态，极易被海量视觉Token淹没。更为关键的是，即便模型成功提取了当前触觉特征，其本质上仍是对已发生动作的滞后反馈——这种“后视镜”式的感知机制，使得在动态交互中始终慢半拍。

N0-VTLA提出了一种全新的方案：不依赖滞后的当前触觉，而是预测未来50步内的触觉演变。

该模型将当前触觉编码为紧凑的潜在Token，结合视觉上下文预判滑移、受力等趋势，从而指导动作模块提前调整。

不同任务上显示：

N0-VTLA在插插头任务中成功率达85%，而同类视觉方案仅60%；在拔钥匙的任务成功率达99%，而视觉方案为35%。

此外，N0-VTLA还突破了传统模仿学习仅依赖专家成功轨迹的局限，让机器人从失败数据中实现自主进化。

模型结合触觉信息利用部署后数据以及human in the loop的数据训练了一个进度评估模型，使其能够识别任务执行阶段，甚至识别出“退步”与“救场”等复杂行为。通过结合离线强化学习，机器人在毛巾折叠、书包收纳、纸箱折叠等长程任务上的成功率，分别从50%、35%、20%大幅跃升至95%、80%、75%，真正实现了从失败经验中汲取教训的持续进化。

N0-TWAM：在世界模型中重构“触觉想象”

如果说N0-VTLA是加装预判雷达，N0-TWAM则是对机器人“认知中枢”的重构：它把触觉放进世界模型，让机器人在动手之前，先在自己的“想象”里完整地推演一遍操作视角和手感。

现有世界模型大多局限于未来视觉图像的生成，在驱动真实机器人时面临严峻的物理对齐挑战：画面里杯子被抓住了，但手指夹没夹稳？画面里插头对齐了，但下一秒会不会卡住？这些触感信息完全缺失。

N0-TWAM要做的是同时预测未来的视频、触觉和动作这三个相互耦合的序列。

N0-TWAM采用混合专家架构，内置视频、触觉、动作三个异步专家网络，视频专家从预训练模型热启动，触觉和动作专家用更窄的结构，最终总参数量72亿，仅相当于全宽方案的一半。

在仿真与真机测试中，

N0-TWAM展现出显著优势：仿真平均成功率达84.5%（而世界模型最强基线为36%）；真机8项任务平均成功率46.3%（LingBot-VA为21.9%）。消融实验进一步证实，去除“未来触觉预测”或“当前触觉条件”均会导致性能显著下降，确立了触觉在世界模型中的不可或缺性。

触觉：具身智能的下一个 Scaling Law？

纵观N0系列三份报告，NeoteAI释放了明确的行业信号：

N0-Foundation验证了触觉模态具备类似视觉的Scaling潜力；N0-VTLA证明了触觉可以自然的接入现有 VLA 架构；N0-TWAM 确立了触觉在世界模型顶层设计中的核心地位，使其与视觉模态真正平起平坐。

这意味着，机器人的认知范式正从单一的“视觉驱动”向“视触融合”演进。它们不再仅仅通过“看”来理解世界，而是开始像婴儿一样，通过主动的触觉探索来验证假设并规划下一步动作。

“看得见杯子不等于拿得稳，认得出插座不等于插得进”——这一物理世界的常识，终于被写入了机器人的底层逻辑。

尽管距离“随手一摸即知轻重”的通用具身智能仍有长路要走，真实场景下的数据采集成本、跨本体泛化能力以及推理实时性仍是亟待攻克的工程难题，但NeoteAI的这组工作已实质性地推动触觉从“小众研究方向”跃升为“具身智能核心基建”。

具身智能的下一篇章，或许不再仅仅是“让机器人看懂世界”，而是真正“让机器人摸透世界”。

项目链接： https://research.neoteai.com 公司官网：https://www.neoteai.com

版权声明

版权所有，未经授权不得以任何形式转载及使用，违者必究。

具身智能

作者文章列表

  • WAIC信息爆炸！大佬们都在说什么，笔记看这里 2026-07-18
  • 不是吧OpenAI首款硬件吹半天就是个AI音箱？？ 2026-07-15
  • 菲尔兹奖提前泄露！王虹邓煜双双在列 2026-07-14
  • 人才黑洞！UC伯克利系主任都加入A社了 2026-07-02

左侧分享

扫码分享至朋友圈

相关阅读 start

相关阅读

#### 阿里达摩院开源具身大脑基模：3B激活参数性能超越72B，转身就忘事的机器人有救了

达摩院在赌

衡宇

2026-02-10

RynnBrain

开源

阿里达摩院

#### 9月6日，和量子位聊聊仿生机器人最新趋势

量子位智库·仿生机器人沙龙「具身智能前夜——仿生机器人的崛起与挑战」

林樾

2023-09-05

仿生机器人

量子位智库

量子位活动合辑

#### 阿里CEO投资的机器人公司，冲刺港股IPO了

华科校友二次创业

杰西卡

2025-06-16

穿透财报招股书

车圈最新认知

#### 机器人终于能用明白洗碗机了｜UC伯克利新研究

低门槛教学+智能选动作，为人形机器人实用化铺平道路

2026-01-18

UC伯克利

人形机器人

#### 刘强东连投3家具身智能！京东美团「战火」烧到外卖之外

看重「量产硬件+具身智能大脑」

2025-07-21

京东

#### 人形机器人放无人机，还能上天入海！有点过于赛博了吧

中国电信 TeleAI 不一样的具身智能路线

十三

2026-02-14

TeleAI

中国电信

相关阅读 end

热门文章 start

热门文章

#### 不同模型厂同一家Agentic Infra，AGI时代的地基终于浮出水面

2026-07-20

#### WAIC 2026收官｜范式大会亮点集锦，见证AI 2.0从技术突破走向产业实践

#### 当AI进入最依赖“人”的行业：一家四线城市康复机构利润增长40%

#### 全球首发技术路线+全域联盟双轮破局，AI for ADANES释放先进核能新质生产力

#### AI语音进入“表演时代”：阿里Qwen-Audio-3.0-TTS登顶全球权威榜单

<form role="search" method="get" class="search-form" action="https://www.qbitai.com/"> <label> <span class="screen-reader-text">搜索：</span> <input type="search" class="search-field" placeholder="搜索…" value="" name="s" /> </label> <button type="submit" class="search-submit"><span class="screen-reader-text">搜索</span></button> </form>

热门文章 end

底部版权

  • 关于量子位
  • 加入我们
  • 寻求报道
  • 商务合作

<a href="/?page_id=183"target="_blank"><i class="weixin_icon"></i></a>

追踪人工智能新趋势，报道科技行业新突破

<p>量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1</p>

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1