十字路口Crossing播客1:20:43

“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪:具身智能、世界模型、真正的泛化

7.2内容质量
“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪:具身智能、世界模型、真正的泛化

播客收听

时长 1:20:43原播客页面

问这期播客

会先在本集摘要、章节、转录和笔记里找答案。

TL;DR · AI 摘要

具身智能领域出现Scaling Law信号,ICL技术使机器人通过少量示范完成任务,但数据闭环和泛化能力仍是挑战。

核心要点

  • GEN-1.5通过3-12秒动作示范实现59%任务成功率,无需微调参数
  • Scaling Law在具身智能领域显现但存在过拟合风险
  • 数据闭环需解决需求定义与人类行为差异的矛盾

结构提纲

按章节快速跳转。

  1. 介绍清华叉院徐梦迪教授的学术背景与研究方向。

  2. ·ICL技术突破

    GEN-1.5通过物理提示实现机器人快速学习新任务。

  3. Scaling Law挑战

    具身智能领域出现Scaling Law信号但存在过拟合风险。

  4. 具身数据收集面临需求定义与人类行为差异的双重挑战。

  5. 具身智能领域同时存在技术进步与泡沫共存的现象。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 具身智能与Scaling Law
    • ICL技术突破
      • GEN-1.5物理提示
    • Scaling Law挑战
      • 过拟合风险
      • 评估指标重构
    • 数据闭环难题
      • 需求定义矛盾
      • 人类行为差异

金句 / Highlights

值得收藏与分享的关键句。

章节

  1. 快问快答:年龄、毕业院校、MBTI、星座、一句话介绍

    快问快答:年龄、毕业院校、MBTI、星座、一句话介绍

  2. 清华车辆工程,通向机器人的起点

    清华车辆工程,通向机器人的起点

  3. 为四驱车捡废铁的女孩

    为四驱车捡废铁的女孩

  4. 衡水中学,竞赛班里的另一面

    衡水中学,竞赛班里的另一面

  5. CMU 最佳博士论文:预训练之外

    CMU 最佳博士论文:预训练之外

  6. Adaptation 为何越来越受重视?

    Adaptation 为何越来越受重视?

  7. 创造性工具使用:没有刀怎么切蛋糕?

    创造性工具使用:没有刀怎么切蛋糕?

  8. 斯坦福:李飞飞与吴佳俊,两种导师

    斯坦福:李飞飞与吴佳俊,两种导师

  9. 从斯坦福回到清华

    从斯坦福回到清华

  10. 5 年后,凭什么成为顶尖研究者?

    5 年后,凭什么成为顶尖研究者?

  11. 选最好的,还是最适合的?

    选最好的,还是最适合的?

  12. 她会回复怎样的套磁邮件?

    她会回复怎样的套磁邮件?

转录

快问快答年龄、毕业院校、MBTI、星座、一句话介绍

清华车辆工程,通向机器人的起点

为四驱车捡废铁的女孩

衡水中学,竞赛班里的另一面

CMU 最佳博士论文预训练之外

Adaptation 为何越来越受重视?

创造性工具使用没有刀怎么切蛋糕?

斯坦福李飞飞与吴佳俊,两种导师

从斯坦福回到清华

5 年后,凭什么成为顶尖研究者?

选最好的,还是最适合的?

她会回复怎样的套磁邮件?

具身创业进步与泡沫共存

数据与世界模型,风向为何反复?

低 Loss,不等于高成功率

机器人还在 GPT-1 阶段?

In-Context Learning机器人能懂你家吗?

数据闭环的“鸡生蛋”难题

具身数据,难在定义需求

遥操作、仿真、UMI 与人类数据

博士面试里的 Research Taste

跟年轻 AP 读博,是一场创业?

AI 论文泛滥,还能怎么看?

具身马拉松,跑到第几公里?

#具身智能#Scaling Law#机器人学习#ICL

节目笔记

“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪:具身智能、世界模型、真正的泛化 - 十字路口Crossing | 小宇宙 - 听播客,上小宇宙

➤ 本周「十字路口」的嘉宾是清华叉院助理教授徐梦迪。 从清华车辆工程出发,途经 Johns Hopkins、CMU,再到 Stanford 吴佳俊、李飞飞组做博士后,2024 年初她选择回国,加入清华交叉信息研究院。她的核心命题是机器人的 in-context learning (ICL):让机器人到一个新环境,通过一两次交互当场学会新任务,而且越学越快。

本期节目还有一个及时的注脚:就在我们录完节目后的第二周,Generalist 发布 GEN-1.5 ——只给机器人看一段 3-12 秒的动作示范作为 "physical prompt",不做微调、不更新参数,它就能当场尝试完成新任务(10 项任务平均成功率约 59%)。 ICL 随即成为全球具身智能领域最受关注的话题之一,而这正是梦迪持续押注的方向。

除了 ICL,我们还聊到:

  • 预训练的天花板
  • 真正的泛化
  • Scaling Law 的信号与陷阱
  • 跑通稳定的数据闭环
  • 叠衣服 demo 的误导
  • 行业的泡沫与进步
  • 年轻 PI 的真实生活与研究选择

穿越所有的技术话题之后,这还是一期关于人生选择、环境与长期主义的对话 ,希望可以是给所有站在中美之间、学术与产业之间、跟随热点与坚持长线之间的年轻人的一份参考。

🎬 我们的视频播客将同步上线于 @Koji杨远骋 的视频号、 抖音 、 小红书 、 哔哩哔哩 、 Youtube 等平台。

📒 文字版将发布于 @十字路口Crossing 公众号。

🟢 从四驱车到机器人

00:21 快问快答:年龄、毕业院校、MBTI、星座、一句话介绍

02:31 清华车辆工程,通向机器人的起点

05:59 为四驱车捡废铁的女孩

07:18 衡水中学,竞赛班里的另一面

12:02 CMU 最佳博士论文:预训练之外

19:19 Adaptation 为何越来越受重视?

🟢 从解题人到出题人

23:51 创造性工具使用:没有刀怎么切蛋糕?

26:30 斯坦福:李飞飞与吴佳俊,两种导师

30:57 从斯坦福回到清华

34:17 5 年后,凭什么成为顶尖研究者?

40:06 选最好的,还是最适合的?

42:24 她会回复怎样的套磁邮件?

🟢 具身 Scaling Law 的信号

44:44 具身创业:进步与泡沫共存

46:39 数据与世界模型,风向为何反复?

49:07 低 Loss,不等于高成功率

50:47 机器人还在 GPT-1 阶段?

56:04 In-Context Learning:机器人能懂你家吗?

58:19 数据闭环的“鸡生蛋”难题

01:03:21 具身数据,难在定义需求

01:05:18 遥操作、仿真、UMI 与人类数据

🟢 只有乐观才可能成功

01:09:56 博士面试里的 Research Taste

01:14:08 跟年轻 AP 读博,是一场创业?

01:17:25 AI 论文泛滥,还能怎么看?

01:19:22 具身马拉松,跑到第几公里?

欢迎订阅「十字路口」:

🚦 我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。

🚦 十字路口是乔布斯对苹果公司的一个比喻,形容它站在科技与人文的十字路口,伟大的产品往往诞生在这里。AI 正在给各行各业带来改变,我们寻找、访谈和凝聚新一代 AI 创业者和 AI 时代的积极行动者,和他们一起,探索和拥抱新变化,新的可能性。

👦🏻 主播 Koji:我创办了十字路口,发起了 AI Hacker House 这个新一代 AI 创业者的社群空间,在真格基金担任 Venture Partner 投资合伙人。我相信科技尤其是 AI 是我们这一代人最大的价值创造机遇。 Koji 的即刻 , Koji 的网站