“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪:具身智能、世界模型、真正的泛化

播客收听
问这期播客
会先在本集摘要、章节、转录和笔记里找答案。
TL;DR · AI 摘要
具身智能领域出现Scaling Law信号,ICL技术使机器人通过少量示范完成任务,但数据闭环和泛化能力仍是挑战。
核心要点
- GEN-1.5通过3-12秒动作示范实现59%任务成功率,无需微调参数
- Scaling Law在具身智能领域显现但存在过拟合风险
- 数据闭环需解决需求定义与人类行为差异的矛盾
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 具身智能与Scaling Law
- ICL技术突破
- GEN-1.5物理提示
- Scaling Law挑战
- 过拟合风险
- 评估指标重构
- 数据闭环难题
- 需求定义矛盾
- 人类行为差异
金句 / Highlights
值得收藏与分享的关键句。
GEN-1.5通过3-12秒动作示范实现10项任务59%平均成功率
低Loss不等于高成功率,具身智能评估指标需重构
具身数据收集面临'鸡生蛋'难题,需先有需求定义再收集数据
章节
快问快答:年龄、毕业院校、MBTI、星座、一句话介绍
快问快答:年龄、毕业院校、MBTI、星座、一句话介绍
清华车辆工程,通向机器人的起点
清华车辆工程,通向机器人的起点
为四驱车捡废铁的女孩
为四驱车捡废铁的女孩
衡水中学,竞赛班里的另一面
衡水中学,竞赛班里的另一面
CMU 最佳博士论文:预训练之外
CMU 最佳博士论文:预训练之外
Adaptation 为何越来越受重视?
Adaptation 为何越来越受重视?
创造性工具使用:没有刀怎么切蛋糕?
创造性工具使用:没有刀怎么切蛋糕?
斯坦福:李飞飞与吴佳俊,两种导师
斯坦福:李飞飞与吴佳俊,两种导师
从斯坦福回到清华
从斯坦福回到清华
5 年后,凭什么成为顶尖研究者?
5 年后,凭什么成为顶尖研究者?
选最好的,还是最适合的?
选最好的,还是最适合的?
她会回复怎样的套磁邮件?
她会回复怎样的套磁邮件?
转录
快问快答年龄、毕业院校、MBTI、星座、一句话介绍
清华车辆工程,通向机器人的起点
为四驱车捡废铁的女孩
衡水中学,竞赛班里的另一面
CMU 最佳博士论文预训练之外
Adaptation 为何越来越受重视?
创造性工具使用没有刀怎么切蛋糕?
斯坦福李飞飞与吴佳俊,两种导师
从斯坦福回到清华
5 年后,凭什么成为顶尖研究者?
选最好的,还是最适合的?
她会回复怎样的套磁邮件?
具身创业进步与泡沫共存
数据与世界模型,风向为何反复?
低 Loss,不等于高成功率
机器人还在 GPT-1 阶段?
In-Context Learning机器人能懂你家吗?
数据闭环的“鸡生蛋”难题
具身数据,难在定义需求
遥操作、仿真、UMI 与人类数据
博士面试里的 Research Taste
跟年轻 AP 读博,是一场创业?
AI 论文泛滥,还能怎么看?
具身马拉松,跑到第几公里?
节目笔记
“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪:具身智能、世界模型、真正的泛化 - 十字路口Crossing | 小宇宙 - 听播客,上小宇宙
➤ 本周「十字路口」的嘉宾是清华叉院助理教授徐梦迪。 从清华车辆工程出发,途经 Johns Hopkins、CMU,再到 Stanford 吴佳俊、李飞飞组做博士后,2024 年初她选择回国,加入清华交叉信息研究院。她的核心命题是机器人的 in-context learning (ICL):让机器人到一个新环境,通过一两次交互当场学会新任务,而且越学越快。
本期节目还有一个及时的注脚:就在我们录完节目后的第二周,Generalist 发布 GEN-1.5 ——只给机器人看一段 3-12 秒的动作示范作为 "physical prompt",不做微调、不更新参数,它就能当场尝试完成新任务(10 项任务平均成功率约 59%)。 ICL 随即成为全球具身智能领域最受关注的话题之一,而这正是梦迪持续押注的方向。
除了 ICL,我们还聊到:
- 预训练的天花板
- 真正的泛化
- Scaling Law 的信号与陷阱
- 跑通稳定的数据闭环
- 叠衣服 demo 的误导
- 行业的泡沫与进步
- 年轻 PI 的真实生活与研究选择
穿越所有的技术话题之后,这还是一期关于人生选择、环境与长期主义的对话 ,希望可以是给所有站在中美之间、学术与产业之间、跟随热点与坚持长线之间的年轻人的一份参考。
🎬 我们的视频播客将同步上线于 @Koji杨远骋 的视频号、 抖音 、 小红书 、 哔哩哔哩 、 Youtube 等平台。
📒 文字版将发布于 @十字路口Crossing 公众号。
🟢 从四驱车到机器人
00:21 快问快答:年龄、毕业院校、MBTI、星座、一句话介绍
02:31 清华车辆工程,通向机器人的起点
05:59 为四驱车捡废铁的女孩
07:18 衡水中学,竞赛班里的另一面
12:02 CMU 最佳博士论文:预训练之外
19:19 Adaptation 为何越来越受重视?
🟢 从解题人到出题人
23:51 创造性工具使用:没有刀怎么切蛋糕?
26:30 斯坦福:李飞飞与吴佳俊,两种导师
30:57 从斯坦福回到清华
34:17 5 年后,凭什么成为顶尖研究者?
40:06 选最好的,还是最适合的?
42:24 她会回复怎样的套磁邮件?
🟢 具身 Scaling Law 的信号
44:44 具身创业:进步与泡沫共存
46:39 数据与世界模型,风向为何反复?
49:07 低 Loss,不等于高成功率
50:47 机器人还在 GPT-1 阶段?
56:04 In-Context Learning:机器人能懂你家吗?
58:19 数据闭环的“鸡生蛋”难题
01:03:21 具身数据,难在定义需求
01:05:18 遥操作、仿真、UMI 与人类数据
🟢 只有乐观才可能成功
01:09:56 博士面试里的 Research Taste
01:14:08 跟年轻 AP 读博,是一场创业?
01:17:25 AI 论文泛滥,还能怎么看?
01:19:22 具身马拉松,跑到第几公里?
欢迎订阅「十字路口」:
🚦 我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。
🚦 十字路口是乔布斯对苹果公司的一个比喻,形容它站在科技与人文的十字路口,伟大的产品往往诞生在这里。AI 正在给各行各业带来改变,我们寻找、访谈和凝聚新一代 AI 创业者和 AI 时代的积极行动者,和他们一起,探索和拥抱新变化,新的可能性。
👦🏻 主播 Koji:我创办了十字路口,发起了 AI Hacker House 这个新一代 AI 创业者的社群空间,在真格基金担任 Venture Partner 投资合伙人。我相信科技尤其是 AI 是我们这一代人最大的价值创造机遇。 Koji 的即刻 , Koji 的网站