少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠 - 42章经 | 小宇宙 - 听播客，上小宇宙

这期的嘉宾淏楠非常「折腾」。他读过五个大学，读着觉得没意思就换，也是少有的同时做过 Agent、多模态、RL 和具身的人，而且总是做一些逆势而为（非主流）的选择：

他曾在陈天桥和代季峰两位老师的 MiroMind 工作，是最早一批做 Agent 的人，却在 Agent 最热的时候放弃更丰厚的 package，转向多模态。在混元负责多模态 RL infra、主导推出开源多模态强化学习框架 UniRL 之后，他最近又换了方向，去了一家具身公司负责模型训练。其实，Astra 的出现给具身行业带来了不小的震动，也似乎抹平了各家此前在「大脑」上积累的优势。淏楠在此时入局，总有那么一丝「49 年加入国军」的意味。

不过，这些选择看似很跳，但背后的思考一脉相承，既关乎个人志趣，也有对技术发展和未来空间的判断。所以从 Agent 到多模态再到具身，一路做下来，淏楠收获了什么？这几个方向的实际进展，与外界的感知又有哪些不同？前段时间很火的 Minimax H3、GPT Astra，到底会带来哪些改变？这期播客，我们就沿着他的经历聊了下来。

聊到最后，淏楠谈起具身很兴奋。现在入局具身，可能不但不是 49 年入国军，反而恰好赶上了具身的 GPT-3 时刻？

【人类博物馆】

导游：曲凯，42章经创始人

54 号珍藏：王淏楠，前腾讯混元多模态 RL infra 负责人、主导开源多模态强化学习框架 UniRL，曾在 MiroMind 参与 Agent 研发，现于某具身智能公司负责基模预训练。

【时光机】

Part 1 从 Agent 到多模态

• 02:03 为什么会从在 MiroMind 做 Agent，转去在混元做多模态 RL infra？

• 06:13 国内外 RL 的差距到底在哪？

• 07:45 Agent 和多模态的关系其实可以很紧密

• 08:56 做 Agent 和做多模态，其实都是围城

• 11:32 大厂不太能做具身？

• 12:37 多模态最后只有两条变现途径

Part 2 聊聊视频生成

• 14:11 Seedance 到底为啥这么好？

• 15:14 多模态的竞争可能没那么激烈？

• 16:26 视频生成现在发展到什么程度了？

• 19:20 「抽卡」依然会存在，但概念可能会发生变化

• 21:37 视频生成继续发展下去，可能会解锁什么样的机会？

• 22:22 MiniMax H3 到底什么水平？

• 23:54 实时互动的技术真的成熟了吗？

Part 3 从多模态到具身

• 27:45 好多人做世界模型都做迷茫了…

• 30:55 做具身的两种正确路线

• 32:22 为什么 Astra 给具身圈子带来了比较大的震动？

• 37:27 聊聊具身训练的 reward 和数据

• 40:12 具身的「大脑」，最后会变成大模型厂商的竞争吗？

• 41:59 在现在这个时间节点去做具身，是不是 49 年入国军？

• 45:24 Agent 开发的场景还是不够多

• 46:42 多模态还有创业公司的机会吗？

• 47:38 具身里可能迎来了 GPT-3 时刻？

【 The gang that made this happen】

• 制作人：陈皮

• 剪辑：二琳、陈皮

• 片头：Mondo Bongo - Joe Strummer & The Mescaleros

• 片尾：Alpine Decline - I Got Up (Just Like John Sinclair Told Us To)