Academia is for Ambition — Alex Zhang, MIT

学术界属于有抱负的人 — Alex Zhang, MIT - Latent.Space

Latent Space: AI工程师播客

学术界属于有抱负的人 — Alex Zhang, MIT

1×

0:00

当前时间：0:00 / 总时长：-1:41:27

-1:41:27

您的浏览器不支持音频播放。请升级浏览器。

学术界属于有抱负的人 — Alex Zhang, MIT

我们与RLM论文第一作者、MIT博士Alex Zhang进行对话，探讨Jev、博士生培养以及Harness的未来。

2026年10月2日

文字记录

AI工程师纽约活动常规票最后购买机会！作为Latent Space订阅用户的专属福利，前30位用户可凭此优惠码享受30%折扣（仅限新票购买，不可退款）！两周后见！

虽然我们通常在播客中关注产业动态，但偶尔也会庆祝那些明显崭露头角的博士明星。2024年我们曾报道过Shunyu Yao，他后来在OpenAI创立了Operator，现担任腾讯首席AI科学家。2025年我们关注了Jack Morris，他后来联合创立了估值6亿美元的Engram，现已成为持续学习领域的领军人物。

今年我们自豪地介绍MIT的Alex Zhang的研究成果。

从GPU内核和KernelBench到递归语言模型（RLMs）、管理不当的天才以及大规模多智能体群体，Alex Zhang正在探索通过将日益强大的模型封装在原始系统中，我们究竟浪费了多少能力。

今年初，递归语言模型（RLMs）迅速占据主导地位：

alex zhang

@a1zhang

正如2025年从语言模型转向推理模型的转变一样，我们认为2026年将聚焦于转向递归语言模型（RLMs）的转变。事实证明，如果允许模型将*自身的提示*视为外部系统中的一个对象，模型可以变得强大得多。

2026年1月2日 下午9:14

·

2.03M浏览量

247条评论

1.07K次转发

7.29K点赞

而基于RLM的Harness在OpenAI的Astra之前率先解决了ARC-AGI-3：

Prime Intellect

@PrimeIntellect

推出Prime Agent：一种用于编程和长期自主任务的自我改进RLM框架。通过程序化工具调用、上下文作为变量、多智能体通信和可自我修改的框架状态，设计上既高效又富有表现力。

2026年8月5日 下午7:34

3.22M浏览量

400条评论

840次转发

8.17K点赞

甚至今天，它仍在影响具有比RLM更极端影响的新研究：

Rulin Shao

@RulinShao

‼️上下文管理的苦涩教训：给予LM对上下文的无限制控制权胜过人类设计的最先进方案！推出🩵上下文语言模型（CLMs）🩵 - 本地管理自身上下文 - 将上下文视为文件 - 在CLM权重中学习策略，无需框架

2026年9月30日 下午1:03

389K浏览量

82条评论

251次转发

1.94K点赞

我们将深入探讨GPU模式和AI生成的内核、研究品味以及为什么学术界应该押注产业实验室不会冒险的领域、GEV以及标准自回归语言模型的替代方案，以及框架作为组合泛化器的概念。Alex解释了RLMs、上下文卸载、程序化子代理调用、Prime Agent、持久化子代理，以及为什么未来的"语言模型"可能实际上是简单接口下的不可见智能体群。我们还讨论了OpenAI的大规模智能体实验、Kimi群集、Sakana AI的开放研究、推测性程序化工具调用、能力过剩、Neuralese，以及Alex认为下一个重大研究机会可能在哪里。

我们讨论了：

• 为什么AI生成的GPU内核仍然为人类专业知识留下大量空间

• 一个专家见解如何可能取代大量暴力搜索的token

• 为什么博士生应该尝试那些乍看之下微不足道、奇怪或毫无意义的研究赌注

• SWE-bench、RLMs、ReAct和Quiet-STaR揭示的研究品味

• GEV以及为什么语言模型不一定要意味着自回归文本解码器

• 为什么Claude Code、Codex和Pi在结构上比看起来更相似

• 如何通过Harness设计提升跨任务和领域的组合泛化能力

• RLMs：上下文卸载、代码执行、递归子代理和共享内存

• Prime Agent、持续Harness和持久的代理间通信

• 为什么你未来查询的模型可能秘密地是一个完整蜂群或支架系统

• OpenAI的10,000代理实验、130B输出token和约4000万美元等价的问题解决能力

• 为什么代理蜂群的大部分可能都是浪费的搜索——以及为什么收敛仍然困难

• Kimi与OpenAI的不同多代理系统方法

• 开放性、Sakana AI和在大量生成作品中发现隐藏瑰宝

• 为什么当前前沿模型可能已经具备了显著的能力冗余

• 投机性程序工具调用和与生成过程重叠的工具执行

• 英语、代码或全新的"Neuralese"如何限制模型的推理方式

• 科学AI、快速发展的基准测试以及Alex如何选择研究问题进行投注

Alex Zhang

• 个人网站: alexzhang13.github.io

• X: @a1zhang

时间戳

00:00:00 引言

00:00:49 GPU模式、KernelBench和AI编写内核

00:07:38 人类专业知识与暴力AI搜索的对比

00:13:20 研究品味与重大赌注

00:19:28 GEV与语言模型的重新思考

00:29:03 游戏代理与Harness问题

00:31:01 为什么Claude Code、Codex和Pi如此相似

00:36:42 Harness作为组合泛化器

00:44:24 RLMs详解

00:52:01 Prime Agent与持久子代理

00:57:41 野生环境中的RLMs

01:00:30 OpenAI蜂群与语言模型的未来

01:07:26 开放性与Sakana AI

01:15:52 Kimi与OpenAI代理蜂群的对比

01:20:06 能力冗余与投机性工具调用

01:28:19 Neuralese、未来研究与科学AI

转录文本

引言：Alex Zhang、RLMs与GPU模式

Swyx [00:00:00]: 好的，我们此刻在演播室与Alex Zhang见面，他最著名的身份是RLMs的创始人，不过你还有其他一些关联。欢迎来到节目。

Alex Zhang [00:00:12]: 是的，感谢邀请。

Swyx [00:00:13]: 是的，还有GPU模式吗？

Alex Zhang [00:00:15]: 是的，还有GPU模式。

Swyx [00:00:16]: 你是被Mark Saroufim引荐来的。不是每个人都能得到这样的欢迎。

Alex Zhang [00:00:19]: 是的，没错。我和GPU模式的所有人都关系很近，所以是的。

Swyx [00:00:23]: 是的。

Alex Zhang [00:00:23]: 我们经常以各种身份合作，甚至超出GPU模式本身。

Swyx [00:00:29]: 是的。我们能解释一下吗？对不太熟悉的人来说，这只是一个Discord群组。它最初专注于CUDA模式，后来有所扩展，是由Mark创立的。

Alex Zhang [00:00:41]: 是的。

Swyx [00:00:42]: 对我来说，它就像PyTorch团队的招聘管道。

Swyx [00:00:45]: 然后你离开了PyTorch。

Alex Zhang [00:00:47]: 是的。

Alex Zhang [00:00:49]: 是的。我认为这其实始于我上大学的时候，大约在2023年。当时是由Mark、Andreas和Jeremy Howard发起的。最初的设想很简单，它原本是一个GPU相关的Discord社区，专门学习如何编写GPU内核，并且他们有讲座。基本上就是这个程度。我之所以对它感兴趣，是因为当时我正在编写GPU内核。这其实完全是偶然。当时我在Snapchat实习，

从CUDA模式到GPU模式

Swyx [00:01:22]: Rexis。

Alex Zhang [00:01:23]: 是的，我对Rexis感到非常无聊。他们当时有一个项目，他们对编写感兴趣。这是一篇名为《Infinite Attention》的论文，是Google发布的论文。

Swyx [00:01:35]: 是的，我们在Paper Club上讨论过它。

Alex Zhang [00:01:36]: 是的。我当时在思考是否可以在Snapchat上为它编写专用内核。但最终没有成果，不过我加入了GPU Mode。当时它叫CUDA Mode，我想是因为法律原因或其他因素，他们后来改了名字。但我在那里遇到了Mark、Matei和许多其他积极参与社区的人。Mark当时提出了一个叫做Popcorn的想法，现在就是你们看到的排行榜。但总体思路是，我认为我们所有人都有一种直觉，GPU编程与你们做过编程竞赛很相似。这并不是说这些技能可以转移。

Popcorn、KernelBench与自动化GPU内核

Swyx [00:02:17]: 你有约束条件。你会做一些代码高尔夫。

Alex Zhang [00:02:19]: 是的。

Swyx [00:02:19]: 是的。

Alex Zhang [00:02:19]: 是的。实际上，人们进行的优化空间非常有限，而且人们真正想优化的内核其实并不多。因此我们产生了一个想法，如果拥有足够的数据，就像Codeforces有数百万道题一样，如果能用GPU代码实现这一点，就可以扩展并自动化GPU内核开发，这对研究人员来说是一个巨大的突破。我认为其中一个更大的瓶颈是，比如你看看Mamba，他们发布论文时会附带内核，否则你根本无法以任何有意义的方式使用它。不是每个人团队里都有Tri Dao这样的专家。因此我们对此非常感兴趣。KernelBench也是由此产生的，即我们能否让LLM自动化GPU内核代码？我认为那段时间非常有趣。那是在我大学和博士期间之间，是的，我在GPU Mode做事情时非常愉快。现在我偶尔会帮忙做一些讲座，参与度没那么高了，而且我认为总的来说，我们现在的比赛数量不如以前多了。不过，是的，我仍然与那里的每个人保持密切联系。

Swyx [00:03:27]: 是否存在友好的竞争？因为我认为以前做这类事情的社区是像MLSys、MLPerf这样的。

Alex Zhang [00:03:32]: 是的。

Swyx [00:03:32]: 类似的情况。是否存在友好的竞争？这是否是新一代的MLPerf，或者有什么其他情况？

Alex Zhang [00:03:38]: GPU模式的优点在于它本身也是一个社区，很多讲座内容对初学者来说非常友好，足以让他们跟随学习并提问。比赛方面，虽然不能说是次要的，但你也可以参与其中进行学习。我认为像MLSys、MLPerf这类基准测试，通常只有严肃的实验室和公司才会参与，至少是认真对待这些测试。这是我之前的理解，可能有误。不过现在除了GPU模式之外，另一个令人兴奋的进展是出现了更多网站和专门举办竞赛的人。比如，我认为有这样一个网站叫LeetGPU，它就像是针对GPU问题的LeetCode。

Alex Zhang [00:04:21]: 我觉得还有一个网站叫LeetGPU之类的，它就像是针对GPU问题的LeetCode。

Swyx [00:04:26]: 哇。

Alex Zhang [00:04:26]: 我们还看到过其他一些网站，比如在GPU Mode社区中诞生的多个平台，这让我感到非常兴奋。因为过去GPU编程非常小众，当我刚开始感兴趣时，唯一的原因是Tri Dao在普林斯顿大学的演讲，当时他正在申请教职，现在他已经是该校的教员了。2023年我听了他关于FlashAttention的演讲，当时我感到非常震撼，觉得这是前所未有的酷。

Alex Zhang [00:04:56]: 我当时就想，这应该是每个人都在研究的方向。后来vLLM等工具出现后，我们意识到应该编写内核，但现在几乎每个人都在编写内核。我认为这个领域在某种程度上已经趋于饱和。

AI生成内核与验证差距

Vibhu [00:05:11]: 对于想进入这个领域的人，有什么有趣的见解吗？我认为最大的新闻是GPT-5.6编写了更高效的内核，因此Terra和Luna的成本可能降低80%。

Alex Zhang [00:05:24]: 是的。

Vibhu [00:05:25]: 我们还看到其他竞赛中有人创下记录，他们表示自己在进行“自动研究循环”，而这些人并没有相关背景。

Alex Zhang [00:05:34]: 是的。

Vibhu [00:05:34]: 他们完全没有内核编写经验，对吧？

Alex Zhang [00:05:36]: 是的。如果你查看GPU Mode排行榜，会发现最近的很多问题几乎都是AI生成的解决方案。但你也会注意到排行榜上有个叫Gauners的人，他是GPU Mode社区的资深成员，我们一直都知道他是个非常厉害的GPU内核编写者。我们在排行榜上发现了一个有趣的现象：虽然他使用了AI来辅助解决这些问题，但主要还是由他本人引导方向。我们发现他的内核是目前前十名中唯一能在实际端到端系统中稳定运行的解决方案。这也引发了一个问题：GPU内核存在验证难题。我们其实早有认知，这个问题从KernelBench发布以来就一直存在。有很多奖励机制被滥用的情况。但你也会发现，代码行数反而更少，不过

Alex Zhang [00:06:36]: 是的，不，是的，是的

Vibhu [00:06:36]: 好的

Alex Zhang [00:06:36]: 这确实非常重要，我认为仍然存在很多在编写GPU内核方面取得优势的机会，这非常有趣。

Vibhu [00:06:44]: 好的，所以从验证到

Alex Zhang [00:06:45]: 确实存在这个差距。我认为这同样适用于很多AI系统。即使是最新的数学证明，也不意味着数学家变得多余了。这些公司仍然会雇佣数学家，无论是做数据标注工作，还是引导模型解决问题。在这些领域保持知识优势仍然存在很多机会。

Swyx [00:07:12]: 这仅仅是知识的问题，还是也存在更多规划层面的差异？是否存在某种更有效的规划方式？

Alex Zhang [00:07:22]: 我认为这是混合因素。也许这就是你所说的，比如对

Swyx [00:07:27]: 大致如此

Alex Zhang [00:07:28]: 如何解决问题的直觉。

Swyx [00:07:29]: 例如，我总是绘制代码图。

Alex Zhang [00:07:31]: 是的。

Swyx [00:07:31]: 对吧？

Swyx [00:07:31]: 如果图中存在我不理解的部分，我会一直工作到理解为止。否则，这是不允许的。

Alex Zhang [00:07:37]: 是的。

Swyx [00:07:38]: 是的。

Alex Zhang [00:07:38]: 所以我认为这是混合因素，那些能看懂问题并知道如何解决的人，也懂得如何利用AI来完成这些工作。因为你就像一个非常强大的验证者。如果你知道该做什么，同时你也能... 我们通过这些代理群体和相关技术发现，当你向一个问题投入足够的计算资源时，你就能充分探索该问题的解决方案。但很多时候，你可能需要消耗1000亿甚至万亿个token，但如果有懂问题的人参与，他们可以为模型发现某些东西，从而抵消这万亿token的消耗。目前还不清楚这里的趋势具体是什么。但我认为，现在仍然存在大量需要解决的现实问题，我们无法总是投入尽可能多的计算资源。这些技术的效率层面仍然非常重要。

光速限制、内存与巨内核

Swyx [00:08:41]: 是否存在一个基于物理计算的理论正确答案，然后你只需接近物理极限即可？

Alex Zhang [00:08:49]: 是的。对于GPU内核，你可以计算。但有时计算并不容易，具体取决于问题的复杂程度。比如矩阵乘法，很容易计算出这种光速限制的最快内核估算值。但这也假设了数据的初始位置，比如数据可能起始于CPU或GPU的DRAM中，这些因素会略微改变数值，但

Swyx [00:09:18]: 数据传输和这些因素，是的。

Alex Zhang [00:09:20]: 是的。但我想说，虽然在很多情况下，甚至可能根本无法达到这个理论数值，如果这有意义的话。比如，这是假设数据完美重叠和传输，但可能还存在无法绕过的瓶颈。但通常，我们编写的内核与这个数值相差甚远，甚至完全无法达到有意义的水平。

Swyx [00:09:43]: 是的。那速度是关键吗？你是否也关心内存？显然

Alex Zhang [00:09:48]: 嗯

Swyx [00:09:48]: 这会影响速度？你关心功耗吗？我们今年最优秀的演讲者之一是Geoff Dean，他说过：“实际上，我追踪的是微焦耳，或者纳焦耳、皮焦耳。”

Alex Zhang [00:09:59]: 是的，现在通常是皮焦耳。

Swyx [00:10:01]: 皮焦耳。

Alex Zhang [00:10:01]: 是的。

Swyx [00:10:01]: 你关心这个吗？

Alex Zhang [00:10:03]: 我不关心。

Alex Zhang [00:10:04]: 是的。我想可能我并不那么

Swyx [00:10:06]: 但这里的一切都是关于速度，对吧？比如

Alex Zhang [00:10:07]: 这里的一切都是速度

Swyx [00:10:08]: 没有人在计算皮焦耳。

Alex Zhang [00:10:09]: 但这里有个例外情况，我认为在单个内核的上下文中存在速度，而在更大问题（比如N10模型）的上下文中也存在速度。因为需要考虑的一个因素是，这也是为什么讨论光速限制很重要，因为在这些内核的案例中，我们总是从HBM（高带宽内存）等开始。但你可以想象，对于端到端模型，你可能需要在两个层之间做出权衡，比如为了将数据保留在第二个操作的缓存中，可能需要牺牲第一个操作的速度。而这些是无法通过单独分析这类内核来解决的问题。人们将这种现象称为“融合”或“巨内核”问题。

Swyx [00:11:01]: 巨内核

Alex Zhang [00:11:02]: 内核融合问题。是的，或者巨内核相关的内容。通常这种情况只在内存受限的情况下适用。但这也引发了一个问题：随着模型的改进，我们是否应该生成巨内核？这是否是我们想要的？

Vibhu [00:11:20]: 你的看法是什么？

Alex Zhang [00:11:21]: 我认为这非常困难，因为你需要数据来实现这一点。而且，我觉得到目前为止，我还没有看到任何实际案例，比如我们可以在没有任何示例的情况下启动解决非常困难的问题类别的能力。我认为另一个原因可能是这并不那么有趣，因为单个内核层面，A，它们并不那么复杂，B，你对单个内核中结构的复杂性也没有太大信心。但如果是宏内核的话，我会更倾向于认为编译器在这里会更有效。比如，某些编译器在高层次操作上进行优化是有意义的，因为一般来说，我认为宏内核的各个部分其实非常容易组合，它们由许多独立的内核模块构成。虽然在某些领域你可能需要进行一些奇怪的融合操作，但总体而言，我认为这些情况编译器应该能够处理。据我所知，有一家公司正在研究这个问题，他们也做过关于GPU模式的演讲。

Swyx [00:12:28]: 是的，我想把所有关于GPU模式的讨论集中在这里，显然还有其他需要关注的内容。

Alex Zhang [00:12:32]: 对。

Swyx [00:12:32]: 我们需要继续往下讲。

Vibhu [00:12:33]: 我觉得这里可以插个广告。你们确实举办了很多非常好的讲座，都在YouTube上，大家可以关注。而且你们

Alex Zhang [00:12:39]: 是的。

Vibhu [00:12:39]: 主导了很多内容。你仍然参与其中。

Alex Zhang [00:12:41]: 我以前参与过，现在偶尔还会参与。我认为现在主要是Mark在负责，Mark通常是主讲人，Matei有时也会参与，但总之我强烈推荐这些讲座，它们是非常宝贵的资源。我觉得在这些讲座中人们分享的内容之多简直令人惊讶，所以是的。

Swyx [00:12:59]: 因为如果你在那里，你就是最合适的受众？

Alex Zhang [00:13:03]: 是的，完全正确。

Swyx [00:13:03]: 这些内容不会触及主流人群。

Alex Zhang [00:13:04]: 我们还放了一些入门级的资料，我认为对很多人来说都很有用。

基准测试、普林斯顿大学和研究品味

Swyx [00:13:10]: KernelBench有一定影响力。我只是想确认一下，那是去年的。

Alex Zhang [00:13:13]: 是的。

Swyx [00:13:14]: 还有其他正在进行的工作，你希望人们关注的有哪些？显然你参与了这些

Alex Zhang [00:13:20]: 是的。

Swyx [00:13:20]: 领域。

Alex Zhang [00:13:20]: 是的。我想讲讲背景，实际上我参与了很多基准测试，或者以前参与过，可能是在我攻读博士学位之前。这始于我在普林斯顿大学的时候，当时我与那里的SWE-bench团队合作。

Swyx [00:13:33]: John, Carlos

Alex Zhang [00:13:33]: John, Carlos

Swyx [00:13:34]: Ofir

Alex Zhang [00:13:34]: 还有Ofir。他们都很棒。比如

Swyx [00:13:36]: Karthik

Alex Zhang [00:13:36]: 我很欣赏他们。是的。

Swyx [00:13:37]: 基本上，我认为人们并不理解有多少基准测试来自普林斯顿大学的同一个团队。

Alex Zhang [00:13:42]: 是的。

Swyx [00:13:42]: 普林斯顿大学。

Alex Zhang [00:13:44]: 这真的很疯狂。

Swyx [00:13:45]: 有Xun Yu吗？

Alex Zhang [00:13:45]: 有。是的。

Swyx [00:13:46]: 我们之前在播客中请过他，现在他在腾讯工作。

Alex Zhang [00:13:48]: 是的，现在他简直成了超级明星。我第一次见到他时，他正在指导我的朋友Michael Tang（现在在Anthropic工作），他们当时经常合作。我们当时是Karthik实验室里仅有的两名本科生。后来也有一些其他人加入。但总之，Xun Yu确实非常出色。直到我离开之后，我才意识到他居然已经是这么耀眼的明星了。

Swyx [00:14:12]: 是的，博士生数量非常少。你的同学就是下一个。每年我们只重点介绍一两个几乎完成整个博士研究、始终走在正轨上的学生。

Swyx [00:14:25]: 这类学生并不多。Xun Yu显然是其中的佼佼者，Jack Morris也是。在节目开始前，我们还讨论过研究品味的问题。

Swyx [00:14:33]: 对吧？有些研究生似乎特别幸运，他们的职业生涯几乎从一开始就注定会持续发光发热，所有人都应该关注他们的成果。

Alex Zhang [00:14:42]: 是的。

Swyx [00:14:42]: 而其他人则毫无建树。

Alex Zhang [00:14:44]: 我认为这在工业界实验室里也适用。我认为研究生更容易被关注，所以你会看到一些人

Swyx [00:14:56]: 是的，他们可以发表论文

Alex Zhang [00:14:57]: 有些人确实非常幸运，或者说是幸运与聪明的结合。我认为研究品味也是这样培养出来的，至少在我的经历中是这样。我非常幸运地选择了自己的道路，比如在普林斯顿工作，后来在MIT遇到了Omar。他是一位非常棒的导师。不过我想说，我认为最成功的研究生或学术研究往往来自于那些关注其他人可能不会关注的问题的人。我认为很多研究生研究的课题其实更符合工业实验室的期待。比如他们会研究一些现在非常流行的基准测试。2023年的基准测试和现在的基准测试完全不同，现在有很多人专注于开发各种工具链、元工具链或特定任务的工具链。当你真正思考这个问题时，人们选择研究这些课题的原因可能是因为他们对当前模型有明确的目标，比如"这就是我想看到的"。不过，我想举RLM（递归语言模型）论文作为例子，我认为这是一个非常简单的想法。当这篇论文发表时，很多人看到这种东西都会问："这到底有什么用？"

Swyx [00:16:27]: 或者说太酷了。

Alex Zhang [00:16:28]: 是的，为什么？这不就是子代理之类的东西吗？

Alex Zhang [00:16:32]: 我认为当出现这种反应时，某种程度上反而是个积极的信号，因为这说明人们并没有真正思考这项工作的意义。再举个例子，比如SWE-bench。当SWE-bench发布时，Ofir很喜欢讲这个故事。当时几乎没人关注，所有人都觉得：“这简直是不可能完成的任务，为什么要把这个当作基准？”直到Devin出现后，大家才突然意识到：“哇，这确实是我们想要突破的方向。”我认为这种现象在很多想法中都存在。我最喜欢的例子是Eric Seligman的STaR和Quiet-STaR工作。当我第一次读论文时，我甚至会想：“这不是显而易见的思路吗？”或者可能不是，我不确定。我当时觉得：“哦，这看起来很简单。”比如思维链（Chain of Thought）或Xun Yu的ReAct，道理也是一样的。你可能觉得：“嗯，确实如此。”但当你真正思考时，会质疑：“为什么？这篇论文的价值到底是什么？”我认为其价值在于，它讲述了一个关于领域未来发展方向的故事。这在学术界很难实现，因为如果你看看这些论文——Quiet-STaR、ReAct、RLMs、SWE-bench——没有一篇像GPT-6的发布那样引发轰动。学术界不会像行业那样，大家一窝蜂地喊着：“天啊，我现在就要用这个，这简直是世界上最棒的东西。”至少目前，学术界根本承担不起这种大规模的发布。我认为有很多原因应该改变这种现状，但我想说的是，如果你没有... 作为博士生，我认为你处于一个独特的位置，因为你可以基本上自由选择研究任何课题。如果你没有利用这个优势，去研究那些无人关注或被他人视为琐碎的问题——比如“哦，我考虑过这个问题，但没用它”——那么最终，你的研究将很难真正吸引人。因为如果你要在学术界有所作为，就必须敢于承担重大风险。否则，我觉得你不如去工业实验室。他们拥有大量资源和人才，为什么要局限在资源匮乏、研究者寥寥无几的领域？我认为归根结底，就是敢于下大赌注。你必须敢于下大赌注，很多赌注最终会失败，这很正常。但我觉得...

Alex Zhang [00:18:55]: 作为博士生，这就是你相比其他实验室任何个人最大的优势，因为你不需要处理官僚主义和其他各种繁琐事务。

Swyx [00:19:07]: 说得有道理。

Alex Zhang [00:19:07]: 是的。

Swyx [00:19:08]: 我经常问别人这个问题，但大多数人只是轻描淡写地带过。我认为你给出的回应非常有深度，因为这确实是你的不公平优势，毕竟其他一切因素都对你不利。

Jev和突破自回归解码范式

Alex Zhang [00:19:20]: 没错，我以Jev为例，因为它不是一个学术

Swyx [00:19:26]: 哇，真的吗。

Alex Zhang [00:19:27]: 它不是一个学术项目。

Swyx [00:19:28]: 对。

Alex Zhang [00:19:28]: 我想提一下这个现象，因为这在RLMs身上也发生过，许多其他研究项目也是如此。比如，某些技术会被过度炒作，对吧？当某些东西被过度炒作后，人们就会质疑："为什么会被过度炒作？"然后会有人说："这其实很简单，很无聊。"我之前在Jev身上也看到过类似的情况。我认为Jev的发布引发了一些关于学术界或非学术团体需要进行品牌建设和市场推广的讨论。虽然我理解这种需求，但我认为关于Jev的讨论中存在一个误区，即认为Jev只是我们多年来早已了解的东西。我认为这忽略了这样一个关键问题：为什么这样的系统如此有趣？为什么它不能只是一个简单的自然语言处理分类器，就像我们在入门机器学习课程中一直在做的那样？我认为Jev真正有趣的地方在于，它提出了一个关于语言模型是否正确的问题。它们目前的形式是否只能局限于文本到文本的范式？因为Jev所做的本质上是：「我将利用这个语言模型的骨干网络。我知道它能够捕捉大量语言信息，但我会改变模型的输出空间，从而提供一个权衡方案——我可以实现非常快速的推理。」比如，如果你对某个问题有先验知识，假设我只需要进行二分类，我会让语言模型来做这件事并为此支付400倍的代价吗？显然不会，这很荒谬，对吧？长期以来，由于实验室是唯一掌握这些模型的机构，你永远只能使用GPT-4、GPT-6或Fable这类模型，因为它们是最好的。但正因如此，人们逐渐习惯了「语言模型就是自回归解码器」这个概念。我们已经接受了这种认知。我认为当RLMs出现时，情况也是一样的。我经常收到的评论之一是：「这不是语言模型。」或者「当我看到这个时，我以为是新架构，但其实不是。」我的回应是：「语言模型的本质是建模语言，它不一定要是这种Transformer解码器。」Jev的有趣之处在于，我们现在有了一个全新的...

Alex Zhang [00:21:49]: 需要调整的另一个方面是输出空间的定义及其对推理延迟的影响。我认为我们实际上可以开始针对语言模型本身的各个部分提出这类问题。我们也在类似循环变压器（loop transformers）的研究中看到了类似现象。这本质上是一个简单但富有启发性的想法，它引发了一系列值得探索的新问题，特别是对博士生而言，这些问题正是他们希望解决的。因为目前我们对这些问题的答案知之甚少。以Jev为例，我们尚不清楚这种方法能走多远。对于循环变压器，我们也存在同样的疑问。如果我们只对模型的一部分进行循环？如果我们通过某种路由机制，将计算分配到模型的不同部分？例如，能否在模型内部模拟外部工具（harness）的功能？如何在工具选择与模型架构选择之间建立联系？这些问题正是这类研究带来的新方向，令人非常兴奋。当我看到Jev时，我立刻意识到这对强化学习模型（RLMs）来说非常有用。因为我认为，目前RLM、蜂群系统或类似系统的最大瓶颈在于速度太慢。当你频繁调用多个语言模型时，实际上并没有正确分配计算资源——可能有些简单任务只需要一个轻量级模型就能完成，但你的语言模型却是一个笨重的系统，导致无法实现。因此我对这类研究感到非常兴奋。我认为未来我们将看到超越传统前沿模型（frontier model）的新类型模型出现，这些模型可以实现各种新的权衡。

Swyx [00:23:34]: 我还想特别提到Thinky在交互模型方面的探索。

Alex Zhang [00:23:36]: 是的，这确实是一个很好的例子。

Swyx [00:23:38]: 是的，他们本质上是在打破传统的序列到序列、仅解码器的范式，尝试实现任何其他可能的架构。

Alex Zhang [00:23:46]: 对。

Vibhu [00:23:46]: 我认为如果你试图竞争，你很难与前沿实验室（Frontier lab）的自回归模型竞争。

Alex Zhang [00:23:54]: 不，不是这样。

Vibhu [00:23:54]: 他们拥有巨大的计算资源，即使像Thinky这样的公司也无法企及。虽然可能有少数公司能勉强做到，但你实际上很难在这些领域取得显著进展。

Alex Zhang [00:24:06]: 我对Thinky了解不多，也不想发表评论，但如果他们的策略仅仅是复制OpenAI或Anthropic的模式，那这将是一个糟糕的策略。

Alex Zhang [00:24:15]: 因为，归根结底，你需要思考自己有什么独特优势。如果你采用相同的架构，那么你实际上只能在数据和计算资源这些可控因素上竞争，而显然你无法与前沿实验室抗衡。因此，如果你是一家新成立的实验室（neo lab），这确实是有道理的。不过，我不确定是否应该将他们归类为neo lab，但大概如此。

Vibhu [00:24:40]: 是的，这正是他们所处的位置。

Alex Zhang [00:24:42]: 我猜他们确实有点特殊，是的。

Vibhu [00:24:43]: 它们已经在清单里了。他们已经发布了Inkling，就像他们根本做不到一样。

Alex Zhang [00:24:46]: 除了OpenAI或Anthropic之外，比如Meta和GDM，你似乎只能另寻出路？就像，这确实令人沮丧，但我觉得这反而是好事。我非常高兴看到规模效应奏效，这些公司会继续这么做，因为这可能为新玩家打开机会，比如他们发现了一些真正有趣的东西。我对此有些怀疑，比如Frontier Labs是否真的在这么做，毕竟为什么要这么做？为什么要冒险投入大量算力去尝试新方向，而旧方向已经成功了呢？

Vibhu [00:25:24]: 我认为这就是很多新实验室诞生的原因，对吧？

Alex Zhang [00:25:27]: 对。

Vibhu [00:25:27]: 你有一个侧项目却得不到算力，你就会想：

Alex Zhang [00:25:30]: 对。

Vibhu [00:25:30]: “好吧，我得去，我得去做。”

Alex Zhang [00:25:31]: 没错。

Vibhu [00:25:31]: 而你提到的潜在回报，比如Jev，这种成本只有原价百分之一的模型出现，可能就是一个语言模型。

校准、快速分类与新模型权衡

Alex Zhang [00:25:41]: 对。

Vibhu [00:25:41]: 在这种情况下，只是有所不同。

Alex Zhang [00:25:42]: 对。

Swyx [00:25:43]: 对。

Swyx [00:25:44]: 所以没人能推测Jev到底是什么吗？

Alex Zhang [00:25:46]: 我猜我有一些猜测。我看到有人提到，"哦，这可能和扩散模型有关"。我认为

Swyx [00:25:56]: 这就是并行解码，对吧？

Alex Zhang [00:25:58]: 对，并行解码。老实说，不管它到底是什么，我认为你已经能看到一些开源复现版本了。他们真正让我兴奋的是，我不确定他们的优化目标是什么，也不清楚他们是如何训练的。我认为这正是我们也在思考的问题，即RLM（强化学习模型）是一个非常简单的概念。如果我发表了这篇论文，任何人都可以立即使用。但真正决定RLM价值的是你能否正确训练它，以及是否能围绕系统设计某种架构使其表现优异。这正是我目前在积极研究的内容。但对他们来说，他们找到了一种训练系统的方法，这完全是非 trivial 的。实际上，我甚至不知道他们是怎么做到的。我看到网上有人声称他们使用了Qwen，或者是在Qwen基础上进行过微调，但你用的任何开源Qwen版本都会表现更差，因为他们在训练时显然采用了非常有效的方法。这非常令人兴奋。

Swyx [00:27:04]: 校准中有一个要素，这是一个很少被讨论的话题，我认为大多数人甚至都不知道或理解。我们在与Hugging Face的Clementine Foley的对话中提到了这一点，她曾负责Hugging Face的模型评估工作。基本概念是，模型会调整自身以给出最可能的下一个词元。但当你问它们“你有多自信？”时，它们会欺骗你，因为它们只会给出最可能的答案，而不是像“实际上，我只有50%的把握”或“我只有20%的把握”这样进行校准。我认为，如果要生成合成数据，这其实相对容易，因为你可以看到真实情况，然后生成大量答案，让Jev进行分类，再与真实结果进行对比。

Alex Zhang [00:27:52]: 哦，我明白了。

Swyx [00:27:52]: 这就是我对这个话题的逆向工程分析。

Alex Zhang [00:27:54]: 是的。

Swyx [00:27:54]: 我认为校准可能是最被低估的部分。人们只是把它当作一个快速分类器来使用，实际上他们甚至没有使用概率或校准估计。

Alex Zhang [00:28:04]: 是的。

Vibhu [00:28:04]: 我认为这一点仍然存在误解。再次强调，当你问模型“你有多自信？”时，它会给出像43%这样的数值。但关键差异在于，这实际上是一个基于真实分类的结果，对吧？

Alex Zhang [00:28:16]: 是的。是的，我非常期待看到人们如何利用这个模型。它能解决所有问题吗？当然不能。但我认为它能解决我们传统上难以处理的一类问题，即低延迟任务。我特别喜欢游戏相关的例子，这实际上非常有趣。

Swyx [00:28:34]: 是的，比如Doom的例子。

Alex Zhang [00:28:35]: 是的。

Swyx [00:28:35]: 非常好。

Alex Zhang [00:28:35]: 我做过一个关于语言模型玩视频游戏的基准测试。我一直对智能系统是否能玩新游戏这类问题很感兴趣。因此，我认为他们用一种独特的方式实现这一点，通过快速模型捕捉语言和理解能力，这非常酷。

语言模型玩视频游戏

Vibhu [00:28:59]: 哦，既然你提到了这个话题，有没有什么关于视频游戏的要点想强调？

Alex Zhang [00:29:02]: 哦，是的。

Vibhu [00:29:03]: 这是你在某个项目中做过基准测试，对吧？

Alex Zhang [00:29:05]: 是的，但这些数据已经过时了。

Vibhu [00:29:08]: 是的。

Alex Zhang [00:29:08]: 因为很多模型已经发生了很大变化。我看到有人正在用更新的模型运行这些游戏，这真的很酷。这个基准测试的基本思路是，我们想看看视觉语言模型是否能够在包含延迟限制的条件下，成功接入游戏。实际上，这个测试是在Claude玩Pokémon的视频发布后不久推出的。

Alex Zhang [00:29:33]: 这是两年前的事情了，我想现在看起来已经很古老了。但我觉得这个任务组合真的很酷，因为它们涵盖的游戏类型非常多样。而且我认为其中大部分都是大家耳熟能详的游戏。我看到Jeff玩过《毁灭战士》。我想说，我觉得他们当时只是在玩一些非常简单的关卡。但说实话，目前大多数模型仍然无法真正应对这些游戏。或者说，我并不认为有哪个模型能真正有意义地解决这些游戏。有些游戏确实可以，比如我好像看过Astra成功通关《星之卡比》。为了这个基准测试，我们特意设计了一个非常简洁的适配器框架。我后面会详细讲这个适配器框架，因为我认为关于适配器的价值存在很多值得探讨的问题，比如适配器对模型到底有什么意义？但总体来说，我希望很快就能看到更新的模型能击败所有这些游戏。

Vibhu [00:30:35]: 是的，这很有趣。比如旧版《云顶之地》的宝可梦游戏，他们通过读取RAM状态来判断哪些方块可以行走。我们很久以前做过一档关于他们的播客。

Alex Zhang [00:30:45]: 明白了。

Vibhu [00:30:46]: 是的，只是好玩而已。

Swyx [00:30:46]: 是的，情况类似。比如Jeff没有视觉能力

Alex Zhang [00:30:48]: 是的

Swyx [00:30:48]: 所以你必须通过某种方式输入，

适配器作为组合泛化器

Alex Zhang [00:30:50]: 是的

Swyx [00:30:50]: 这些游戏状态和所有相关信息。我们直接进入适配器相关的内容

Alex Zhang [00:30:54]: 太棒了

Swyx [00:30:54]: 因为你提到了这个。语言模型适配器本质上是组合泛化器。

Alex Zhang [00:30:59]: 是的。

Vibhu [00:31:00]: 你刚才那个读起来有点吃力。

Alex Zhang [00:31:01]: 请解释一下。是的。好的。我可能对人们如何看待harnesses（工具链）的方式有些不太满意，因为人们经常比较说，“哦，我喜欢Claude Code，我喜欢Codex，我喜欢Pi。” 但其实，“不，我喜欢Oh My Pi，我喜欢Prime Agent。” 说实话，我认为它们本质上都是一样的。这些工具链的大部分设计决策或选择其实都相似。也许Prime Agent稍微有些不同，因为它本质上是一个RLM（强化学习模型）。但总体而言，我认为我们可以在工具链的设计上更加富有创造力。我的意思是，如果我们从工具链究竟为模型做了什么的角度来看待这个问题。基本上，当你试图解决一个复杂的问题并希望使用语言模型来解决它时，我们发现next token prediction（下一个token预测）这种方式其实并不适合完成很多任务。例如，以SWE-bench为例。当你在浏览代码库时，你是否能通过一次语言模型调用就解决所有问题？比如，你只是说“解决代码”或“解决我对这个代码库的查询”？显然不能。所以我们需要依赖工具链来帮助你完成这些任务。我认为有趣的是，工具链实际上是一种非常有偏见的程序，它决定了你希望语言模型如何适应问题。我提到这一点是因为当我们思考工具链的作用时，应该真正思考工具链中的哪些选择能让语言模型解决这个任务？我是否可以仅仅使用一个语言模型直接完成这个任务？因为如果从循环变压器（loop transformers）的角度来看，我认为工具链的一个有趣之处在于，你可以用某种方式将循环变压器建模为工具链，对吧？你只是在模型上循环。现在你可以这样说，“哦，我不进行解码”，所以它有点不同。但总体而言，出于某种原因，我们一直坚持使用相同的模型架构选择。有很多理由支持这一点，但很明显，我们现在正在围绕工具链的部署训练模型。因此，我们目前在工具链上进行训练的方式非常笨拙，即我们训练一个语言模型在工具链中运行，但这就变成了一个非常长的、可能涉及多个代理的部署过程。这种做法非常笨拙且充满hack（临时解决方案）。所以这篇博客讨论的是，你可以这样思考这个问题：如果工具链本质上是帮助模型解决特定任务，那么不同的工具链设计选择是否能做些更有意义的事情，而不仅仅是“这里有一些工具调用可以帮助你，这里有一种方式可以搜索你的代码库”？实际上，这个博客的想法与RLM（强化学习模型）的概念同时出现，只是我们当时没有以这种方式包装它。我认为这确实是真的。围绕RLM还有很多其他想法，我们会陆续推出，但这些想法其实从一开始就存在。这些都是关于设计决策的。我认为RLM的优点在于，我曾尝试过很多不同抽象层次的迭代和版本，最终RLM是最有意义的选择。但有很多原因没有公开说明为什么是这样，你之后会看到。例如，在这个例子中，我们看到的一个现象是，如果充分卸载上下文并让模型在该上下文中编写代码，你会得到一个非常奇怪但有用的特性，即当模型在训练过程中识别到如何解决任务时，你会发现许多任务的解决方案其实非常相似，即使它们属于你完全不相关的任务类型。比如，解决方案对你来说甚至不明显。在这个例子中，我们有一个检索任务和一个聚合任务，它们的查询完全不同，领域也完全不同。当你在这些任务上训练一个常规语言模型时，它们的轨迹看起来非常不同。因此，当你使用Pi或Claude Code（这些不在本文中，但我们确实有这些结果）时，你会发现这些工具链在这些问题之间区分得过于明显，尽管它们的解决方案其实是一样的。当我们训练RLM时发现的一个现象是，当它看到这些问题时，它们其实是相同的。它之所以认为这些问题相同，是因为子代理看到了不同的问题，但子代理正在解决一个更简单的子任务，因此你确信它足够聪明可以完成。但就整体策略而言，它们最终看起来是一样的。因此，当你在左边的任务上训练时，它可以立即解决右边的任务。如果你看一下我们提供的图表，你会发现一个现象：当你只是简单地在这些任务上训练RLM时，它们自然学会了泛化，例如泛化到更长的任务，因为策略基本上是一样的，你只是修改了一个长度变量。实际上，这种现象也适用于不同任务，它们甚至不依赖于长度——它们是完全不同的任务，比如数学任务和写作任务。但它们的解决方案，或者说高层次的元解决方案，是相同的。因此，当你在其中一个任务上训练RLM时，它会将这种行为泛化到第二个任务上。这里并没有什么魔法。我想强调的就是这一点。

Vibhu [00:36:38]: 你如何用语言描述他们正在学习的内容？我认为在这里你提到的是，你在短任务上训练它，它们可以推广到8到30倍更长的任务。

Alex Zhang [00:36:47]: 是的。

Vibhu [00:36:48]: 他们正在学习如何解决这类问题，还是说他们实际上正在学习的核心内容是什么？

Alex Zhang [00:36:52]: 是的。他们正在学习如何解决特定长度的这类问题。结果发现，当你采用他们学到的策略时，可以直接应用到更长的长度上。比如，他们

Vibhu [00:37:05]: 是的。

Alex Zhang [00:37:05]: 本质上是相同的程序。这非常令人兴奋，因为它暗示着当您使用一组数据或环境训练模型时，理想情况下，A，您可以在更少的环境中进行训练，并泛化到比现有模型通过传统训练方法所能处理的更多情况。B，同时，您仍然希望充分利用所有可用数据。当您在这些任务上进行训练时，希望模型能泛化到更广泛的问题类别。这在RLMs（递归语言模型）或任何递归调用系统中尤其令人兴奋，因为这一论点具有归纳性。例如，我将给出一个例子，因为我声称编程竞赛和GPU优化使用非常相似的技能集。模型可能需要一定的引导，但可以学习到“解决GPU编程任务的方法与编程竞赛中学到的非常相似。我将列出一组解决方案，生成子代理来列举有前景的方案，然后编写循环来检查这些方案，可能对它们进行演化，并通过验证器进行验证。”在这些任务之间，这种流程是相同的。但子代理执行的具体操作可能有所不同。但即使子代理解决的问题形式也可能相同，因为这是一个递归论证。我通过这篇博文想表达的核心观点是，我们需要重新思考工具（harness）的作用，因为工具实际上可以显著提升模型的泛化能力和数据利用效率。这不仅限于RLMs。我认为还有许多尚未发现的工具类型，它们同样能带来类似的效果。进一步延伸这一论点，我认为还可以推断出：如果观察RLM，哪些组件是RLM真正必要的？我们是否可以直接训练模型完成这些任务？是否可以训练模型在前向传播中隐式地扮演RLM？这确实是一个令人费解的问题，因为您可能会说“代码是非微分的，等等。”但我们将逐步发现许多近似这种行为的实现方式。我认为，我们看到的将不仅仅是设计一种新的编码工具，使用特殊的压缩形式等。我们可以在此领域更加创新。这些语言模型蕴含着巨大的潜力，而我们目前尚未充分挖掘。我对此非常兴奋，因为我认为，通过精心设计的、具有可扩展性的工具，我们可以实现显著的性能提升。例如，RLM本身就是一个非常基础的归纳偏置。除了它与当前方法存在显著差异外，其设计本身并没有特别之处。但这种差异可能使它在我们现有数据和环境条件下具有更好的扩展性。

Vibhu [00:40:20]: 我想人们可能会反问的相反问题是，当前的框架在编码方面过于通用，这在很多领域都适用。Cloud code 被用于设计和演示。

Alex Zhang [00:40:33]: 是的。

Vibhu [00:40:33]: 所有领域。MuseSpark、Grokbot。

Vibhu [00:40:36]: 这些是非常简单、无偏见的框架，在编码方面表现良好，并且正在扩展。我们如何改进这些框架的典型例子是什么？

Alex Zhang [00:40:48]: 是的。让我引用另一篇最近发表的论文，就是《框架税论文》。我认为是 Arena 团队写的。我非常喜欢这篇论文，因为它验证了我之前的一个假设，即大多数

Vibhu [00:41:07]: 所以它验证了这个假设。

Alex Zhang [00:41:08]: 是的。大多数框架的选择其实并不重要，因为

Vibhu [00:41:12]: 是的。

Alex Zhang [00:41:13]: 所有这些框架本质上是相同的。但我想说，比如 Grokbot，从我的理解来看，与一些其他框架的设计方式有明显差异，我非常喜欢这一点。至少从这里可以看出，我确信 Anthropic 或 OpenAI 仅在自己的框架上进行训练，他们很可能不会在竞争对手的框架上训练。我假设他们不会这么做，因为我不知道他们有什么理由要这么做。但

Vibhu [00:41:38]: 但这是开源模型中常见的现象，对吧？比如 Qwen 在使用开源代码方面表现非常出色。

Alex Zhang [00:41:43]: 是的。

Vibhu [00:41:43]: 他们需要在框架上进行训练。旧版 Gemmas 在这方面臭名昭著。

Alex Zhang [00:41:47]: 是的。

Vibhu [00:41:48]: 模型本身表现良好，但你需要在框架上进行训练。

Alex Zhang [00:41:50]: 我认为，随着模型变得越来越智能或越来越好，这种区分在某种程度上会变得不那么重要。比如，如果你将Astra放入开源代码中，它不会变得疯狂，因为我认为它已经足够好。我想强调的是，这些不同框架之间的主要区别基本上只是成本。我认为，Sugru，如果你将这些模型插入RLMs中，它们仍然表现一般，但至少是可用的。我认为主要原因在于我们训练的框架类型属于这一类框架，也就是所谓的pi循环，我喜欢称之为“轨迹作为提示”，意思是将整个执行轨迹作为主模型使用的上下文。即使使用子代理，它仍然大致保持这种形式。我认为，如果我们想要探索新的框架，需要有专门的团队进行有意义的实验，比如扩展新的框架设计，甚至在训练后进行扩展。我认为通过这种方式，无论是RLM还是其他类型，我们都能获得非常有意义的知识或提升。这令人兴奋，因为例如，如果你在Fable上投入大量训练，Fable曾是RLM的最佳模型，因为它们有动态的工作流程，很明显这种能力是经过训练的。即使模型在RLM框架中仍然有些“笨”，它在RLM框架中的表现也比其他模型好很多。现在Astra在这些方面也已经足够好了，但

Swyx [00:43:33]: 等一下，这是不是意味着Fable是RLM的最佳选择，还是有其他因素？

Alex Zhang [00:43:38]: 哦，不，这些都是内部结果，我想。

Alex Zhang [00:43:40]: 是的，我没有这些数据。

Swyx [00:43:41]: 好的。

Alex Zhang [00:43:42]: 目前还没有公开。但总体而言，我认为你可以很容易看出我们还没有针对RLM的工作流程进行优化。我认为如果我们能正确实现这些模型，它们的效率会高得多。你可以大致思考一下为什么会出现这种情况，对吧？

Vibhu [00:44:03]: 我认为这个时候需要解释一下什么是RLM。

什么是RLM？

Alex Zhang [00:44:07]: 哦，是的。

Vibhu [00:44:07]: 因为这里有很多听众可能

Swyx [00:44:09]: 是的，我们假设大家已经具备相关知识。

Alex Zhang [00:44:10]: 是的。

Swyx [00:44:11]: 此外，我认为你已经提供了一些背景

Vibhu [00:44:13]: 是的。

Swyx [00:44:13]: 所以你可以基于我们刚刚说的一切

Vibhu [00:44:15]: 是的。

Swyx [00:44:15]: 我们能否对RLM给出一个清晰简洁的定义？

Alex Zhang [00:44:18]: 是的。好的，我想回到这篇博客文章，

Vibhu [00:44:21]: 是的。

Alex Zhang [00:44:21]: 《组合泛化器》博客。这篇。好的。

Swyx [00:44:24]: 好的。

Alex Zhang [00:44:24]：这简直太棒了。我真希望在最初的论文中就有这个。RLM本质上只是一个Harness设计，其中Harness中唯一的工具就是代码，也就是这个程序化子代理调用机制，它可以选择将自身作为工具调用，同时还有其他工具。但所有这些功能都是代码中的函数，处理的上下文始终存储在代码环境的某个内存中。这可能是一个文件系统。比如，我举个例子，Prime Agent。Prime Agent的轨迹、上下文，即使在压缩后，都会存储在磁盘上。因此模型始终可以引用其原始上下文，即使经过压缩，所有工具都在Python REPL或Bash REPL中运行。这就像一个非常基础的抽象概念。我认为大多数Harness的区别在于，A、上下文卸载并不是这样进行的。顺便说一下，Prime Agent确实进行了上下文卸载，但并非完全。它仍然保持标准的Codex循环，将轨迹作为提示进行压缩，但还增加了上下文卸载功能，它只保留。Prime Agent的独特之处在于其唯一工具是IPython。这就像围绕RLM的非常通用的抽象概念。

Vibhu [00:45:59]：具体来说，RLM试图解决的核心问题是什么？

长上下文、组合性与局部分布任务

Alex Zhang [00:46:02]：是的。

Vibhu [00:46:02]：我认为最初出现时，它主要是关于上下文。

Vibhu [00:46:06]：我来回答这个问题。

Alex Zhang [00:46:06]：是的。最初的问题是Harness在处理长上下文时表现非常糟糕。它们通常只用于特定场景，比如代码。因为它们是在代码上训练的，所以可以处理你的代码库。但现在更多是这篇博客讨论的内容，即组合性，以及Harness的局限性。我们希望拥有语言模型系统，能够在每一步都对所采取的行动有更多控制。目前工具调用非常有限，因为必须在每一步都显式调用。比如必须先调用工具A，再调用工具B，再调用工具C，没有可以回溯的中央上下文。而RLM特别针对组合性进行了设计，具有可以始终回溯的中央上下文。这个上下文围绕现有语言模型进行了设计。另一个类似的设计实例是代理群（agent swarms），例如Hugging Face事件。这些代理群有一个消息板用于学习通信，这个消息板在某种意义上是它们共同作用的共享上下文。RLM的基本观点是，通过代码进行通信是最有效的方式。你编写代码来实现这一点，因为这些模型在编写代码方面非常出色，我们想利用这一点。

Swyx [00:47:37]：对于这种组合性，甚至包括为特定任务生成自己的Harness。

Alex Zhang [00:47:44]：完全正确。

Swyx [00:47:45]：对吗？

Alex Zhang [00:47:46]: 我认为我们会开始看到，如果你参考这张图。好的。我们讨论的是针对harness的局部内分布任务的概念，这个想法是建立在内分布任务之上的。当我们思考语言模型时，内分布任务就是指提示内容是模型之前见过或至少见过类似版本的任务。大多数harness的工作方式如右侧所示，它们会将轨迹作为提示不断追加。因此，除非你是Anthropic或OpenAI，且训练数据包含用户轨迹这类内容，否则这些任务最终大多会超出分布范围。但局部内分布的核心观点在于，如果RLM将计算分解为某种元harness或包含子代理的程序，每个子代理只关注局部问题，那么即使整个任务超出分布范围，任务中每个单独的语言模型调用都仍处于分布范围内。我认为这显然是一个非常理想的特性，因为如果每个语言模型调用都处于分布范围内，你很可能得到正确答案。

Swyx [00:49:00]: RLMs的逻辑极限是RLLMs，即你不仅编写harness，还会为

训练RLMs与更智能的harness

Alex Zhang [00:49:11]: 正是如此。

Swyx [00:49:11]: 你收集数据，所有内容。

Alex Zhang [00:49:14]: 对。

Swyx [00:49:14]: 例如，你的harness中就有一个全自动的人工智能研究员。

Alex Zhang [00:49:16]: 对。我们将看到RLMs训练的发展方向。作为学者，我目前在MIT并没有从事这项工作，至少在大规模层面没有，因为经济上无法承担。但确实有公司正在推进这项工作。我认为Prime和Select显然正在从事相关研究，这非常令人兴奋。也许我们会观察到一些现象，比如当围绕智能harness进行训练时，后训练阶段的扩展规律可能表现得更好。也许我们甚至会看到更智能的harness出现，它们能更好地遵循这类原则。

Swyx [00:49:50]: 什么是更智能的harness？这并没有明确含义。你刚才说它们都是一样的。

Alex Zhang [00:49:54]: 不。Claude Code、Codex、Pi等本质上都是一样的，因为当你分解harness的逻辑时，它们几乎都是同样的结构。

Swyx [00:50:06]: 是的，比如循环中的两次调用或

Alex Zhang [00:50:07]: 对

Swyx [00:50:08]: 诸如此类。

Alex Zhang [00:50:08]: 但使用RLMs和其他挂载抽象时，情况看起来会截然不同。我认为这就是真正体现差异的地方。就像语言模型架构选择一样，很多架构选择在扩展时看起来都差不多。架构之间的差异其实相对较小，对实验室来说这可能不是小事，但可能一个模型收敛速度略优于另一个。但总体而言，如果进行预训练扩展，目前的架构选择是相对稳定的。但如果完全改变架构，预训练扩展定律可能不再适用。类似地，这种幂律关系也会发生显著变化。挂载也是如此，目前我们拥有的各种挂载在大多数情况下看起来都差不多，但我也认为存在一些例外情况正在出现。

Swyx [00:51:06]: 我想补充一点，我最近更感兴趣的是那些敢于冒险的博士生。人们也在探索另一个方向，即如果改变训练数据，预训练扩展定律可能不再成立。目前我们只使用原始的互联网文本语料库，如果我们有更好的数据表示方式用于训练，那么扩展定律也会随之改变。

Alex Zhang [00:51:28]: 是的。

Swyx [00:51:28]: 所以架构、数据以及其他因素都值得考虑。我想回到这个话题，所有内容都合情合理。从非常抽象的概念到当前的实际应用，这种层层递进的思考方式非常有趣。

Prime Agent和有偏见的挂载设计

Swyx [00:51:43]: 当然，它显然可以向上或向下扩展。我想问，你是如何开始与Prime合作的？Prime是否会承担更多工作？这是他们对Hermes代理的回应吗？

Alex Zhang [00:51:56]: 嗯。

Swyx [00:51:56]: 你提到Grokbot有些不同。我只是想逐一提到这些项目并听听你的看法。

Alex Zhang [00:52:01]: 是的。我是在他们发布一篇博客文章后参与Prime的，这篇文章与我没有任何关联，文章内容是他们认为RLMs是未来方向。我认识一位在Prime工作的朋友，GPU Mode，Matei。我们联系后，我认为他们的研究人员观点与我有很多一致之处，特别是他们对挂载设计的理解让我印象深刻。我认为他们准确理解了RLM论文的意图，这不仅仅是解决长上下文任务，而是希望实现更偏向特定方向的挂载设计。

Swyx [00:52:39]: 是的，论文中总是存在你选择强调的结果。

Alex Zhang [00:52:42]: 是的。

Swyx [00:52:43]: 与实际的论点相比。

Alex Zhang [00:52:44]: 是的。我想谈谈学术界的激励机制，以及相关的一些问题，比如为什么这种机制存在缺陷，以及所有相关的问题，我们之后会再回到这个话题。不管怎样，我很欣赏Prime团队的成员。在我们决定合作之后，我们开始研究RLM（基于人类反馈的强化学习）的训练，并构建了这种RLM框架，看看能将它带到哪里。这就是Prime Agent的诞生过程，我认为Prime Agent的反响还不错。我唯一担心的是，当时在构建Prime Agent时，没有一个模型在RLM方面表现得特别好。这发生在Fable和Astra之前。

Swyx [00:53:27]: 我想先退一步，你能解释一下Prime Agent是什么，以及它与

Alex Zhang [00:53:32]: 是的

Swyx [00:53:33]: 传统工具，比如Claude Code，人们预期的框架？

Alex Zhang [00:53:36]: 是的。Prime Agent，我之前稍微提到了一些

Swyx [00:53:40]: 是的，有那个图表。是的

Alex Zhang [00:53:41]: 它基本上是。它是在Pi之上构建的框架，比如Pi Mono，Pi Mono在上下文中是像一个

Swyx [00:53:50]: 核心代理

Alex Zhang [00:53:51]: 极简主义的

Swyx [00:53:51]: 是的。

Alex Zhang [00:53:52]: 是的，像一个框架。我用Pi作为所有内容的参考，因为我认为其他所有框架基本上都是Pi。

Alex Zhang [00:53:57]: 但它确实是Pi，除了我们明确限制IPython是唯一可用的工具。所有其他工具都以Python模块或Bash脚本的形式加载。因此，它在Pi之上使用了核心RLM抽象，并且还有一个持续性框架，这是Seth开发的，Seth是另一位博士生。他用这个工具让语言模型框架来玩游戏。例如，他与Joel合作了很多，Joel是那个让Gemini玩宝可梦的人。顺便说一下，持续性框架也非常简单，我非常喜欢它。它基本上围绕一个设计原则，即框架本身可以修改哪些部分。某些部分，比如它自己的技能、可用的子代理、发送给模型的系统提示等，都可以被框架修改。持续性框架基本上作为IPython内核中的一个工具提供。这就是Prime Agent的构成，它的设计理念围绕这些内容。Prime Agent中的其他所有内容都像

Swyx [00:55:05]: 标准。

Alex Zhang [00:55:06]: 标准。

Swyx [00:55:06]: 标准。

Alex Zhang [00:55:06]: 对吧？是的。我认为真正让我喜欢的是，我们运气不错，因为很多新的前沿模型在内部实际上运行得非常好。实际上，甚至很多开源模型也表现得相当不错，至少是较新的那些模型。另外，在Prime Agent中还有一个需要强调的点，就是我们有一个特定的代理间通信系统或框架。这是因为RLMs往往会生成许多子代理，我们需要一种让子代理之间或与主代理通信的方式。因此在设计上有一些考量，比如每个子代理被允许通信的对象范围，以及如何实现通信。同样，所有内容都通过代码实现，因此它会编写代码来实现这种通信，我认为这非常酷。另外，还有一个特性是持久化子代理，这在某种程度上被添加进来。这些子代理可以持续存在，超出原始代理的标准运行时间。你可以进入这个子代理，进一步提示它，从而获得更多的可见性和灵活性。

Swyx [00:56:10]: 这正是我现在使用Codex时最大的痛点。它们的子代理非常短暂，而且他们明确不鼓励你用它们来做长期运行的任务。

Alex Zhang [00:56:17]: 是的。我认为这样设计是有道理的。

Swyx [00:56:21]: 所以诀窍就是将其外部化到文件系统，对吧？

Alex Zhang [00:56:24]: 是的。没错。

Swyx [00:56:25]: 就是这个诀窍。

Alex Zhang [00:56:25]: 这就是关键所在。

Alex Zhang [00:56:27]: 是的。

Swyx [00:56:27]: 此外，还要强制所有操作都通过代码实现，信任模型。

Alex Zhang [00:56:30]: 没错。

Swyx [00:56:30]: 它可以编写代码，并且会自行编写自己的测试框架。那么Prime是否会承担训练、后训练定制模型的任务？这是否只是你们之间的一次性合作？比如，这会是什么样的合作？

Alex Zhang [00:56:41]: 是的。他们正在训练一个模型，内部——实际上他们对此做过相当公开的说明。

Swyx [00:56:46]: 是的。

Alex Zhang [00:56:46]: 早在三月份。

Swyx [00:56:47]: 显然这属于他们的业务范畴。

Alex Zhang [00:56:49]: 是的。

Swyx [00:56:49]: 是的，所以。

Alex Zhang [00:56:50]: 是的。他们展示了他们可以在自己的托管训练系统上训练模型。但就模型训练而言，我并不参与其中。主要原因是我博士研究还有其他需要专注的事情。我认为，除了RLMs之外，还有许多其他重大赌注可以下。

Swyx [00:57:03]: 哦。

Alex Zhang [00:57:03]: 是的。有些我目前还不能透露太多。但总体而言，我认为作为博士生，真正的好处是有很多重大赌注可以下。虽然其中大部分可能最终没有成果，但这是研究领域非常激动人心的时期，尤其是我认为该领域的大部分进展都相对平淡。我不是说结果平淡，但做这些事情的过程往往相当枯燥。因此，我们接下来要做什么这个问题就变得尤为重要。

Swyx [00:57:39]: 是的。

Alex Zhang [00:57:39]: 我们之后可以再讨论这个。

第三方RLM工作：Harvey、Headlong、DSPy和ARC-AGI-3

Swyx [00:57:41]: 是的。

Alex Zhang [00:57:41]: 是的。

Swyx [00:57:41]: 好的，我想再深入一点你的研究，然后我们就可以开始发布。

Alex Zhang [00:57:44]: 酷。是的。

Swyx [00:57:44]: 开始发布。自从你们发布了RLM，很多人对此感到兴奋。有没有其他第三方的工作需要特别提及，比如你们应该关注的项目？

Alex Zhang [00:57:53]: 哦，是的。Harvey这家法律AI公司发布了一篇博客文章，虽然他们与我们没有任何关联，但他们在自己的法律工作数据上对RLM进行了二次训练。这些工作通常涉及大量文档筛选和特定信息检索，而这些信息可能难以通过纯检索系统获取。他们展示了非常出色的结果，这令人非常兴奋。我没想到他们会做这个研究，他们没告诉我，所以当这个成果发布时，我感到非常惊讶，觉得“哇，太棒了”。我认为这是非常酷的一个项目，他们正在做的事情也很有启发性。顺便说一句，这其实是与Base 10的合作成果。

Swyx [00:58:33]: 是的，这就是Base 10。

Alex Zhang [00:58:34]: Headlong，这是法律研究所的项目，是他们的持续运行框架。这非常酷。

Swyx [00:58:42]: 哦，他们改名了吗？以前叫别的名字。

Alex Zhang [00:58:45]: 原来叫Auto

Swyx [00:58:46]: Terminus。

Alex Zhang [00:58:46]: 是的，我知道。他们已经改过几次名字了。

Swyx [00:58:49]: 好的。

Alex Zhang [00:58:49]: 所以这是Andy Konwinski的主要项目，非常酷。我非常喜欢Andy。我不想低估他们正在做的事情，因为他们使用了RLM的抽象概念，但他们在做的事情比RLM更酷，他们构建了一个系统，可以持续进行思考。即使你不主动查询，它也能在上下文中思考问题。

Swyx [00:59:16]: 哦，所以它就像一个持续运行的系统。

Alex Zhang [00:59:18]: 是的，它就像一个持续运行的系统，但成本控制得很好，他们通过控制token成本确保不会消耗所有信用额度。这非常酷。我正在想，其实如果你去RLM的GitHub页面，下面有很多我链接的项目，人们做了很多非常酷的事情。Axe是另一个非常酷的项目，我认为这是一个人独立完成的，它是一个围绕DSPy和RLM的框架。DSPy本身也有RLM。最后我想提到的是，在ARC-AGI-3上，我认为他们Kaggle竞赛的官方项目（不是公开的灵长类项目）中有很多框架，这些框架都声称使用或参考了TUFA，这是某种基于RLN抽象的框架，这非常酷。我认为这正是你能够看到组合使用、代码结合以及神经符号系统与AI融合带来大量优势的场景。

Swyx [01:00:27]: 是的。

Alex Zhang [01:00:27]: 是的，非常酷。

Swyx [01:00:28]: 我们很喜欢神经符号系统的引用。

Agent Swarms, Unsolved Math, and What the User Should See

Alex Zhang [01:00:30]: 是的。

Swyx [01:00:30]: 你提到ARC-AGI-3时，OpenAI表示他们在这个任务上达到了99.9%的准确率。

Alex Zhang [01:00:36]: 是的。

Swyx [01:00:37]: 他们还说：“我们解决了纳维-斯托克斯方程，我们只是把模型扔了进去。”

Swyx [01:00:40]: 关于这是否仅仅是模型的问题，存在一些争议。

Swyx [01:00:44]: 他们使用的是RLM吗？还是其他方法？

Alex Zhang [01:00:46]: 我猜测可能不是，除非你特别说明。我需要谨慎一点，因为人们对什么是RLM、什么不是RLM存在争议。可以确定的是，他们使用的是某种带有共享上下文（如共享文件系统）的智能体群体。这与RLM的理念非常契合，但我觉得他们还做了很多更巧妙的事情，这些可能与RLM本身无关。我部分同意“框架”对于他们所做的工作并非必需的观点。我的理解是，像GPT-6 Astra这样的模型，如果具备正确的信息条件，理论上足够聪明，可以解决这些非常困难的问题。但如何获取这些信息却是个巨大的疑问。在他们的情况下，可能需要通过大量搜索，比如在群体中的多个智能体之间，或者研究人员的直觉指引下（虽然我不确定这部分）最终找到关键信息。最终某个智能体利用这些信息完成了证明。从这个角度看，框架是否重要？我认为不重要。我认为这说明框架的具体细节其实并不关键，这正是框架任务论文所指出的：除了用户对框架的感知，真正重要的是如何有意义地组合这些智能体以得出最终答案。这或许就是群体智能等技术的本质。

Alex Zhang [01:02:51]: 至少从我的角度来看，如果我们开始思考用户使用场景中对框架等工具的需求，比如：

Alex Zhang [01:03:48]: 我们希望提取这些系统（如Claude代码、Codex代码）中用户喜欢看到的优质部分。但本质上，运行在后台的可能是一些非常复杂、难以理解的智能体群体，最终得出答案。但显然用户并不想看到这些复杂过程，因为这些信息是不可读的。这又回到了RLM（递归语言模型）的思路，听起来像是语言模型，但其实不是语言模型架构。我认为未来我们可能会看到，我们目前认为的语言模型（即我们查询的对象），实际上可能是某种群体、某种框架或某种奇怪的架构设计，虽然用户看不到这些复杂性。最终用户看到的只是这个框架的前端界面。我认为至少可以合理推测，未来我们会看到这样的发展趋势。

Swyx [01:03:48]: 是的。

Alex Zhang [01:03:49]: 这可能与基础Transformer模型的局限性有关。显然，如果你只是拿一个基础Transformer模型，然后让它去解决纳维-斯托克斯方程之类的问题，它肯定做不到。我们都清楚这不会发生。但我觉得这可能才是更有趣的部分。关于“Harness是否重要”的说法，可能更多是围绕这样的观点：随意将模型或代理指向不断增长的信息上下文，或许就足以解决非常困难的问题。这个观点我认同。

Swyx [01:04:20]: 虽然内容很多，但我想说的是，OpenAI的投入金额是半公开的。具体来说，他们在88小时内使用了10,000个代理。

Alex Zhang [01:04:29]: 哦，对。

Swyx [01:04:29]: 输出了1300亿个令牌，按公开定价估算，大约价值4000万美元。

Alex Zhang [01:04:34]: 实际上，这个数字比我想象的要低。

Swyx [01:04:37]: 是的，其实没那么多。

Alex Zhang [01:04:38]: 是的。是的。

Vibhu [01:04:38]: 最终输出是1300亿个令牌，但正如你所说，过程中传递了大量上下文信息。

Vibhu [01:04:44]: 仅就代理之间发送的总消息量而言，这个数字是它的两倍多。

Alex Zhang [01:04:47]: 是的。

Swyx [01:04:48]: 是的。

Alex Zhang [01:04:48]: 是的。是的。

Swyx [01:04:49]: 我认为，我有幸提到Cursor在群体相关方面的作用。

群体架构、协调与令牌效率

Swyx [01:04:53]: 这部分内容稍显陈旧，是2月份的，算是比较早期的。

Alex Zhang [01:04:57]: 哇。

Swyx [01:04:57]: 但如果你一直滚动到底部，看到他们最终形成的多代理架构，基本上就是普通软件团队的组织结构图。我一直在思考，因为本质上，你必须让子代理执行某些聚合功能。这实际上与GPU编程非常相似。

Alex Zhang [01:05:16]: 是的。是的。是的。

Swyx [01:05:17]: 所以，这是一个瓶颈。这就是瓶颈所在。

Swyx [01:05:21]: 如果有一个主要的协调者负责所有子代理，那么他们必须再次聚合并重新协调。

Swyx [01:05:29]: 这很慢，很糟糕。真正的群体应该让每个人都是独立个体。

Alex Zhang [01:05:35]: 是的。是的。

Swyx [01:05:36]: 对吧？

Alex Zhang [01:05:36]: 我同意这个观点，但我也认为这里存在一个问题。让我举个类比：什么时候你会选择使用压缩（compaction）而不是RLM？在很多场景中，RLM可能能解决比压缩更复杂的问题，但大多数情况下你还是更倾向于使用压缩，因为它更便宜、更快。我认为在代理群体的背景下，情况类似：我相当确定，群体中95%的部分可能是完全无用的，或者它们探索的内容纯粹是在浪费令牌。而在这个架构中，可能不会出现这种情况。我不确定，也许在这里也存在类似情况。

Swyx [01:06:17]: 每个人都有自己的职责，这就是你的任务板。

Alex Zhang [01:06:19]: 是的。

Vibhu [01:06:19]: 我认为在某种程度上，问题的设定方式就是如此，对吧？

Alex Zhang [01:06:23]: 是的。

Vibhu [01:06:23]: 所以，比如你有一个搜索问题，需要让多个子代理去执行搜索任务，这会产生大量无用的信息，对吧？你得到一个检索结果，然后基于这个结果进行扩展，但这个过程是被明确意识到的，对吧？

Alex Zhang [01:06:36]: 是的。但这里有个问题，就是什么样的设计适合解决哪些类型的问题？理论上，OpenAI 可以将这个 API 打包成一个名为“swarms”的工具，然后提供给你，并告诉你：“将这个工具指向任何问题，我们都能给出解决方案。”但可能

Swyx [01:06:53]: 是的，它被称作“pro”，对吧？

Alex Zhang [01:06:54]: 是的。也许你需要支付 4000 万美元才能得到一个结果。

Alex Zhang [01:06:57]: 但这也令人兴奋。我想说，我们甚至有将 4000 万美元投入某个问题并解决它的选择，这本身就很令人兴奋。

Vibhu [01:07:07]: 是的。

Alex Zhang [01:07:08]: 但在这个领域还有很多研究要做，比如我们需要明确什么才是必要的。我们想做什么？我们想要什么样的设计？我们可能并不希望所有问题都使用“swarm”方式解决，但问题在于我们该如何界定边界？比如，代理是否应该自行设计或决定这种模式？等等。

开放性与无固定目标的研究

Swyx [01:07:26]: 是的。顺便问一下，你对“开放性”作为一类通用问题是否有研究？

Alex Zhang [01:07:35]: 哦

Swyx [01:07:35]: 我的意思是没有提示，直接让模型自己发挥。

Alex Zhang [01:07:38]: 有一点。我曾在 Sakana 实习过，那是在我博士之前或之后的夏天，他们在那里做了很多相关研究。我认为现在甚至在 Recursive Super Intel 这样的公司里，也有不少人从事类似工作。

Swyx [01:07:53]: 是的，我们刚刚刚请了 Richard Socher 来讨论。

Alex Zhang [01:07:55]: 哦，是的。是的，Richard 的公司，还有……等等，这可能就是那家公司。我不太记得了。Tim Lautenschlager 也在那里吗？

Swyx [01:08:03]: 是的。

Alex Zhang [01:08:03]: 好的，是的，就是那家公司。

Swyx [01:08:04]: 他是主要联合创始人，以前是谷歌开放性研究的负责人。

Alex Zhang [01:08:07]: 是的。

Swyx [01:08:07]: 是的。

Alex Zhang [01:08:08]: 所以我认为开放性问题与未解的数学问题在某些方面有相似之处。也许这种表述方式有些奇怪，但我觉得人们在处理这类问题时采用的很多技术其实很相似。比如进化搜索就类似于释放大量智能体并希望它们能产生有趣的解决方案——这正是AlphaEvolve和其他一些研究去年或前年所做的。但我觉得可能还存在一些问题，不确定这是否与你们提到的内容相关。在开放性搜索问题中，目前还不太清楚我们是否应该将所有问题都视为未解的难题，还是目标本身是明确的。如果目标不明确，我仍然不清楚这种研究的价值所在。也许你们有其他看法？我个人对此并没有太多观点，但至少在Sakana的经历让我意识到，我们最终还是希望像OpenAI研究纳维-斯托克斯方程那样来处理问题。我们仍然需要在某些方向上进行引导，才能最终得到有趣的成果。

Swyx [01:09:29]: 我的理解是，这可能属于基础科学研究与应用科学研究的分野。基础科学研究是为了探索而研究。

Swyx [01:09:36]: 你只是单纯想更深入地理解事物。我完全不知道这些研究是否会有任何实际应用，但

Swyx [01:09:45]: 在应用科学中，你有明确的目标。你试图以某种方式最小化损失。因此，我认为人们在重大投资方向上的思考是，假设没有提示的情况下会怎样？

Alex Zhang [01:09:57]: 我明白了。

Vibhu [01:09:58]: 你只需要选择一个领域然后让它

Swyx [01:09:59]: 比如说，你突然生成了一群智能体，然后问它们："嘿，大家在忙什么？你们在研究什么？"

Alex Zhang [01:10:03]: 是的。

Swyx [01:10:03]: 然后你只需要决定

Alex Zhang [01:10:05]: 我明白了。

Swyx [01:10:05]: 这是一个有趣的问题。

Alex Zhang [01:10:06]: 最大的问题在于...虽然可能存在明确的解决路径，但至少在我参与的时候，人们在开放性研究中遇到的最大问题是：最终如何选择？如何筛选出有趣的内容？因为当没有明确目标时，比如智能体可能提出了一个目标，但很多时候它们...他们有一个叫Fugu的系统，我认为这是一个模型路由工具，灵感来自于选择能提取最佳解决方案的问题。在这种情况下，就是为特定问题选择最佳模型。

Swyx [01:10:41]: 你是第一个将模型路由与开放性研究联系起来的人。

Alex Zhang [01:10:43]: 不，确实如此。我提到这个是因为我认为开放性研究的核心问题在于，当我们面对大量杂乱的输出时，如何从中筛选出有价值的内容？

Swyx [01:10:57]: 是的

Alex Zhang [01:10:57]: 比如说，找到那些隐藏的宝藏？而解决开放性问题的方法，其实就是让模型一直运行下去，然后去发现有意义的内容。比如，只需进行超高吞吐量的数据生成，再让智能体去筛选其中有意义的部分。我不确定这是否足够，但这样会很酷。

Swyx [01:11:21]: 对我来说，这与机器学习的主流思维形成鲜明对比。机器学习通常都有明确的目标，而这里却是在探索没有目标的状态。

Alex Zhang [01:11:28]: 是的，没错。

Swyx [01:11:29]: 或者，目标本身是模糊的，你可能会问："那这个目标呢？"然后回答："也许吧。"接着继续研究，最终发现

Alex Zhang [01:11:36]: 是的。

Swyx [01:11:36]: 这其实是个有趣的探索目标。因为正如你所说，Jeff发现了一个很有意思的目标函数，这个函数之前没人去探索过。

Alex Zhang [01:11:43]: 对，没错。

Swyx [01:11:44]: 我觉得这和你关于研究生选择的讨论很相似。你留在学校是因为想追求开放性探索。如果你想要追求利润最大化，想要逃离底层阶级，那你就去加入实验室。

Swyx [01:11:59]: 对吧？

Alex Zhang [01:11:59]: 是的，没错。这很有趣。我觉得我平时很少听到这样的讨论。我在东海岸，这里的氛围完全不同。但每次来这里，这总是讨论的焦点。

Swyx [01:12:12]: 不做这件事你就付不起房租。

Alex Zhang [01:12:13]: 是的。

Swyx [01:12:15]: 是的，你们正在被逐出市场。

Vibhu [01:12:16]: 是的。

Swyx [01:12:17]: 好的，所以，确实如此。我不确定你是否想继续讨论那些被误用的天才，你之前提到过这个话题。

Vibhu [01:12:25]: 不，这在你的博客上已经提到了。不过我会继续关注Sakana。

Swyx [01:12:28]: 哦，Sakana？哦，好的。

Vibhu [01:12:28]: 是的。他们在博客中提到过，我也和他们讨论过这个话题。Ultra的一个有趣成果就是，他们基本上让系统在自动化数据科学研究中自由运行

Sakana AI 与奇特的研究方向

Vibhu [01:12:40]: 几乎不需要人工干预。它只是在自动地

Swyx [01:12:44]: 是的，这就是自动研究，它比传统研究更开放，开放性程度也有不同层次，我同意这个观点。

Vibhu [01:12:51]: 是的，这和有明确目标的自动研究不同，这更像是

Swyx [01:12:54]: 是的。

Vibhu [01:12:54]: 做一些事情。但很酷的是，他们正在为对此感兴趣的人做这些研究。

Swyx [01:12:58]: 顺便问一下，你对Sakana的看法是什么？除了他们是日本团队之外，他们还在做什么？

Alex Zhang [01:13:04]: 是的。

Alex Zhang [01:13:05]: 我真的很喜欢那里的团队。我认为他们团队非常聪明，这也很合理。他们是从GDM早期团队分拆出来的，而那个团队也在做类似这种开放性进化研究。至少在我参与期间，他们确实有过一些有趣的事故，虽然我现在记不太清了，但我觉得

Swyx [01:13:31]: 你在说AI科学家吗？

Alex Zhang [01:13:32]: 不，是GPU内核。

Swyx [01:13:34]: 哦，好的，是的。

Alex Zhang [01:13:35]: 就是那个。是的。

Swyx [01:13:36]: 人们无法原谅他们这一点。是的。

Alex Zhang [01:13:37]: 是的。我想，像AI科学家这样的角色，有一些批评意见，但我不参与相关工作，所以对此没有发言权。不过总体而言，我至少喜欢他们作为研究型实验室的特质。他们不像OpenAI或Anthropic那样运作。可以肯定的是，他们完全没有竞争对手模型，至少在我在的时候，他们没有被广泛使用的大型模型。我认为他们在某些方面更像是博士实验室，这很酷。比如David Ha，他非常聪明，而且我认为他有很好的直觉。另外，我认为日本的AI市场也有些不同，他们的目标群体可能与我们习惯的略有差异。不过我喜欢他们这种风格。他们的很多研究看起来有些奇怪，但我觉得这很好。

Swyx [01:14:34]: 我们应该有更多这种奇怪的创新。是的。

Alex Zhang [01:14:35]: 完全正确。

Swyx [01:14:36]: 你提到不同的市场，是企业级市场吗？

Alex Zhang [01:14:39]: 那里的运作方式有些不同，比如交易方式等。

Vibhu [01:14:44]: 他们确实有。我猜这个页面原本是日文的，但确实有模型

Alex Zhang [01:14:49]: 哦

Vibhu [01:14:49]: 专为日本市场设计的。

Swyx [01:14:51]: 所以你之前不知道这个。

Alex Zhang [01:14:51]: 我确实不知道。

Vibhu [01:14:52]: 我也不知道。

Alex Zhang [01:14:53]: 真的不知道。

Vibhu [01:14:53]: 我也有一些个人朋友认识这个团队。

Alex Zhang [01:14:56]: 是的。

Vibhu [01:14:56]: 所以从文化角度来说，他们的回应方式也做了相应调整。这并不是在基准测试中领先的模型，而是针对日本文化进行了适配的模型，他们还提供了聊天等功能。

Alex Zhang [01:15:11]: 是的。

Vibhu [01:15:12]: 但正如你所说，教育应该是什么样子？如果有人想从事这方面工作，他们就像博士实验室一样会说：“做你想做的事，为什么不呢？我们有资金，去研究吧。”

Swyx [01:15:22]: 哦，他们说这是Kimi微调。这很好。

Vibhu [01:15:24]: 哦，原来如此。Kimi。

Swyx [01:15:25]: 很适合他们。

Swyx [01:15:26]: 是的，说到Kimi，还有一个研究生，他开发了一个叫做Kimi delta attention的项目，我想参与研究。

Vibhu [01:15:36]: 是的。是的。

Swyx [01:15:36]: 某种方式成功进入了Moonshot。我仍然不明白其中的逻辑。

Alex Zhang [01:15:41]: 是的。至少据我了解，他非常有才华。我认为总体而言，很多中国实验室都做了非常出色的工作。

Kimi群体、动态工作流程和收敛

Swyx [01:15:51]: 是的。

Alex Zhang [01:15:51]: 是的。

Vibhu [01:15:52]: 对Kimi代理群体有什么看法吗？

Alex Zhang [01:15:55]: 是的。我想说的是，无论OpenAI在他们的智能体群方面做了什么，显然都是正确的方向。你需要这样思考：如果没有非常聪明的控制框架设计（我认为目前还没有人真正实现），任何东西都不可能轻易免费获得。例如，智能体群的设计并不是你可以理所当然就拥有的东西。GPT-6 Astra并不是仅仅因为超级智能就自动实现了良好的智能体群功能。他们显然进行了训练，Hugging Face事件就是他们训练系统作为群组运行的案例。我认为他们确实做得非常出色，以至于投入4000万美元解决了长期未解决的问题。至于Kimi的智能体群，至少从我读到的内容来看，这确实很有趣，但我不确定它是否能解决任何真正新颖的问题。

Swyx [01:16:59]: 是的，他们就是这么说的。"它会帮你做电子表格。"

Alex Zhang [01:17:01]: 他们大概就是说，这里有一个能做些事情的群组，还挺酷的。但。同样地，我对动态工作流的看法也类似。我认为动态工作流的发布其实是个失败。我不知道你们怎么看，但我觉得这个东西使用频率并不高。

Swyx [01:17:21]: 它太贵了。

Alex Zhang [01:17:22]: 它太贵了，而且

Swyx [01:17:22]: 它是超代码。基本上就像，占领我的床。

Alex Zhang [01:17:26]: 我试过，但它的表现方式并不像。再次强调，我不是OpenAI的狂热支持者，但我觉得他们所做的确实令人印象深刻。他们设法让这个群组真正实现了目标导向的行为。

Swyx [01:17:41]: 我明白了。

Alex Zhang [01:17:42]: 朝着目标行动。是的。

Swyx [01:17:44]: 我明白了。

Alex Zhang [01:17:44]: 这非常困难。

Swyx [01:17:45]: 我明白了。所以，多智能体群的效率就是这里的优化目标。

Alex Zhang [01:17:51]: 是的。

Swyx [01:17:51]: 对吧？

Swyx [01:17:52]: 有多少是冗余？这有很多冗余。

Alex Zhang [01:17:55]: 是的，我认为是这样。

Swyx [01:17:55]: OpenAI的冗余更少。

Alex Zhang [01:17:56]: 我们理所当然地认为智能体群能收敛到答案。

Swyx [01:18:00]: 是的。

Alex Zhang [01:18:00]: 它只是。这不是我们理所当然能实现的。

Swyx [01:18:02]: 是的。是的。我们和Noam Brown做过一个Pod，还有他

Alex Zhang [01:18:06]: 哦，是的，我记得。是的

Swyx [01:18:06]: 他的项目。他的整个项目就是说，我们做过很多竞争性智能体，现在在做协作性智能体。

Alex Zhang [01:18:13]: 是的。

Swyx [01:18:13]: 现在被称为群组。

Gemini、GDM与大规模控制框架工程

Alex Zhang [01:18:15]: 是的。

Vibhu [01:18:15]: 我想快速问一下，你对Gemini有什么看法？我认为他们也是金牌。曾经有一段时间，他们让智能体长时间推理。

Alex Zhang [01:18:26]: 是的，

Vibhu [01:18:28]: 现在考虑这个问题还太早吗？

Alex Zhang [01:18:29]: 不，我认为这被夸大了一些。比如Gemini，我需要先说明，我并没有在这些公司工作过，所以请以批判性思维看待我的观点。

Vibhu [01:18:39]: 你对代理框架有很强的见解

Alex Zhang [01:18:42]: 是的

Vibhu [01:18:42]: 而且，这正是

Alex Zhang [01:18:43]: 但让我先说，这项工作非常令人印象深刻。我认为他们在这里展示的内容是，他们选择了一个模型表现尚不成熟的时间点

Vibhu [01:18:53]: 是的

Alex Zhang [01:18:53]: 他们非常聪明地设计了框架的功能。我记得至少在这个案例中，比如AlphaGeometry，这应该是在一年前，但非常酷。他们将其发挥到极致，设计了某种结构。虽然我不太热衷于竞技数学，但我觉得GDM有点可惜。我跟讨论过GDM的人几乎都持相同观点，认为它过于官僚化。不管怎样，他们拥有人才和资源去做几乎所有事情，但直到他们解决这个问题之前，比如反重力技术，虽然没人实际使用，我试过一次，但看不到切换到它的理由。我认为出于某种原因，他们在这方面遇到了困难。

Swyx [01:19:40]: 是的。很多人长期批评Meta，直到他们开始

Alex Zhang [01:19:44]: 是的，他们已经恢复了

Swyx [01:19:44]: 有所突破。我认为Google现在正处于这个阶段。

Alex Zhang [01:19:47]: 是的。

Swyx [01:19:48]: 你只需要保持生存并

Alex Zhang [01:19:51]: 是的。

Swyx [01:19:52]: 我想回到

Alex Zhang [01:19:53]: 是的

Swyx [01:19:53]: 你的总体看法，我们可以讨论推测性PTC

推测性PTC与并行工具执行

Swyx [01:19:58]: 管理不善的天才，或者直接抛开这些，讨论其他内容。

Alex Zhang [01:20:03]: 好的，让我们稍微讨论一下管理不善的天才。

Swyx [01:20:06]: 是的。

Alex Zhang [01:20:06]: 我对推测性PTC的唯一评论是，这是一个非常简单的想法。几乎显而易见应该这么做，没什么可多说的。我认为这应该直接用于编程，比如任何需要程序代理调用的场景（如RLMs或Kodak），这简直不言而喻。

Vibhu [01:20:25]: 对于没读过相关内容的人

Alex Zhang [01:20:27]: 是的

Vibhu [01:20:27]: 用一句话概括是什么？

Alex Zhang [01:20:29]: 简单来说，当模型编写代码时，或者即使在编写完成后，很多工具都必须按顺序执行或等待，所以你应该提前启动它们。比如如果你能对这段代码进行即时编译，你可能可以分析出即使有变量等复杂情况，也能提前预判

Swyx [01:20:52]: 是的，静态分析。

Alex Zhang [01:20:53]: 是的。所以

Vibhu [01:20:54]: 推测。

Alex Zhang [01:20:55]: 是的。实际上，有人向我指出过，学术界，尤其是编程语言领域的人，有一些非常酷的方法可以实现这一点。也许将来我会在这方面做些研究。

Swyx [01:21:09]: 我猜你必须更换语言，因为如果你使用JavaScript或Python，就无法做到这一点。

Alex Zhang [01:21:13]: 是的，没错。

Swyx [01:21:14]: 所以，比如Haskell，那除了Haskell之外，还有哪些常见的语言？

Alex Zhang [01:21:21]: Lisp。

Swyx [01:21:22]: Lisp、OCaml。

Alex Zhang [01:21:24]: OCaml，对，没错。

Swyx [01:21:25]: 是的，任何函数式语言都可以。

Alex Zhang [01:21:25]: 是的。

Swyx [01:21:25]: 你实际上可以像流水线一样处理这些任务。

Alex Zhang [01:21:27]: 是的。

Swyx [01:21:27]: 所以如果你想用TypeScript，可以使用Effect-TS。

Alex Zhang [01:21:29]: 是的。

Swyx [01:21:30]: 好的，我们可以切换到，

Vibhu [01:21:32]: 我喜欢这个图表。

Alex Zhang [01:21:33]: 是的。

Swyx [01:21:34]: 这就是你们整个研究的核心观点，对吧？

能力悬空：可靠长期运行工作

Swyx [01:21:36]: 对我来说，这有点像是重申一个观点，但可能我忽略了一些东西。

Alex Zhang [01:21:41]: 是的。

Swyx [01:21:41]: 例如，开发更好的工具或框架，或者你的模型实际上在更努力的情况下能表现出更强的能力，这本质上是一个技能问题。

Alex Zhang [01:21:48]: 是的，基本上是这样。我想看到的一点是，我理解目前对“尖锐智能”的关注，因为它描绘了一幅宏大的图景，即如果我们真正下定决心，我们是可以做到的。但我也希望，也许学术界有人能做这件事。真的坐下来思考一下，如果我使用Astra，即使当前最先进的模型在持续一个月的时间里稳定地完成特定任务方面也还不够好。我认为这是一个愚蠢的问题。我真心认为我们可以解决这个问题。你不需要是前沿实验室，也不需要为了IPO做所有这些花哨的事情。我认为这些模型非常聪明，即使以一种看似愚蠢的方式，我也认为这本质上是一个技能问题，即你可以让模型达到像某个18岁高中生那样完成工作的水平。

Alex Zhang [01:22:50]: 做一些工作。我认为我们无法做到这一点是荒谬的。原因之一是语言模型的格式本身并不适合这种任务，但我认为你可以围绕它设计一个框架来实现。我认为，仅就这一点而言，即使不考虑RLM相关的内容，也不考虑我们应该使用哪些抽象方法，我认为有人可以设计出一个能够实现这一点的框架。也许这就是

Swyx [01:23:13]: 你说的“做到这一点”具体是指什么？

Alex Zhang [01:23:15]: 执行长期但简单的任务，并且可靠地完成它们。

Swyx [01:23:20]: 好的。

Vibhu [01:23:20]: 举个例子？这和比如选择你最喜欢的公司，比如Harvey，用LLM来做法律工作有什么不同？

Alex Zhang [01:23:30]: 我认为这有点类似，但瓶颈不是特定的法律知识之类的东西。比如，

Vibhu [01:23:38]: 我想，比如，人们可以拿模型构建流水线或其他结构，让代理反复执行他们想要的任何任务，对吧？

Alex Zhang [01:23:47]: 是的。举个例子，如果我想构建一个通用系统，我可以像和实习生交谈一样与它对话，只需简单地要求它完成一些小任务。例如，非常基础的自动化研究可能就是这种情况的体现，它不一定能找到非常新颖的解决方案，但至少能优化任何问题中所有容易处理的部分。这些部分通常会被过度关注，比如机器学习训练等。不过，我不确定这样是否清晰，但确实有很多通用工作流程，你可能只需要凭感觉编写代码。一些特定的工具可以帮助你完成这些自动化任务。例如，自动查找研究论文等。但通常人们会设计专门的代理来协助完成这类工作，或者他们会搭建一个工具，直接运行，比如Slack机器人之类的。但我觉得其实存在一种标准形式，就是一种可以直接插入的工具。你不需要特意为查找论文或类似任务设计它，你只需告诉它“帮我找到这个”，然后把它插入到相应的场景中。我想表达的是，我认为有很多简单的事情可以被自动化。

Vibhu [01:25:13]: 这是假设还是关于能力过载的观点？比如即使我们暂停，当前模型状态仍然可以产生大量影响？

Alex Zhang [01:25:22]: 从某种意义上说，是的。我想表达的是最简单的形式。但我想说的是，我们在很多方面都存在智力的不均衡。例如，模型在编程和数学方面表现得特别出色。这表明我们可以将这些能力迁移到许多其他领域。例如，如果你找一个国际数学奥林匹克竞赛金牌得主，让他们解决各种不同领域的问题，他们通常都能应对。我不确定这是否适用于模型。例如，在GPU代码优化方面，一个非常有趣的问题是，如果从模型中移除所有GPU编程数据，但模型的其他能力与Astra现在一样强大，它是否仍然能够优化GPU内核？它是否能够通过上下文学习大致掌握所需的知识，并通过某种流程或方法解决优化任务？我认为这里存在一些不匹配，比如如果有一个人类具备与Astra同等的智慧或知识，这个人类的能力与Astra的能力之间可能存在差异，可能围绕着工具的使用。我认为我们实际上可以更接近地模拟人类。

持续学习与通用问题解决

Swyx [01:26:42]: 对我来说，这听起来非常类似于持续学习的问题。我认为你

Alex Zhang [01:26:46]: 这是最好的例子。是的。

Alex Zhang [01:26:48]: 是的。

Swyx [01:26:48]: 你当时为什么不直接说这个呢？

Alex Zhang [01:26:49]: 是的。我想我

Vibhu [01:26:50]: 我当时在想，我是否可以直接说出像“学习”这样的词？

Alex Zhang [01:26:54]: 我对这个词很谨慎。但没错，我

Vibhu [01:26:57]: 你有一个非常出色的眼睛。

Alex Zhang [01:26:58]: 或许吧，就像，我不太清楚，有点像

Swyx [01:27:03]: 不，我觉得你其实非常，嗯，我不太确定，其实我还不知道你本科专业是什么。你一般来说是数学相关的人吗？

Alex Zhang [01:27:09]: 稍微有点，是的。

Vibhu [01:27:09]: 你学过数学吗？

Alex Zhang [01:27:11]: 是的，至少我当时是这么打算的。

Swyx [01:27:12]: 比如范畴论这种抽象方式，你用范畴思考，然后需要将其转化为具体实现。但其实你更关注范畴本身。

Swyx [01:27:24]: 这就是沟通中的误差，因为大家都在听具体实现，但其实你更想传达的是通用概念。

Alex Zhang [01:27:31]: 是的。

Swyx [01:27:32]: 这很难。我不太确定，或许可以用某种简写方式，比如“我现在处于第二层，接下来要升到第三层，然后再回到第二层”。我们应该建立某种认识论层面的简写方式来表达这类事情。

Alex Zhang [01:27:45]: 是的。

Swyx [01:27:45]: 因为这确实很难。你在用连续的词语进行解码时，需要压缩大量信息。

Swyx [01:27:51]: 我们应该转用Neuralese吗？有没有比英语、Python或JavaScript更好的输出形式？我不知道。

Neuralese、编程语言与扩散式思维

Alex Zhang [01:28:06]: 是的。

Swyx [01:28:06]: 这有点像垃圾帖子，但人们一直在推测，模型想要输出的本源语言是什么？

Swyx [01:28:14]: 有人说是二进制，这是Marc Andreessen的观点，我不确定。

Swyx [01:28:19]: PTX？

Alex Zhang [01:28:20]: 假设是英语和Python的混合体。我这么说是因为模型的能力在某种程度上反映了我们训练它们的数据。所以我们仍然希望，我不太认同二进制的观点，虽然我能理解，但我觉得

Swyx [01:28:40]: 是的。你想以某种方式建模世界，我认为

Alex Zhang [01:28:43]: 是的。

Swyx [01:28:43]: 我想提一下Sapir–Whorf假说，这在所有这类对话中我都会提到。如果你选择英语，你就会被限制在英语存在的时间范围内，比如大约五百年，这其实并不长。实际上，你使用的语言会限制你的思维方式。

Swyx [01:28:59]: 比如说，中文里没有时态。我不确定你是否知道这一点，我自己其实以前不知道，但我确实会说中文。

Alex Zhang [01:29:09]: 哦，我知道这点，但我的中文不太好。

Swyx [01:29:12]: 好的。

Alex Zhang [01:29:13]: 是的。

Swyx [01:29:13]: 是的。比如日语或韩语，我记不太清是哪种语言了，比如在韩语中，你和每个人说话时都需要承认对方的社会地位。

Alex Zhang [01:29:23]: 是的。

Swyx [01:29:24]: 但这和性别是不同维度的问题，对吧？就像它会无意识地影响你做的一切。当我上Ling 101课程时，听说非洲有一种语言存在“蔬菜性别”这种概念。对吧？就像你们英语中那样。或者像人们常说的爱斯基摩语没有“雪”这个词之类的。总之，你所使用的语言会影响你的思维方式。如果你选择用英语输出你的思考过程，实际上你就偏向了英语能解决的思维方式。我不清楚英语的先验知识具体是什么。

Alex Zhang [01:29:51]: 这很有趣，我之前没这么想过。

Vibhu [01:29:55]: 在某种程度上确实很有趣。你对语言的判断是正确的，很多模型的思考过程也会在不同语言间切换。

Vibhu [01:30:03]: 明显的例子是中文模型用英语表达时，可能仍在用中文进行推理。但同样地，大多数模型都具备很强的多语言能力。

Vibhu [01:30:13]: 这种适应性我们能看到，你添加新语言时，虽然不会获得完整的语言能力，但

Swyx [01:30:18]: 是的。

Vibhu [01:30:18]: 它们会进行语言间的切换。

Swyx [01:30:21]: 是的。我们都是自回归模型，但也是

Vibhu [01:30:23]: 对。

Swyx [01:30:23]: 比如德语，主语-宾语-动词的语序，必须把动词放在句尾，这非常烦人，非常著名。对吧？你直到句子结束才能知道你在说什么，比如“哦，那些名词的混乱之后才是动词”。最经典的例子是《降临》电影中的七足生物，他们对时间的感知是扁平的，所以他们一次性输出完整句子。这与自回归和扩散模型之间的差异最为接近。

Swyx [01:30:55]: 我们用自回归的方式交流。如果能用扩散模型交流会怎样？让事物随着时间自然演化？

Alex Zhang [01:31:01]: 我明白了。

Swyx [01:31:02]: 但整个想法会一次性呈现出来。

Alex Zhang [01:31:05]: 我明白了。

Swyx [01:31:07]: 这是一种截然不同的语言，但确实是一种语言。

Alex Zhang [01:31:10]: 我明白了。哦，这真的很有趣。

Swyx [01:31:12]: 也就是说，机器可能会使用我们永远无法使用的语言，但机器并不在意。

Alex Zhang [01:31:19]: 也许这偏离主题太远了。

Swyx [01:31:20]: 是的。

Alex Zhang [01:31:20]: 但难道没有本质上就是自回归的推理链吗？

Swyx [01:31:30]: 是的，时间。

Alex Zhang [01:31:30]: 有时是的，比如。

Swyx [01:31:32]: 是的。某件事先发生，然后另一件事才发生。

Alex Zhang [01:31:34]: 比如代码中的任何东西，通常都必须具有因果性。

Swyx [01:31:40]: 但并非总是如此。如果你没有充分探索，

Alex Zhang [01:31:44]: 这是对的。是的。

Swyx [01:31:45]: 在编程语言理论中，一切都可以是纯函数式和完全关系性的。你抽象出一个求解器，将始终成立的关系转化为代码。嗯，我觉得这可能有点超出我的理解范围。

RLMs之后的未来

Alex Zhang [01:32:01]: 不，这确实很有趣。是的。

Swyx [01:32:01]: 但我对语言充满热情，无论是编程语言还是人类语言。我经常思考语言如何影响推理能力以及我们能实现的边界。我不需要深入探讨太多。你是否还有其他想法？我原本的最后一个问题想问的是，你有这么多研究成果和未来方向，你曾经历过GPU模式阶段，也经历过RLMs阶段。

Swyx [01:32:25]: 按理说你们应该还有其他计划，否则就不会把重点放在这些方向上。顺便说一句，我注意到你们最初是从GPU侧入手，然后转向零梯度侧（也就是Shenyou所说的），这感觉似乎不如直接研究GPU那样有说服力？

Alex Zhang [01:32:44]: 是的，从某种意义上说，你提到我喜欢用数学思维去思考问题。

Swyx [01:32:51]: 类别论，对吧。

Alex Zhang [01:32:52]: 有时处理工具链和代理（agents）会让人感到非常不适，因为它们太模糊了。

Swyx [01:32:57]: 因为你觉得所有工具链都是一样的。

Alex Zhang [01:32:58]: 对。所以这确实非常模糊。

Swyx [01:33:00]: 所以你刚刚提出了两个关于工具链的新想法，对吧。

Alex Zhang [01:33:01]: 是的。从经验上看，至少以我们目前的计算资源，验证很多发现都很困难。但我觉得我转向这些研究问题的原因是，我认为这些领域才是未来创新的主要发生地。对我来说，GPU层面只是探索其他想法的手段。例如，你可能想精通编写内核，甚至为了更宏大的目标自动编写内核。从这个角度看，我猜那些内容其实都是工具链相关的内容，但我也对模型层面的研究同样感兴趣。我就说到这里。

Swyx [01:33:48]: 好的。

Alex Zhang [01:33:48]: 是的。

Swyx [01:33:48]: 这是个不错的提示。如果有人想联系你，你目前最需要帮助的是什么？你希望在哪些领域寻找合作者？有没有什么行动呼吁？

在研究合作与重大决策上的选择

Alex Zhang [01:33:58]: 是的。我想目前并没有特别需要与某人合作的领域，除非是与公司讨论计算资源，或者与其他人交流想法。但我要说的是，我从不反对与他人合作研究。我经常收到本科生甚至其他学生的来信。

Swyx [01:34:22]: 播客制作人。

Alex Zhang [01:34:23]: 播客制作人。通常我会收到类似这样的邮件：“我真的很喜欢RLMs。”然后他们会说：“我想和你合作。”我感觉...

Swyx [01:34:33]: 是的，这算是一种糟糕的联系方式，对吧？

Alex Zhang [01:34:35]: 是的，没错。

Swyx [01:34:35]: 最糟糕的是：“能请教您一些问题吗？”

Alex Zhang [01:34:36]: 是的。

Swyx [01:34:37]: 然后会问：“关于什么？”我就会想：“先读我的论文吧，朋友。”

Alex Zhang [01:34:39]: 他们会说，"我读过你的论文"，比如"递归语言模型"或者"Prime Agent"，像一个自我改进的RLM框架之类的。说实话，我挺喜欢有主见的人，即使我们意见不同。我认为如果你有坚定的观点，并且能够深入思考这些观点的对错，这其实很难。但如果你对某些问题有坚定的信念，我总是很乐意聊天，甚至一起合作。我对能合作的对象没有限制，无论是谁或者什么领域。

Swyx [01:35:12]: 没有限制？

Alex Zhang [01:35:13]: 对。在智能体时代，我认为在带宽方面可以做更多工作。是的，我认为总体而言我并不难取悦，但需要一些努力

Swyx [01:35:30]: 是的

Alex Zhang [01:35:30]: 有点。是的，知道

Swyx [01:35:32]: 是的

Alex Zhang [01:35:32]: 知道自己想要什么。

Swyx [01:35:32]: 非常明确。当你看到新东西出现时，如果执行得很好，想法简单清晰，那就会立刻吸引你注意。

Alex Zhang [01:35:40]: 是的

Swyx [01:35:40]: 立刻吸引你注意，对吧？

Alex Zhang [01:35:41]: 我会很兴奋。是的。

Swyx [01:35:42]: 实际上，要获得像Frontier Lab那些人一样的关注其实并不难

Alex Zhang [01:35:45]: 是的

Swyx [01:35:45]: 因为他们在寻找你。你只需要主动展现自己，对吧？

Alex Zhang [01:35:48]: 完全正确，是的。

Swyx [01:35:49]: 但确实如此。我想说，现在人类注意力非常稀缺，我自己也在管理项目数量上遇到困难。

Swyx [01:35:57]: 我不知道该怎么处理。我不认为智能体在这方面有帮助。

Swyx [01:36:00]: 比如，我只会给它一个提示然后就再也不看结果了。

Swyx [01:36:03]: 对吧？这种情况非常常见。

Alex Zhang [01:36:05]: 是的。

Swyx [01:36:05]: 是的，这很糟糕。

Alex Zhang [01:36:06]: 我猜，可能其中一个较小的差异是，你可能在做研究。我不确定。但至少对我而言，我可能有10到15个想做的想法，但问题是，其中大部分都不太好。

Swyx [01:36:20]: 是的。

Alex Zhang [01:36:20]: 这可能对联系我的人也适用。比如，一个想法可能实际上不好，但看起来很有趣。我们可以花些时间研究它，如果我们觉得确实有价值，就应该用接下来几周时间深入探索。这就是我的工作方式，这也是为什么我喜欢博士研究，因为有时我会在跑步或打网球时思考问题，虽然那时我其实在工作。但那些时刻是最有趣的，当我真的确信某个方向时，我会放下一切专注去做。

Alex Zhang [01:36:52]: 我会把所有时间都花在思考和解决这个问题上。一旦你到了可以开始实验的阶段，就会变得容易多了。

科学作为下一个前沿领域

Swyx [01:37:03]: 是的，抱歉。这是

Alex Zhang [01:37:04]: 是的，没问题。

Swyx [01:37:04]: 比如说，关于倒数第四个问题，我认为很多人也在思考科学是否是下一个前沿领域，比如物理科学、生物、数学等。你怎么区分哪些项目适合工业应用，而哪些纯粹属于科学研究？

Alex Zhang [01:37:27]: 其实在我开始博士研究之前，我就做过一些用于生物领域的AI项目。从那以后，这个领域发生了很大变化。

Swyx [01:37:33]: 是的。

Alex Zhang [01:37:34]: 我应该说明一下。

Swyx [01:37:34]: 因为以前这更像是理论研究，当然，你指的是什么？我有一条路径，然后

Alex Zhang [01:37:39]: 是的。

Swyx [01:37:39]: 我选择了那条路。但现在很多人开始跨界。

Alex Zhang [01:37:41]: 是的。

Swyx [01:37:41]: 所以我们启动了一个科学小组，专门研究这些领域。

Alex Zhang [01:37:44]: 哦，真厉害。

Swyx [01:37:45]: 因为很多工程师觉得，实际上那里有很多可解决的问题。

Alex Zhang [01:37:50]: 是的。我得先说明，我对这些话题的理解可能还很有限。但我觉得，如果有人联系我，或者当我看到某个问题时，发现我们目前使用或正在思考的一些设计原则其实对解决这个问题很有帮助，我也会感到很兴奋。不过我觉得这更难。我不确定。我觉得科学，尤其是实证或应用科学，有非常长的反馈周期，或者说反馈回路之类的。

Swyx [01:38:23]: 是的，这最终会导向机器人领域的问题。

Alex Zhang [01:38:25]: 是的。对我来说，还有一个问题是，现在值得投入时间和资源去探索的是什么？比如，我可能花了很多时间研究这个问题，但六个月后，可能会出现一个不同的解决方案，比如一个新的模型，效果可能好得多。所以我要小心。你得清楚地意识到，你认为事情可能会往哪个方向发展。

Swyx [01:38:47]: 是的，完全正确。

Alex Zhang [01:38:47]: 所以，是的。

Swyx [01:38:48]: 发布周期。

Alex Zhang [01:38:49]: 是的。所以

Vibhu [01:38:51]: 那么我就可以告诉ARC-AGI-3，它已经饱和了。我们已经完成了。

Alex Zhang [01:38:54]: 是的，ARC-AGI-3在不到一年的时间里就达到了饱和状态，这有点让人意外。如果你是一个选择这个问题的研究机构，你现在可能有点沮丧，因为实际上

Swyx [01:39:04]: 是的。所以，这正是为什么知识工作、游戏等领域已经饱和了。

Alex Zhang [01:39:08]: 是的。

Swyx [01:39:08]: 现在，真正的前沿是科学。所以

Alex Zhang [01:39:09]: 是的。

Vibhu [01:39:10]: 知识工作已经饱和了。

Swyx [01:39:12]: 是的。GDP估值大约在80到90之间。

Swyx [01:39:16]: 有90%到100%的领域显然是会

Alex Zhang [01:39:20]: 很难判断

Swyx [01:39:21]: 10年后。但，比如，下一个容易解决的问题可能是

Alex Zhang [01:39:25]: 这是有道理的

Swyx [01:39:25]: 其他领域。

Alex Zhang [01:39:26]: 是的。也许我会再仔细想想这个问题。实际上，我还没有太多思考

Swyx [01:39:30]: 我只是在猜测你下一步的方向，实际上。

Alex Zhang [01:39:32]: 不。我想说，尤其是在MIT，那里有很多非常有才华的科学家，比如在自然科学领域。我觉得，某种程度上，去说“我要解决你的问题”几乎有点亵渎。

Swyx [01:39:45]: 不，就是这样进行的。

Vibhu [01:39:46]: 很棒。

Alex Zhang [01:39:46]: 哦，我知道。是的。

Swyx [01:39:47]: 所以我采访了Yitai，他参加了IMO。他只是说

Alex Zhang [01:39:50]: 哦，是的。哦，对。

Swyx [01:39:50]: “我从来没参加过IMO，甚至不知道这是什么。”这是一个技能模型，伙计。

Vibhu [01:39:55]: 是的。

Swyx [01:39:56]: 这有点不尊重，但算了。这就是为什么，是的。

Vibhu [01:40:00]: 是的。在某个时刻，你必须尊重，比如，进展正在被做出。

Vibhu [01:40:05]: 比如，数字正在输出，对吧？

Alex Zhang [01:40:07]: 对。是的，对。

Swyx [01:40:08]: 是的，这是一个非常重要的教训。这很有趣，因为数学家们现在对NARI系统做出这样的反应。

Alex Zhang [01:40:13]: 对。是的。

Swyx [01:40:14]: 比如，Terry Turnstow说

Vibhu [01:40:15]: Turnstow

Swyx [01:40:16]: “不，我们不要使用AI。”

Alex Zhang [01:40:17]: 是的。

Swyx [01:40:17]: 我说：“嗯，我不知道。”

Alex Zhang [01:40:19]: 嗯，是的。我觉得这件事有点奇怪，因为我觉得如果他们之前没有和OpenAI合作过，他们的论点会更有说服力，毕竟所有这些事情都发生了。

Swyx [01:40:30]: 不，这是人身攻击，他们真的想避免这一点。那又如何，对吧？

Alex Zhang [01:40:34]: 那又如何？是的。

Swyx [01:40:35]: 我不知道。那又如何？他们已经合作了。我和那些我不认同的人也合作过。

Alex Zhang [01:40:39]: 我猜这是真的。

Swyx [01:40:39]: 我不认同，或者

结语：研究、学术界与未来

Alex Zhang [01:40:40]: 这是真的。

Swyx [01:40:40]: 随便。

Alex Zhang [01:40:41]: 是的。这是真的。

Swyx [01:40:41]: 或者，比如，我做了某件事，现在我后悔了。我改变了主意。随便。

Alex Zhang [01:40:45]: 是的。

Swyx [01:40:45]: 所以我会捍卫他们表达这种观点的权利。但说实话，很多人对此持合理反对意见。

Alex Zhang [01:40:50]: 是的。

Swyx [01:40:51]: 好的，很酷。感谢你加入我们。祝贺你迄今为止的成功。我简直不敢相信你还没完成博士学位。

Alex Zhang [01:40:58]: 哦，是第二年？

Vibhu [01:41:00]: 是的。不敢相信我们做这个播客时没有讨论过RL论文。

Swyx [01:41:05]: 他有一个定义。

Alex Zhang [01:41:07]: 我认为这篇论文更多是关于实证结果。实际的想法其实很简单。

Vibhu [01:41:11]: 是的。你已经多次谈到过。

Alex Zhang [01:41:13]: 是的，到目前为止。我认为现在有更有趣的事情值得关注。

Vibhu [01:41:17]: 很棒。

Alex Zhang [01:41:17]: 是的。

Vibhu [01:41:18]: 好吧，我们很期待看到你接下来会做什么。

Alex Zhang [01:41:19]: 非常感谢。

#### 关于本集的讨论

评论

Restacks

专为AI工程师打造的播客！2025年，超过1000万读者和听众通过Latent Space了解Software 3.0领域的新闻、论文和访谈。我们深入探讨基础模型在代码生成、多模态、AI代理、GPU基础设施等领域的变革性影响，内容直接来自推动前沿技术的创始人、开发者和思想家。我们致力于为您提供最权威的行业洞察，从当下热点的深度解析到未来3个月您将使用的技术的首次介绍！我们率先披露来自OpenAI、Anthropic、Gemini、Meta（Soumith Chintala）、Sierra（Bret Taylor）、tiny（George Hotz）、Databricks/MosaicML（Jon Frankle）、Modular（Chris Lattner）、Answer.ai（Jeremy Howard）等公司的独家新闻和专访。完整节目笔记请访问：https://latent.space 商务合作与赞助联系：

[email protected]

收听渠道：

Substack App Apple Podcasts Spotify RSS Feed

近期节目

为什么Dwarkesh关于计算机使用的观点是错误的 + OpenAI如何用一周时间推出Jev竞争对手 9月30日

Claude Code的新时代 —— Thariq Shihipar（Anthropic） 9月29日

从种子轮到Stripe：OpenRouter的历程 —— 与OpenRouter的Alex Atallah和AMP的Anjney Midha对话 9月25日

Runway的WorldPrompt与实时世界工程 • Richard MacManus

🔬生物安全是一场AI军备竞赛 - Eric Nguyen（Radical Numerics首席执行官） 9月23日 RJ Honicky

🔬一颗奥斯卡奖、两颗小行星和你sklearn中的算法：John Platt谈科学AI 9月22日 Brandon Anderson

Jev：用于生产环境的系统一模型，而非神谕 —— 与TypeSafe AI首席执行官Diogo Almeida对话 9月21日