#614.NVIDIA 核心科学家 Bryan Catanzaro：当算力堆到极限，开源模型如何靠“效率”继续变强

#614.NVIDIA 核心科学家 Bryan Catanzaro：当算力堆到极限，开源模型如何靠“效率”继续变强 - 跨国串门儿计划 | 小宇宙 - 听播客，上小宇宙

📝 本期播客简介

本期我们克隆了：知名科技播客《The MAD Podcast with Matt Turck》 Why NVIDIA Is Giving Away AI Models | Bryan Catanzaro

原内容更新时间：2026-07-02

本期嘉宾是 NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro，主持人是风险投资家 Matt Turck。Bryan 是 AI 基础设施领域真正的幕后关键人物，他参与创建了 cuDNN，共同发明了 DLSS，并主导了 Nemotron 开源模型家族。这期节目围绕一个核心矛盾展开：NVIDIA 作为一家芯片公司，为什么要投入巨资构建前沿 AI 模型，然后免费开放给全世界？

对话深入探讨了开源 AI 的现状、中美之间的技术竞赛，以及 Nemotron 模型背后的架构创新。Bryan 详细拆解了混合 Mamba-Transformer 架构、混合专家（MOE）、多 token 预测和多教师蒸馏等硬核技术，并分享了 NVIDIA 内部如何组织数百名研究员高效协作，而不是各自为战写一百篇论文。如果你关心 AI 模型效率、开源生态的未来，以及大型研究机构的运作方式，这期节目会提供非常扎实的一手信息。

👨‍⚕️ 本期嘉宾

Bryan Catanzaro，NVIDIA 应用深度学习研究副总裁。他 2008 年加入 NVIDIA，是早期将 GPU 用于深度学习的先驱之一，曾参与创建 cuDNN（NVIDIA 首个深度学习产品库），共同发明了实时 AI 图形技术 DLSS，并主导了 Megatron 项目——帮助整个行业搞清楚了如何训练超大规模语言模型。他曾在百度硅谷 AI 实验室与吴恩达、Dario Amodei 共事，目前领导 Nemotron 开源基础模型家族。

⏱️ 时间戳

开场与开源 AI 现状

00:00 本期克隆节目介绍

01:45 主持人 Matt Turck 开场，介绍嘉宾 Bryan Catanzaro

02:46 开源 AI 势头正猛，Nemotron 3 Ultra 刚发布

03:10 闭源与开源之间的差距现在有多大？

04:20 整个 AI 社区都在飞速前进，差距不是最重要的

04:48 推动开源 AI 持续进步的动力是什么？

05:43 开源模型的进步是否依赖蒸馏闭源模型？

07:18 如何看待中国 AI 社区的贡献与创新？

09:12 客户使用开源模型最根本的优势：定制化与数据安全

Bryan 的个人经历与 NVIDIA 的 AI 之路

10:42 Bryan 的职业生涯起点：2008 年加入 NVIDIA

11:03 早期用 GPU 做 AI 被学术界视为异类

12:05 从 Copperhead 到 cuDNN 的诞生

12:39 加入百度硅谷 AI 实验室，与吴恩达、Dario Amodei 共事

13:05 回忆 Dario Amodei：信念的力量与对时机的精准把握

14:40 2016 年重返 NVIDIA，黄仁勋亲自打电话邀请

15:30 第一个项目 DLSS：用 AI 生成游戏画面中 96% 的像素

16:27 2017 年启动 Megatron 项目，押注 Transformer

Nemotron 的使命与架构创新

18:00 NVIDIA 为什么要构建自己的前沿模型家族？

18:16 Nemotron 的第一个任务：理解如何构建未来的系统

19:08 Nemotron 的第二个任务：支持整个 AI 生态

19:58 摩尔定律已死，加速计算比以往更有价值

21:26 Nemotron 项目的发展历程与关键节点

24:41 Nemotron Coalition 联盟：在模型构建之前就与合作伙伴协作

26:51 Nemotron 家族：Nano、Super、Ultra 的定位与用例

27:43 Nemotron 的核心目标：打造最强的 Agent 推理模型

28:03 Nemotron 的效率哲学：用 4 位精度进行预训练

28:42 4 位与 16 位精度的区别，以及为什么效率决定智能上限

深入技术架构

31:23 混合 Mamba-Transformer 架构：状态空间模型与注意力机制的结合

33:27 混合专家（MOE）架构解析：让模型学会“按需查阅”

35:07 MOE 对硬件设计的影响：NVL72 的诞生逻辑

36:18 隐式 MOE：通过降维投影节省通信带宽

37:04 MOE 是否已成为前沿 AI 的默认架构？

37:38 100 万 token 长上下文窗口的意义

38:35 上下文压缩与 Agent 工作流

39:09 多 token 预测：如何在不损失准确率的情况下实现 4 倍加速

41:44 多教师蒸馏：用多个专家模型联合训练一个全能学生模型

大型研究机构的组织与协作

43:41 多教师蒸馏既是技术问题，也是人员组织问题

43:52 Post-training 与强化学习的数据从何而来？

45:58 AI 泛化的下一步：从编程、数学走向更复杂的领域

47:22 NVIDIA 的研究组织架构：任务是老板，不是组织架构图

48:12 Nemotron 名字的由来：NeMo 与 Megatron 团队的融合

49:29 如何让 500 人高效协作：内部想法分享与评估流程

50:23 GPU 算力如何分配？两周一次的预算审核周期

52:09 如何平衡有用的研究与探索性研究：研究需要“自举”

53:35 NVIDIA 的登月项目是自下而上还是自上而下？

55:27 NVIDIA 为何在巨大成功后仍保持创业精神？

AI 的未来、安全与人类命运

57:10 Bryan 为什么不认同奇点理论？

57:32 智能的维度太多，纯粹智能只是没有轮子的发动机

58:44 AI 将解锁巨大能力，但转型对人类社会是深刻挑战

59:25 外部大脑的隐喻：厨房是我们的外部胃，AI 是外部大脑

01:01:06 如何看待公众对 AI 的抵制情绪？

01:02:22 AI 安全：为什么 Bryan 认为开放技术天生更安全？

01:03:54 多元主义比单一文化更安全：从信仰自由到 AI 开放的类比

🌟 精彩内容

💡 智能的价值太高，我们注定会在极限上运行

Bryan 指出，无论极限是经济预算还是电力供应，每个组织都会把算力推到极限，因为智能的回报太大了。这意味着获得更多智能的唯一途径不是堆更多资源，而是提高效率。

“如果你接受我们会在极限上运行这个前提，那意味着要获得更多智能，就得提高效率。如果已经在极限上了，靠加力是得不到更多智能的。”

💡 厨房是外部胃，AI 是外部大脑

他用一个极具画面感的比喻解释 AI 对人类文明的意义：人类发明厨房作为外部胃来加工食物，这催生了农业和有组织的社会。现在我们在创造外部大脑，其影响将同样深远，但没人真正知道答案。

“我们造工具，造外部器官来帮我们解决问题。我们有外部胃，叫厨房。现在我们正在创造外部大脑。外部大脑意味着什么？影响相当深远，其实没人真正知道。”

💡 纯粹智能只是没有轮子的发动机

Bryan 不认同奇点理论，因为智能的维度太多。国际数学奥林匹克冠军未必能当好 CEO，音乐人的智能可能是 PhD 理解不了的。智能的影响力取决于它被放在什么环境里。

“纯粹的智能有点像发动机的马力，但一台没有轮子的发动机，光在那转，哪儿也去不了。”

💡 任务是老板，不是组织架构

NVIDIA 内部有大约 10 个团队深度参与 Nemotron 的构建，分布在从 GPU 设计到企业软件的不同部门。协作方式不是靠层级命令，而是靠共同的任务目标把大家凝聚起来。

“我们总喜欢说，任务是老板，而不是组织架构。但这意味着，大家必须自己摸索出协作的方式，这很有挑战性，因为人类天生就是部落动物。”

💡 研究需要自举，而不是等资源到位

每个研究员都相信只要给自己 1000 倍 GPU 就能改变世界，但资源永远有限。Bryan 的解决哲学是“自举”：先做小的实验拿到信号，再一点点争取更多资源，通过快速迭代滚雪球。

“解决鸡和蛋问题的方法就是自举。这是一种迭代式的问题解决方法，你先做点小的，拿到某种信号表明这是个好 idea，然后告诉别人。接着你再多要一点点资源。”

💡 开放技术天生更安全，因为阳光更充足

在 AI 安全的争议中，Bryan 持一个不那么正统的观点：让更多人参与评估和贡献安全方案，比让一小群人替所有人负责安全更可靠。他引用了几百年来关于信仰自由和言论自由的历史教训。

“我认为开放技术通常更安全，因为阳光更充足。当有更多人思考一项技术的安全性、评估它，并为让它更安全做出贡献时，我觉得这天生就比让一小群人替所有人负责安全要更安全。”

💡 中国 AI 社区的开放对世界是件非常好的事

基于在百度工作的亲身经历，Bryan 驳斥了“中国 AI 进展全靠山寨”的刻板印象。他特别感谢中国同行多年来对开源生态的贡献，并鼓励其他地区的实验室也保持这种开放精神。

“中国 AI 社区对他们所构建的东西如此开放，这对世界来说是件非常好的事。我认为这让大量公司得以构建出没有那个社区就做不出来的东西，也推动了整个 AI 生态系统的技术进步。”

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺；

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight