The Professor of Outputmaxxing — Anjney Midha, AMP

输出最大化教授 —— Anjney Midha，AMP

潜空间：AI工程师播客

输出最大化教授 —— Anjney Midha，AMP

1×

0:00

当前时间：0:00 / 总时长：-59:24

-59:24

您的浏览器不支持音频播放。请升级浏览器。

输出最大化教授 —— Anjney Midha，AMP

我们谈论这位传奇投资者如何从新加坡的平凡起点，成长为领导Anthropic、Mistral、Black Forest Labs和Periodic Labs融资轮的领军人物……以及AMP的秘密计划！

2026年6月18日

转录文本

在AI工程师世界博览会常规门票售罄的最后4天——这是全球AI工程师、创始人、领导者和研究人员的最大聚会。与会者将获得价值超过5000美元的赞助商积分，演讲内容看起来非常精彩。加入我们吧！

AI扩展的讨论总是集中在“我们如何获得更多GPU？”的问题上，但更好的问题可能是：我们如何充分利用现有的GPU？

像xAI这样的前沿实验室运行的MFU（模型FLOPs利用率）低于10%，这只是一个暗示，表明真正的挑战可能是什么。

推文

作为背景，早期的前沿规模训练运行已经远高于10%。GPT-3的MFU约为21%。Gopher约为32%。Megatron-Turing NLG约为30%。PaLM达到约46%。而我们的嘉宾Anjney表示，目前最优秀的MFU接近60-70%。

PaLM：使用路径方法扩展语言模型

这并不一定意味着xAI特别无能（显然他们有才华的人）而是在GPU军备竞赛中，优先级可能被颠倒了。

虽然GPU访问是一个瓶颈，但仅仅增加资本支出并不会自动转化为更好的模型，因为前沿AI越来越成为一个系统问题：调度、利用率、网络、内核、框架、数据管道、并行性、集群可靠性，以及决定你的理论FLOPs是否能转化为实际训练进展的千百个微小决策。

从构建Discord的开发者平台，支持前沿AI公司如Anthropic、Mistral、Black Forest Labs和Periodic Labs，到如今构建AMP的独立计算网格，Anjney Midha多年来一直接近AI扩展的真实瓶颈。在这一期节目中，Anjney与swyx在Periodic Labs一起探讨为什么AI竞赛不仅仅是购买更多GPU的问题，为什么在谷歌95%的利用率会被视为故障，以及为什么下一代AI基础设施必须更加协调、更高效、更负责任。

我们深入探讨AMP对计算网格的愿景，使FLOPs像兆瓦一样流动，全栈AI实验室与水平池化之间的区别，为什么AI数据中心需要社区的认同，以及计算市场可能如何演变，成为更接近独立系统运营商的结构。Anjney还解释了为什么DeepMind未发表的研究指向市场失败，为什么在过去的十四年中，他一直认为生命周期预测是最重要的AI应用之一，以及为什么“输出最大化”可能成为前沿系统的一个新学科。

我们还讨论了Anthropic的文化，为什么在编码模型中“运气总是眷顾有准备的头脑”，Claude如何破解编码，为什么过早的大量资本投入会使AI实验室变得脆弱，Periodic Labs在科学和超导体方面试图做什么，为什么优秀的研究人员可以成为优秀的CEO，以及为什么硅谷既非常传教士又非常功利。

我们讨论：

• 为什么 Google 认为 95% 的利用率就是故障

• 为什么在 Frontier-lab 规模下 AI 基础设施浪费会叠加

• 为什么“快速行动、打破规则”不适合 AI 数据中心

• 数据中心的反弹、电网和社区激励如何塑造 AI 扩展

• AMP 对于让 FLOPs 像兆瓦一样流动的愿景

• 为什么计算需要一个独立的系统运营商

• 中断需求和动态优先级如何在 Google 内部运作

• 为什么 DeepMind 的研究囤积会产生负面外部性

• AMP 的 1.2GW 基载目标以及对 6GW 峰值容量的需求

• 为什么寿命预测可能成为 AI 最重要的医疗应用之一

• Frontier 系统、输出最大化和全栈对齐

• 为什么随着组织规模扩大，API 和抽象层会变得失真

• 超导体、标准和无损耗系统的梦想

• SF Compute、开放协议和计算市场未来

• 为什么非 NVIDIA 芯片仍可从 NVIDIA 的参考架构中受益

• 信任边界以及芯片初创公司为何需要了解未来模型架构的可见性

• 为什么风险投资公司经常低估研究人员作为 CEO 的能力

• 科学家是思维领域的明星运动员

• 为什么优秀的 CEO 需要在整个技术堆栈中都具有对抗性

• 为什么在前沿领域领导比“获胜”更重要

• Anthropic 如何破解编程

• 为什么文化是脆弱的，而不是永久的护城河

• 为什么对 Anthropic 来说，困难是一个功能，而不是缺陷

• 为什么 Anthropic 的 P0 从第一天起就专注于编程

• Periodic Labs、物理作为限制因素和技术现实

• 硅谷雇佣兵、传教士团队以及突破之后会发生什么

Anjney Midha

• LinkedIn: https://www.linkedin.com/in/anjney

• X: https://x.com/AnjneyMidha

AMP PBC

• 网站: https://amppublic.com/

• X: https://x.com/amppublic

时间戳

00:00:00 介绍

00:00:09 为什么 AI 计算被浪费

00:03:17 负责任的基础设施和数据中心反弹

00:06:07 AMP 电网：让 FLOPs 像兆瓦一样流动

00:12:41 基础设施工厂、前沿实验室和研究囤积

00:14:42 吉瓦级计算和寿命预测

00:24:08 前沿系统、输出最大化和对齐

00:27:38 计算市场、SF Compute 和非 NVIDIA 芯片

00:32:57 信任边界、协同设计和研究员 CEO

00:38:17 AI Coachella 和第一性原理思维

00:42:43 在前沿 AI 领域中领导与获胜的区别

00:45:54 Anthropic 如何破解编程

00:48:25 文化、困难和 Anthropic 的 P0

00:54:03 Periodic Labs、物理和硅谷雇佣兵

00:56:26 Rishi Valley、新加坡和金钱作为衡量标准

00:58:47 结束语

转录稿

介绍：Anjney Midha、AMP 和计算浪费

Swyx [00:00:00]: 我们在 Periodic Labs 与 Anjney Midha 一起，AMP 的 CEO 和创始人。欢迎。

计算利用率：节点分配、MFU 和对齐

Anjney [00:00:09]: 感谢邀请。在 Google，通常有两种利用率，对吧？你在这些集群中测量的。一种是节点分配，另一种是 MFU。节点利用率通常是数据中心中使用的卡的百分比，如果它没有达到 95%-

Swyx [00:00:29]: 没有借口

Anjney [00:00:29]: 没有借口，对吧？我认为在谷歌，有95%的利用率被认为是故障，而我的联合创始人Seb来自谷歌，他在谷歌构建了Borg、PBorg/GQM调度器，我认为在谷歌95%的利用率被认为是故障，所以96%的节点利用率应该是标准。而大多数单租户集群并没有达到这个水平。这是第一个问题。然后，MFU应该达到今天的最佳水平在60%到70%之间。我认为这其实是一个领导力问题，对吧？从根本上说，这是一个对齐问题，即为集群提供资金并部署集群的人是否真的对齐？理论上他们有时候是对齐的，但实际上，从资本到管理集群的人，再到衡量输出结果的人，中间的链条、供应链中涉及的人数太多，彼此之间存在很多层级的分离，你有没有听说过弧度的隐喻？在弧的起点，如果你有两个弧，它们只是相差几个度的两条线，那——

Swyx [00:01:33]: 它会逐渐扩散开

Anjney [00:01:34]: 它会逐渐扩散开，对吧？或者在规模上。我认为现在发生的情况是，很多集群实现和基础设施，很多前沿实验室和其他团队，他们所做的就是，他们启动了一个计划，这个计划有点像北星，由一个想要做好事的团队来执行，但随后他们被要求快速扩展，而不是逐步迭代，因此在规模上浪费迅速累积。我认为我们已经知道答案，就是进行逐步的启动。如果你花时间与那些在半导体行业或DSN行业工作了很长时间的人交流，这并不是什么新事物，我认为AI不应该成为借口。当然，有什么是新的呢？好吧，我们有很多新的能力，但这并不意味着放弃常识。常识应该始终是时尚的。AI的扩展实际上并没有改变这一点，如果有的话，AI的扩展应该更加重视常识和基础设施的价值，因为现在容错的余地非常小，浪费的成本非常高。顺便说一下，浪费的成本不仅仅是经济上的。我显然是一名投资者，或者说我有投资者的背景。近年来，我们一直在运营一家名为AMP的人工智能基础设施公司。我认为在能力方面，这次确实不同。我们确实获得了以前从未有过的某种能力。但这并不给你一个借口，说这次在所有方面都不同，尤其是基础设施方面。所以，我热爱黑客的心态和创业者的心态。现在，这对初创公司的思维模式来说很好，但请记住扎克伯格从说“快速行动，打破规则”到“快速行动，但要稳定——

负责任的基础设施与数据中心的反弹

Swyx [00:03:10]: 快速而稳定的基础设施

Anjney [00:03:11]: 快速前进，依靠稳定的基础设施。我认为现在我们需要快速前进，同时依靠负责任的基础设施。人们会问，这种影响在哪里。昨天在我们的课堂上，General Matter的创始人Scott Nolan来到斯坦福大学，谈论能源瓶颈问题。他有一个非常棒的想法。他说：“如果你看一下每小时计算的边际单位经济成本，我们称之为每小时4美元。如果你需要在一个新社区中建立一个新的数据中心，为什么不直接说我们每小时收取4.50美元，而将这个边际影响或这个边际增长直接以现金的形式给予当地社区？”我可以告诉你，作为这个计算服务的客户，我会非常欢迎这种做法。我很乐意在规模扩大时每小时多支付50美分。

Swyx [00:03:57]: 哇。是的。

Anjney [00:03:58]: 因为如果这意味着对社区来说，公共利益非常明确，那么我会觉得这种计算服务更加可靠。据我所知，今年在美国，多达20%的数据中心都面临风险。

Swyx [00:04:13]: 是社区的反对？

Anjney [00:04:14]: 正确。是无法获得社区支持，从而无法建立数据中心。

Swyx [00:04:19]: 哇。这个数字非常巨大。

Anjney [00:04:20]: 是的。现在，我认为我们应该深入探讨这个数字到底是什么。我认为这个数字可能被夸大了一点。这些事情有时会被过度报道，但—

Swyx [00:04:27]: 他们不仅仅关心工作机会。他们还关心其他方面，对吧？他们关心电网，关心环境—

Anjney [00:04:33]: 电网、许可，等等。想象一下，如果你说有一个新的AI协议。如果我们在一个社区建立数据中心，我们实际上会降低你们的电费。好了，现在我们开始谈了。对吧？社区会说：“好的，现在这是一笔交易。我觉得自己是这个项目的一部分。”但目前这种情况并没有发生。将会有审计，会有调查，当监管机构到来时，我不知道什么时候会发生，但那些为了AI进步而快速前进并打破规则的人们，必须做好准备。这肯定不是我们获取计算资源的方式。或者，我们尽可能地与那些有长期记录的合作伙伴合作。顺便说一下，其中很多合作伙伴并不是AI提供商。我认为这种将新云（neoclouds）视为某种新类别的想法，很多只是营销话术。在美国，确实有很多可靠、值得信赖的数据中心提供商，他们已经运营了20多年以上。我喜欢这些人。他们知道如何确保一切顺利。他们是否在NeurIPS上赞助了欢乐时光？没有。他们是否在Build中被清晰地列出？没有。他们是否参加我的情境意识聚会？没有。但他们都是成年人。我信任他们。

Swyx [00:05:44]: 他们可以运行局域网。他们可以运行电力。

Anjney [00:05:45]: 他们可以运行局域网、电力和shell脚本。他们有信用记录。我们坐下来，进行交谈。其中很多人住在硅谷。他们经历过互联网的繁荣与萧条周期，我喜欢这些人。他们是稳定基础设施的合作伙伴和思考者。我认为在计算层面上有很多短期思维，这最终会追上我们。这不会是好事。

AMP Grid：让FLOPs像兆瓦一样流动

Swyx [00:06:07]: 你谈到对齐利益，我认为对齐利益意味着你在一个公司拥有完整的堆栈，比如 xAI 和 OpenAI，对吧？所以，作为一家独立的基础设施层，你为什么在某种程度上比那些拥有整个系统的人更对齐你自己的投资组合公司？

Anjney [00:06:28]: 在系统设计中，有两种架构模式，对吧？一种是集成，另一种是资源池化和利用。通常提高利用率的方法有两种：一种是通过系统集成，将很多流程合并到一个节点中；另一种是将某个流程从一个节点中提取出来，并在多个节点之间共享这些资源。因此，我们看到 AMP 网格，也就是我们正在构建的系统，基本上是一个计算网格。我们试图为计算所做的，就像电力网格为电力所做的那样——

Swyx [00:07:02]: 电力

Anjney [00:07:02]: 是的，就像电力网格对电力所做的那样。这实际上是一个跨云的资源池化和利用层。因此，我们实际上与那种完全堆栈集成的方法是相反的。

Swyx [00:07:12]: 非常横向。

Anjney [00:07:13]: 它更加横向，是多云的，也是多芯片架构的。我们的目标是让 FLOPs 的流动像兆瓦一样顺畅，但目前由于许多原因，实现这一点非常困难。各地都存在着大量未被充分利用的计算资源，而且这些资源之间无法互换。目前，我们主要在调度层面进行处理，有时也会在经济层面进行处理。但当我们开始公布我们正在做的事情时，令人惊讶的是，有非常多的人从幕后现身，表示他们实际上正在研究如何在这一层或那一层实现计算资源的互换性。作为一张电网，我们希望所有这些人都能参与其中。人们经常问我：“Andra，你们是不是一个新的云服务提供商？”我回答：“不，实际上，新云是供应商。”有时他们还会问：“你们是不是一家风险投资公司？”我回答：“不，实际上，他们是电网的需求方，类似于电力的购买者。”我们把自己看作所谓的独立系统运营商。如果你研究电力电网的历史，当它变得对许多工厂和工业参与者来说变得清晰可见时，人们发现，实际上，共享资源是一个好主意。我们不应该每个人都拥有一个在后院运行的发电机，只使用一半的容量。这就需要一个独立的实体来协调各方。输电线路、发电设施、工厂等，这种中立的协调机制非常关键。如果你研究电网的历史，最持久的电网是那些从未拥有自己资产的电网。它们通常由一些长期稳定的用户作为起点，这些用户的需求来源彼此无关，比如某个小镇上的钢铁厂或制鞋厂，它们之间并不具有竞争性。钢铁厂可能在晚上需要大量电力，而制鞋厂可能在白天需要大量电力。于是，大家共享资源，对吧？每个人都能保证获得一定的基础负载，但你们可以安排自己的高峰需求，以实现整个小镇的峰值利用率。从历史上看，这些公用事业公司，比如美国东北部的 PJM Interconnect，就是所谓的 ISO（独立系统运营商），它们多年来逐渐发展成这种角色。因此，我们也是这样看待自己的。从经济角度来看，我们就是这样的角色。从技术角度来看，我们首先从调度层开始，因为 Seb 和 Mihai（他们在这里负责工程），在那里构建了这一层——

Swyx [00:09:28]: 你们的调度

Anjney [00:09:28]: 他们是在 Google 做的。而且——

Swyx [00:09:32]: 你们还有来自 Discord 的基础设施团队。

Anjney [00:09:35]: 我有一些。

Swyx [00:09:35]: 我不知道，我不确定 Discord 是否是主要的身份，但不管怎样，我只是——

Anjney [00:09:39]: 不，Discord 是——

Swyx [00:09:40]: 选择一个知名的名字。

Anjney [00:09:42]: 好吧，我当时负责那里的开发者平台。内部基础设施并不是我负责的，实际上是由一位名叫 Mark Smith 的人负责的，他非常出色。是的，Discord 也进行了资源池化。Discord 实际上是一个反面例子。我有机会在那里全面学习了全栈基础设施，因为——

Swyx [00:09:56]: 是一样的事情，对吧。

Anjney [00:09:57]: 是的，是另一种架构，Discord 自己构建了自己的 WebRTC 音视频基础设施。所以，Discord 并没有使用——

Swyx [00:10:08]: 对于通话来说，是的。

Anjney [00:10:09]: 是的，对于通信来说，Discord 并没有使用第三方基础设施。所有的东西都是内部构建的。然后，你最大化利用的方式是将全球2亿多月活跃游戏玩家的需求进行汇总，对吧？所以，这就是这些堆栈是如何构建的。再次强调，在系统设计中，反复出现的两个概念是抽象和组合，对吧？—

Swyx [00:10:31]: 打包和解包

Anjney [00:10:33]: 打包和解包，抽象，组合，比如垂直化和—

Swyx [00:10:36]: 水平化

Anjney [00:10:36]: 水平化。从这个意义上说，AMP 是电网的一个独立系统运营商。我们汇总需求，从我们信任的多个合作伙伴那里汇总供应，规模约为1.3吉瓦，持续四年。然后，我们从一些世界顶级的研究实验室等汇总需求。我们目前与一些需要非凡长期需求的实验室合作。其想法是，他们每个人在电网中都能保证基本负载，但根据计算需求，他们可以灵活地增加或减少负载，时间线也更短。这大致就是我在a16z设计的名为Oxygen的项目的设计理念。同样——这也是Google上GQM、BorgX、Borg GQM实现的设计理念，由Mihai和Seb构建。其核心问题是，如何让Google内部的团队在基础设施上保证其基础工作负载的容量？但当他们需要进行研究时，如何确保有足够的资源？当然，一个重大的创新是在大约三、四年前在Google的基础设施领域被实施但尚未被广泛发现的，即“可中断需求”的概念，对吧？你只需排队一堆任务，通过这种类似信用系统的机制，可以有一个竞价机制。

Swyx [00:11:53]: 比如优先级。

Anjney [00:11:54]: 这基本上是一种动态优先级。任务可以根据其他人的说法被中断，比如：“什么？我想在这项任务上花费10个代币、10个信用点。”另一个团队负责人或研究负责人可能说：“Genie 3或者其他东西只值5个信用点，而NanoBanana2值10个信用点。”所以NanoBanana的任务会优先处理。这是一个虚构的例子。

Swyx [00:12:15]: 这是非常真实的。Brain Marketplace 是真实存在的。我们曾在播客中与David Luan讨论过这个话题，他当时—

Anjney [00:12:20]: 哦，太好了。好的。

Swyx [00:12:20]: 在那里。批评是，有时候你确实需要中央指挥来全力投入某个项目。实际上，有时通过信用点的资本主义方式并不奏效。这不是对AMP的批评。我只是说，这在Google内部尝试过，结果导致Google错过了GPT。

Foundry、Frontier Labs 和研究囤积

Anjney [00:12:41]: 我们基本上与Google的结构非常相似。我们被组织成一家控股公司。所以，Alphabet控股就是Alphabet控股，然后他们有这些子公司，称为Google和—

Swyx [00:12:51]: 其他投资

Anjney [00:12:52]: 其他投资以及类似的情况。我们有 AMP 的资产，还有我们的基础设施业务，然后还有一个名为 Foundry 的资本业务，它孵化新的前沿 AI 实验室，或者以风险投资的方式投资它们，比如 Periodic。今年早些时候，我们从我们的基金中投入了几亿美元到 Anthropic。所以，只要我们觉得某些团队取得了进展，尤其是那些在 DeepMind 等现有实验室内部推动前沿研究的科学家，我发现他们最终会感到与 Alphabet 持股公司的独裁管理方式不一致。到了这个时候，有时候独裁管理并不想再留用他们了。他们会说：“谢谢。你们在这里已经完成了任务，某种程度上帮助我们度过了从零到一的阶段，但出于某种原因，我们将不再优先考虑你们那令人惊叹的全能模型或其他东西，而是优先考虑编码。”我认为这是一场悲剧，但我理解。Sergey 和他的团队在那里经营着他们自己的业务。但这并不意味着我们其他人应该坐等这些进展被释放给全世界和全人类。

如果考虑到过去十年 DeepMind 内部发生了多少非凡的研究，我认为 Demis、Sergey 和那些人做得非常出色。但归根结底，其中的许多成果从未面世过？

Swyx [00:14:00]: 或者它们只是论文，但从未实际部署到生产环境中——

Anjney [00:14:03]: 更糟糕的是，这些论文甚至不再被发表了，因为在 DeepMind 内部有六个月的禁令期，对吧？我们听说过这种情况，一篇论文发表后，如果商业团队中的任何人说“这可能很有趣”，这篇论文就会被终身禁令。

Swyx [00:14:18]: 没错。所以被发表的内容往往不是足够优秀的内容。

Anjney [00:14:21]: 基本上这是一个逆向选择问题。是的。到了现在——

Swyx [00:14:25]: 顺便说一下，这是 NeurIPS 上的一个常见抱怨：“那我为什么要看那些 GDM 的垃圾论文？”

Anjney [00:14:31]: 再次，我认为这是一场悲剧。我理解。他们是在经营自己的业务，但我认为研究被囤积会产生负面外部性，这会导致市场失灵。需要有人来释放这些研究，而我们自己无法做到这一点。我们只有 1.2 吉瓦的计算能力。这什么都不是。这大约相当于 400 亿美元的云支出。我们需要大量的——

吉瓦级计算能力和生命周期预测

Swyx [00:14:51]: 顺便说一下，这个数字是新的。我之前没有听说过这个吉瓦的数字。这非常巨大。

Anjney [00:14:56]: 是的。需要明确的是，我们还没有全部锁定。这是我们已经开始锁定的需求量。我认为在公开场合，我们还没有确认今年我们具体有多少。

Swyx [00:15:04]: 你们想要达到什么目标？

Anjney [00:15:06]: 我认为稳定状态是，我们始终拥有1.2吉瓦的基础负荷容量池。对于峰值容量，目前我的估计是，未来四年我们需要大约6吉瓦的容量，以便所有团队都能感到他们能够继续推动前沿，无论他们正在做什么工作，比如这里的超导体发现。我们目前正在开展一项新的投资，涉及医疗领域的寿命终点预测。这让我想起我研究生时期的工作。我曾在斯坦福医学院学习生物信息学研究生课程。我知道我们——

Swyx [00:15:40]: 经济学、MCS、生物。

Anjney [00:15:41]: 所以我——我是一个非常奇怪的猫，因为我从未对自己的专业选择感到满意。有一段时间，我主修经济学，然后是计算机科学，然后是数学计算科学（MCS）专业，后来他们决定取消这个专业。于是，我完成了所有相关课程，并将其应用于研究生阶段的生物信息学学位，也就是硕士项目。我当时以为自己会继续读博士，但最终没有完成，而是退学去了 Kleiner 工作。但幸运的是，我在斯坦福医学院师从一位教授，他的名字是 Nigam Shah，他当时正在研究寿命终点预测。斯坦福是美国少数几家拥有大规模纵向患者数据集的研究机构之一。我认为这个数据集至少涵盖了1200万患者的病历数据。唯一比这个数据集更大的数据集是美国退伍军人事务部（VA）的。要在这个数据集上进行研究，比如进行深度学习等，当时这个数据集被称为 STRIDE 数据集，你必须是斯坦福医学院的附属人员，这就是我为什么去生物信息学系注册的原因。深度学习当时还处于早期阶段。Nigam Shah 有远见，他看到了通过寿命终点预测来帮助临终关怀的潜力。在美国，当时至少有30%的医疗保险和医疗补助支出用于临终关怀。我们成长于亚洲，所以我们都——好吧，至少我不代表你说话，但我对死亡的看法与那些在美国长大的人截然不同。在美国，从精神和文化上，特别是在西方社会，基督教传统将死亡视为一个终点，常常伴随着审判日等概念。我们看待死亡的方式是最终的。在印度文化、印度教文化中，死亡是一——

Swyx [00:17:35]: 此外，他也是佛教徒。

Anjney [00:17:36]: 你是佛教徒，对吧？所以，这只是一个漫长生命旅程中的一小步，对吧？我是在印度南部一个叫金奈的城市长大的，当有人去世时，人们会在街上跳舞。会有一支队伍将遗体运送到火葬场，家人则会庆祝，还有鼓声等，这是一个非常盛大的活动。这是因为人们相信你将被转世。你已经从这一生的责任中解脱出来，现在迈向下一段旅程。这就像去一所新的大学一样，对吧？当我作为本科生来到这里时，这种观念对我来说是如此陌生——医疗系统是基于这样的假设，即我们必须把死亡视为一个终局性的事情，要尽可能地推迟它，认为这是件坏事。当时，美国的临床决策支持系统还非常原始。即使到现在，美国的医生们经常告诉你，当你患有绝症时，我们已经确诊了你，这是好事。我们的诊断能力非常出色。你还有大约六个月到六年的时间。那么，你该如何处理这些信息呢？误差范围如此之大，以至于在不确定的情况下，我们会默认依赖文化。当文化认为延长生命是一件好事时，你就会开始采取一些措施。仅从系统角度来看，这里发生的情况是，医生们常常觉得他们需要提供非常大的误差范围，因为临终诊断中总是存在不确定性，如果你给病人错误的诊断或建议，可能会被起诉医疗过失。然后你的执照可能会被吊销，这对你的职业生涯来说可能是毁灭性的。相比之下，在那些没有这种情况的国家，你经常看到的是，病人和医生在建议上非常明确。他们会说：“嘿，这是你的病情。文献表明你可能还有这么长时间留在人世。我的专业意见是，你是一个例外。”他们试图更加明确地给出建议，这赋予了病人更多的权力，对吧？因为病人可以说：“我信任我的医生，他们说平均我还有六个月的生命，但如果我做这些事情，我可能有机会，因为我的特定倾向或遗传历史等。”这使你能够以更科学的方式度过余生，而不是依赖宗教、文化、灵性等。相比之下，这里由于医疗过失的阴影笼罩着你，医生从不会给你一个明确的建议。于是你就会说：“好吧，医生，那我们试试所有方法吧。”然后你开始一系列药物和治疗，经常会在医院里待几周甚至更久，这会降低你的生活质量。当你的生活质量下降时，你本应在生命的最后几天与家人一起做你热爱的事情，却不得不躺在医院的病床上。这最终占用了30%的医疗保险和医疗补助资金。这对病人来说更糟糕，医生也感到非常痛苦，美国纳税人则为此支付了巨额资金。这就是为什么斯坦福大学的Nigam Shah教授说：“Anjney，如果……”我坐下来和他聊了聊。当时我只有21岁，我说：“我想解决一个大问题。”他说：“最大的问题就是临终关怀。”于是我们尝试使用深度学习，试图通过深度学习在这些已尝试过的患者数据集上运行，看看“AI系统是否能比人类更精确地预测出在被诊断出绝症后，你还有多少时间？”如果我们可以达到足够高的精确度，那么就能赋予病人更多的力量。结果证明，这项技术是可行的。一旦你有了数据集，强化学习就有效。老实说，即使回归模型也能起作用。你不需要那么复杂的东西。当时我们只是尝试使用非常简单的神经网络。

Swyx [00:21:54]: 简单的解决方案，对吧。

Anjney [00:21:54]: 今天，我们用强化学习可以做到的事情非常了不起。然而，问题依旧存在，现在也是一样，那就是监管方面的问题，因为实际上你不能把错误临床诊断的责任从医生身上转移到AI系统上。当时，十年前，甚至十二年前，我感到非常失望，因为我感觉自己没有足够的资源去影响监管。今天，我很幸运，我现在所处的位置不同了，我年纪也大了很多，所以我花了很多时间在下一个孵化项目上，那就是如何通过训练AI模型，以更高的精度进行临终预测，从而实现患者的赋权。

Swyx [00:22:37]: 哦，哇。你一直专注于这个。

Anjney [00:22:40]: 我已经十四年了，一天都没有能把这个从我脑海中赶出去。这是我想为之奋斗到底的事业。有两个问题，我其实，我更希望不要死。

Swyx [00:22:51]: 是的，完全正确。

Anjney [00:22:52]: 但我认为，美国应该达成共识的两个问题，是如何赋予患者在生命末期做出正确临床决策的权力，从而通过科学减少纳税人的负担。这仅仅是古老而简单的科学，而AI在这里可以提供帮助。第二个问题是，净正数据中心，因为我认为这是训练足够好的AI模型以帮助人们在生命末期的最关键瓶颈。因此，这两个问题可以说是在同一条扩展瓶颈曲线的两侧，但为了这两个目标，我和我妻子成立了AMP，作为一家公共利益公司。你已经见过我妻子，她叫Viv。她的热情是教育，她的家族有着悠久的教育者和物理学家的背景。所以，这门课程是我试图不再成为家族中的“黑羊”，而是成为一名教育者的努力。但如果我不去教育，我就会继续在这两个问题上工作，无论是从政治光谱的角度，还是作为研究人员回到某个实验室。我的希望是，如果有人正在听这个播客，如果他们对这两个主题中的任何一个充满热情，我非常希望听到他们的声音。我们会在节目说明中分享联系方式，但我们正在寻找愿意参与这两个使命的人，无论是从政治方面，还是从医疗和研究方面。

前沿系统、输出最大化与对齐

Swyx [00:24:08]: 你说，你想创建一个学科。你称它为“前沿系统”，也被称为“一人前沿实验室”。这个学科的理想名称或形态是什么？比如，它的使命是什么？

Anjney [00:24:24]: 是这个课程吗？

Swyx [00:24:26]: 是你正在探索的这个学科，对吧？这个课程叫做“前沿系统”。但对我来说，也许一句话就是你反对浪费，对吧？浪费GPU，浪费人力和医疗保险资源。但有没有一个更广泛的主题，你可以更简洁地概括？

Anjney [00:24:45]: 是的。从工程角度来看，它非常简单。它是输出最大化。它是输出最大化的部门。

Swyx [00:24:51]: 尽可能地利用我们所拥有的资源。

Anjney [00:24:52]: 没错。我非常相信实现最优结果的重要性。我认为在美国和其他国家，我们正在失去对细微差别（nuance）的欣赏，而AI也是如此，对吧？哦，这个“苦涩的教训”依然适用。好吧，没问题。但这并不意味着你可以随便拿500 GB300、500,000 GB300这样的资源去训练一个次优模型，从而浪费大量计算资源。这也不意味着最理想的方式是拥有50种不同的架构，因为缺乏标准化。Anthropic之所以能取得非凡的速度，原因之一是他们选择了Transformer架构，并表示：“这很简单，让我们加倍投入。”幸运的是，现在有足够的投资进入这个领域，我们可以负担得起其他架构，但当时，投资过于分散在其他架构上，这在某种程度上解锁了扩展能力。我认为这背后有一种哲学。我认为我们每个人都应该在全球范围内，以一种新的能力——AI，来实现输出最大化。如果我要在斯坦福大学创建一个新部门，根据我想要模糊还是技术性的程度，我可能会把它叫做“对齐部门”（Department of Alignment）。比如——

Swyx [00:25:59]: “对齐”这个词已经被过度使用了。

Anjney [00:26:01]: 是的，但“对齐”确实是一个难题。我认为当你真正解决它时，实现全栈对齐在任何组织和任何系统中都非常困难。比如，在一家风险投资公司，如果你能在有限合伙人、创造价值的创始人和最终拥有IPO股票的公众之间实现全栈对齐，那将是一种持续不断的馈赠。当你研究这些系统的历史时，它们通常从小规模开始，那时反馈循环非常紧密，从而实现了对齐。而当你试图扩展时，分工和专业化会越来越多，每一步都会增加抽象层。在每一个API接口处，都会出现信息的损失，通信的损失。因此，我认为一个非常酷的事情是，我们能否作为工程领域，找到一种方法，既拥有蛋糕又吃掉它？是否存在一种方法，能够在扩展和横向扩展的同时，不丢失任何对齐，不出现信息丢失？

Swyx [00:27:01]: 你是说标准？

Anjney [00:27:02]: 标准是其中一种方式。另一种方式是引入全新的能力。比如，我们在这里尝试做的是发现新的超导体。室温超导体将是一种能量传输的无损耗机制。我们将拥有飞行汽车。我们距离拥有新的室温超导体仅剩几年时间。因此，我认为这两种方式是：要么在协议或API规范上实现标准化，以实现无损通信；要么开发出一种全新的能力，从而释放出如此多的资源，以至于标准化变得不再重要，因为你可以解锁全新的容量。这就是我每天思考的问题。

计算市场、SF Compute 和非NVIDIA芯片

Swyx [00:27:38]: 不，我认为每个想要扩展并实现输出最大化的基础设施人员，最终都会思考这个问题。我们没有时间深入探讨，但我们已经做了一期关于SF Compute的节目——

Anjney [00:27:50]: 哦，真酷。

Swyx [00:27:50]: 这是在尝试标准化计算的期货合约。我不清楚这个进展如何，但总有一天这会公开。

Anjney [00:27:57]: 哦，我认为 Evan 非常棒，而 SF Compute 是我希望我们能加速推进的一种努力，因为通常这些交易所非常难以获取，它们很难启动，对吧？因为它们通常需要——各方之间存在很多低效之处。基础设施中存在信任边界低效的问题，因为你不信任堆栈中的一部分，它们无法信任堆栈的另一部分以提供可见性。还有资本市场的低效，还有运营效率的问题。所以如果你能对系统注入大量计算需求或供应的冲击，那么你就可以加速这些新的飞轮。我的希望是，有一天，或者很快，如果 SF Compute 需要额外的容量，他们只需连接到电网，就会收到我们大量的需求。另一方面，如果他们有很多需求但没有供应，他们只需再次连接到电网，它就是一个双向协议，他们可以连接到我们的容量。我认为我们离这并不远。今天，我们实现的主要是通过一组实验室、大学和一些可信的各方，他们都觉得他们是在使用一个被过度使用的词“对齐”（alignment）。但我们的希望是，它成为一个任何人都可以连接的开放协议。

Swyx [00:29:20]: 是为了需求连接，还是为了供应连接？听起来主要是需求。

Anjney [00:29:25]: 不，两者都有。

Swyx [00:29:26]: 你想提供需求。

Anjney [00:29:27]: 两者都有。是的。不幸的是，过去六周发生的事情是，我们原本以为今年年底会有很多多余的容量，但都用完了。

Swyx [00:29:37]: 它正在爆炸式增长。

Anjney [00:29:38]: 是的，全都用完了。因此，我的短信里充满了朋友的信息，我们认识其中很多，这些是那些在旧金山筹集了数十亿美元的创始人，他们问：“有没有可能你们在接下来的几周内有大约 50 个节点？”

Swyx [00:29:51]: 对于非 NVIDIA 的产品，有什么范围吗？你有 Lisa Su 和 Rainer Pope 来了。因此，对更高性能的替代架构有很多需求。但与此同时，这会阻碍标准化。

Anjney [00:30:11]: 我不这么认为。实际上，Rainer 就是一个很好的例子，对吧？Rainer 是 MatX 的首席执行官和创始人。我今天早些时候在课堂上请他来参加办公室时间，他提出了一种我之前没有考虑过的见解，即当他们决定为数据中心选择标准时，他们选择了 NVIDIA 的参考架构。因此，MatX 的芯片只需插入任何有 NVIDIA 启动计划的站点。而——

Swyx [00:30:42]: 那只是软件的问题。它不是——

Anjney [00:30:44]: A——

Swyx [00:30:44]: 硬件。

Anjney [00:30:46]: 从输入和 I/O 的角度来看，它的占地面积与 NVIDIA 机架相同。

Swyx [00:30:52]: 这是有道理的。

Anjney [00:30:53]: 从我所看到的，他们在系统协同设计方面做了很多创新，这是很多收益的来源。因此，他说：“Anjney，当我们建立一家新的芯片公司时，有太多的工作要做。”

Swyx [00:31:08]: 无法在所有战线上都战斗。

Anjney [00:31:08]: 你不可能在所有战线上都战斗。我问他的问题是：“你正在开发这款新芯片，他们的流片时间是在明年。那么，你打算和谁合作来搭载这些芯片？”他回答说：“谁来搭载都行，这并不是我的关注点。”我说：“但是你怎么决定的呢？你回到我们之前关于系统设计的问题，他决定不成为一个完全集成的芯片供应商。他们关注的瓶颈是逻辑芯片，他觉得通过协同设计，可以大幅提升性能。但这就意味着，你必须将这部分委托给生态系统中的其他部分，正如我们之前的问题所提到的，作为数据中心的提供商，是堆栈中的另一部分，因此他依赖于生态系统中的这部分来搭载他的芯片，从而将性能提升带给客户。现在你又多了一层抽象，可能会导致性能损失。我问他：“你如何防止这种损失？”回到你刚才的观点，他说：“我只是选择了NVIDIA的标准，因为我不想自己重新发明轮子，我想利用现有的协议。”NVIDIA的伟大之处就在于，他们的参考架构是众所周知的。

Swyx [00:32:15]: 开放。

Anjney [00:32:15]: 是的，它是开放的。他们已经发布了。所以Jensen实际上已经让像Rainer这样的人能够建立像MatX这样的芯片公司，我认为他们之间并不是竞争对手。计算需求如此之高，我并不认为NVIDIA能够满足生产需求，所以我们需要更多的芯片。我认为MatX所做的事情非常聪明，他们表示：“我们不会在数据中心设计上进行创新，因为实际上，谢谢Jensen，你已经完成了所有艰苦的工作。我们可以在其他地方进行创新。”我认为这非常健康，我认为这就是我们如何突破新的瓶颈。我的观点是，像MatX这样的芯片团队，他们已经认识到协同设计是关键，他们主要的瓶颈是信任边界。要进行良好的协同设计，你需要尽早了解下一代模型的架构，因为流片需要两年时间。所以如果当我推出我的芯片时，你的模型架构已经改变，那我就落后了。当他还在谷歌工作时，他坐在Gemini团队旁边。他当时在Palm或者类似的项目上。

信任边界、协同设计和研究员CEO

Swyx [00:33:19]: 他的联合创始人之一，是Palm团队的人之一，我认为是。

Anjney [00:33:23]: 是的，没错。当你在谷歌的信任边界内时，你的系统协同设计循环非常紧密。当你作为创始人离开时，你承担的最大风险之一就是你现在处于信任边界之外。我最喜欢做的事情就是帮助那些能够帮助我们为独立生态系统解锁更多信任访问能力的芯片团队。因为如果我从一开始就参与了一个实验室，并且我很幸运地与Anthropic合作过，然后我加入了Mistral的董事会，并帮助Black Forest Labs起步。我认为到目前为止，我已经参与了六到七个不同的团队。

Swyx [00:33:57]: 只有六个？我觉得我脑海中的数字是13，不过确实-

Anjney [00:34:02]: 不，我一次只深入一个团队。

Swyx [00:34:04]: 你是Arena的创始CEO。

Anjney [00:34:07]: 不，那是一个-

Swyx [00:34:08]: 行政CEO

Anjney [00:34:09]: 这是一个为期五个月的行政职位，当时Whalen和Anastasios正在完成他们的博士学位，他们不需要产品团队。所以我帮助招募了工程产品和设计的负责人。但Anastasios一直是这家公司的CEO。我扮演了一个临时的角色，我是一个实习生。我是CEO实习生，持续了五个月。

Swyx [00:34:33]: 我面试过他，他非常善于表达。我认为他曾经是辩论比赛的冠军。同时，他非常擅长定量分析和数学，这—

Anjney [00:34:41]: 他—

Swyx [00:34:41]: 是一个非常罕见的人才。

Anjney [00:34:43]: 你看看他有多厉害？如果你看看他的产出，他是一个产出最大化的人。在他完成博士学位的时候，他去年才毕业，他已经发表了比两倍年龄的人更多的作品，而且引用次数也很多。同时，他已经开始了一个叫做LLM Arena的项目，这个项目作为副业已经被数百万人使用。一次次地，我意识到风险资本家很难看到人类作为动态的个体—

Swyx [00:35:14]: 他们想把你放进一个盒子里。

Anjney [00:35:15]: 他们想把你放进一个盒子里。

Swyx [00:35:15]: 这就是你的专长。

Anjney [00:35:16]: 所以第一次我被介绍给Anastasios时，有人告诉我：“哦，他很厉害，但他是个研究员。”我说：“什么？你是说他是个研究员？”这就是—

Swyx [00:35:28]: 他不是CEO，也不是创始人。

Anjney [00:35:29]: 不是CEO，没错。我说：“你疯了吗？你见过Dario吗？”Dario是个科学家。他从零开始，四年内将公司发展成一个即将达到千亿美元估值的公司。从名义上来说，当CEO并不难。但做一个好的CEO很难，而做一个伟大的CEO实际上需要达到科学家在他们领域内已经取得的高水平表现。成为一名有竞争力的科学家是非常困难的。在过去20到30年里，在学术界发表论文，成为像伯克利这样的顶尖机构中你所在领域的佼佼者，你就像一个明星运动员，你是一个思维的运动员，并且在最高水平上表现。无论你是伯克利的Anastasios或Whalen，还是像Robin这样的—

Swyx [00:36:23]: BFL，对，没错。

Anjney [00:36:24]: 以 Black Forest 为例，他们创建了 Stable Diffusion，或者像 Guillaume 在 Meta 时，他创建了 Llama，之后才开始 Mistral。你必须展现出相当多的人类领导力，才能获得资源，比如赢得组织的信任，发布成果，将其展示出来。我整天都想资助那些已经为该领域做出贡献的研究人员。如果他们已经发布了 SOTA（最先进）成果，那他们已经是明星运动员了。如果他们还没有发布 SOTA，他们仍然可以成为优秀的 CEO，但我觉得失败的模式是他们根本不想要当 CEO，他们主要想发表论文，这也是可以接受的。我们在 AMP Grid 做的一件事是捐赠多余的计算资源。我们有两个非营利组织，比如大学实验室。我们划拨出几千个 H100。但我认为大学校园里正在进行着非凡的研究。我岳父是一位物理学家，他是一位教授，他在物理学领域做出了非凡的工作，我们需要这些人才。但如果你想成为 CEO，你需要愿意在科学之外变得非常直言不讳。在科学界内部，一些最好的研究人员对他们的信念非常直言不讳，对吧？这种架构是正确的。要成为一个优秀的 CEO，你基本上必须愿意在各个层级上都直言不讳。

Swyx [00:37:41]: 对你自己的团队。

Anjney [00:37:42]: 对你自己的团队—

Swyx [00:37:43]: 对客户

Anjney [00:37:43]: 招聘、吸引客户。我会说，基本上是对所有人。当然—

Swyx [00:37:50]: 我明白了，我在自己的工作中也感受到一些类似的东西，但确实，我无法想象 Dario 必须经历的那些风险。这真的很疯狂。

Anjney [00:37:56]: 不，我觉得这些风险和你感受到的差别并不大，对吧？风险是个人的扩展向量，对吧？对你来说看似很低的风险，比如你在这个播客中可以和某人交谈，你是一个非凡的沟通者，对吧？就像在这次对话中，你已经从我这里获取了比大多数人更多的信息，而我过去两周就参加了 12 次播客。

AI Coachella 和第一性原理思维

Swyx [00:38:17]: 我想，我们已经见过足够多的次数，彼此之间已经建立了一些基本的信任。

Anjney [00:38:20]: 有基本的信任。

Swyx [00:38:20]: 我认为，我知道你已经做了功课，我知道信任对你来说很重要，所以。

Anjney [00:38:27]: 我认为信任是关于一致性，你我已经在社区中相处多年了，对吧？我记得我们第一次见面是在新奥尔良的 NeurIPS 会议上，不知道你是否还记得那次午餐。

Swyx [00:38:38]: 天哪。

Anjney [00:38:39]: Reiko 安排了这次午餐，Reiko 非常棒，他安排了这次午餐—

Swyx [00:38:43]: 是的，我当时想：“这是谁？Discord 上的那个人？”我心想：“好吧。”但—

Anjney [00:38:45]: 不，你不是—

Swyx [00:38:46]: 你只是说：“你做了一些投资。”

Anjney [00:38:47]: 你当时礼貌得多。你当时说：“这是谁？这是个 VC（风险投资）吗？”你就像—

Swyx [00:38:51]: 不，我是不是？天哪。

Anjney [00:38:53]: 那时—

Swyx [00:38:53]: 我很抱歉。

Anjney [00:38:53]: 你的表情上看得出来。

Swyx [00:38:54]: 我很抱歉。但你当时并不知道，介绍得也不好，我当时不知道你是谁。

Anjney [00:39:00]: 你看，这就是关于语境的事情，对吧？不过，我想我听出了你的口音。我当时就问自己：“你是——”

Swyx [00:39:06]: 新加坡，对。

Anjney [00:39:06]: “你是新加坡人吗？”你回答：“是的。”然后我说：“我在新加坡上过高中，读过JC。”然后我们之间的隔阂就打破了。不过，在科学界，有时候对于那些没有接受过情感指导（EQ Coaching）和导师指导的人来说，情况可能非常紧张。要产生科学影响，你通常需要具备极高的情商，能够与你试图影响的人在情感上保持共鸣。所以对你来说轻而易举的事情，对其他人来说可能意味着非常高的风险。因此，我不认为Dario比你更紧张。这些事情可能会让你惊讶，有时你遇到的问题与世界上一些最大领导者的挑战其实非常相似。这是我从这门课上学到的东西。嘉宾包括Sam、Satya和Jensen。

Swyx [00:40:01]: AI Coachella。

Anjney [00:40:02]: 对，就是AI Coachella。所以我们需要请到所有一线的表演者，我非常幸运，这些年来一些人曾指导过我，或者我与他们做过生意。当你去掉那些表演性的内容，以及你从媒体或Twitter上对这些人可能有的任何假设，我们其实都是普通人，都在努力相处。这个时刻特别之处在于，AI正在迫使人们重新审视他们对世界运作方式的假设，回归基本原理，或者去学习新的知识。我之前提到的那个人，我就不点名了，但上周我在德克萨斯州参加一个活动时，有人跑过来对我说：“Anjney，我参加了这门课，你对实时动作预测模型有什么看法？”我听到这个问题时，感到非常高兴。我知道他们已经做了很多工作，挑战了自己。他们没有问我：“你对世界模型有什么看法？”而是问：“你对——”

Swyx [00:41:04]: 实时动作预测

Anjney [00:41:05]: “动作，实时动作预测模型？”世界模型当然很酷，但你和我都清楚，这是一层抽象，有时并不足够精确。对吧？我们——

Swyx [00:41:16]: 有四种不同类型的世界模型。

Anjney [00:41:17]: 是的，完全正确。

Swyx [00:41:18]: 顺便说一下，我们已经完成了基于一般直觉的部分，这部分非常专注于——

Anjney [00:41:22]: 哦，太棒了。是的，我非常喜欢Pim。Pim非常棒。这就是我喜欢那些做过这种深度工作的人的地方。他们意识到，他们并不与那些全世界认为他们应该竞争的人竞争。

Swyx [00:41:34]: 因为他们并不属于那个类别，而是专注于他们想做的事情。

Anjney [00:41:37]: 他们专注于自己的使命，并且对所要解决的瓶颈有系统性的理解。当别人说“我也在做实时的动作预测模型”时，Pim会说：“哦，我喜欢这个人，我想向他学习。”但一旦别人说“那个人是世界模型领域的”，他就会问：“是什么类型的世界模型？”但总的来说，他们主要是想弄清楚这是否浪费他们的时间，因为我们的时间不够。例如，Pim非常喜爱我之前提到过的另一家公司Black Forest Labs。他多次向我提到，他认为Flux所做的工作真的很酷。Andy Blattman也来过，做过一次课堂演讲。我反复发现，对于那些真正从事这项工作的人，如果他们能够对前沿研究领域中的实际情况做出足够精确且有用的描述，他们之间的同事情谊依然存在且非常强烈。但有时候，当你不得不将技术复杂性抽象成商业术语时，这种同事情谊就会丢失。然后，风险投资人们会问：“你们和那个世界模型有什么不同？”我真不知道从哪里开始解释这些。然后，这种不一致就开始出现了。

在前沿AI领域中领导与获胜

Swyx [00:42:43]: 这很好。是的，我认为听众可以从中感受到，与你这样在真正层面运作的人相比，记者层面的视角是怎样的。在记者层面，你必须将所有人归类到大致的类别中，并构建一个竞争叙事，说明谁今天领先，谁落后。

Anjney [00:42:58]: 这个“获胜”的概念对我来说非常奇怪。

Swyx [00:43:03]: 你确实想要获胜。你想要竞争力。

Anjney [00:43:06]: 不，我认为你想要的是领导。

Swyx [00:43:07]: 你想要达到SOTA（最先进水平）。

Anjney [00:43:07]: 不，我认为你想要的是领导。是的，你想要推动前沿，推动SOTA。你想要做之前没人做过的事情。你想要获取价值，但你不想获取太多价值，以至于人们认为你与自己的使命不一致，或者试图做对世界最好的事情。你想要获取足够的价值，以便能够持续创新，对吧？我认为人们想要的是领导，而不是这个“赢和输”的概念。再次，我非常欣赏Jensen。他是一位领导者。他在Dwarkesh播客中谈到的心态，对吧？他说：“我醒来时并没有带着失败者的心态。”我认为这非常棒，对吧？因为他是一位工程师。Dwarkesh已经做了相关的工作。所以至少，尽管对我来说，他们谈论的是同一件事，但他们只是彼此擦肩而过。他们基本上需要，Jensen有这个关于行业运作的五层蛋糕抽象模型。而Dwarkesh，我认为从那次播客中，他更多地提出了预训练、中训练、后训练的系统循环概念。

Swyx [00:44:04]: 这只是取决于他和谁交谈，对吧？再次，这非常清楚。

Anjney [00:44:06]: 这是系统层面的问题。这是抽象模型，是心智模型，是整个——伙计，世界上很多问题都是通过类比推理来解决的，而那些被隐藏的假设也是一大问题。

Swyx [00:44:19]: 是的，我曾经说过，这实际上是人类历史上最适合第一性原理思考者的时代。因为你们认为会发生的一切，现在正在变成现实。

Anjney [00:44:28]: 正确。而且风险投资界在这方面臭名昭著，人们在不确定时期会坚持一些在上一时代被证明正确的公理，并以自信的姿态宣称它们是真理，但实际上它们并不是。区分启发式方法和公理是非常重要的。一个公理可以被证明——

Swyx [00:44:55]: 从内部一致性角度来看

Anjney [00:44:56]: 通过内部一致性。启发式方法是一种快捷方式。天啊，过去几年我不得不忍受的人数之多，他们宣称使用启发式方法作为公理来评判他人，评判哪些公司会成功，或者有多少人说“哦，对了，Anthropic，他们现在只是在训练模型”，但这个情况却持续下去了。

Swyx [00:45:22]: 因为这是B2B SaaS吗？

Anjney [00:45:23]: 是的，从长远来看，如果你仔细观察，也许会是这样。但你到达那里的方式非常重要，以至于你可以——你就可以忽视一些人。发生了什么？对，发生的是Anthropic基本上在去年10月实现了起飞。那次训练运行——

Swyx [00:45:41]: 无论怎样，37？

Anjney [00:45:42]: 我现在记不起具体数字了，但不管那个检查点是什么——

Swyx [00:45:45]: 我们看到了认知能力。

Anjney [00:45:46]: 是的。对吧？你可能——对我们社区的人来说，特别是当训练完成后并在12月发布后——

Swyx [00:45:52]: 是的。我可以偷偷问一个问题吗？我不知道你是否有这方面的观点，也许你没有，我只是想问，首要的问题是Anthropic是如何破解编码的，对吧？因为Claude One、Claude Two，虽然它们是其中的一部分，但并不是什么大问题。而主要的假设是，这是一个幸运的骰子投掷，然后被进一步放大，对吧？就像它只是稍微好一点，然后他们看到了这一点，并说“好吧，让我们真正地投入。”

Anthropic 如何破解编码

Anjney [00:46:17]: 我曾经有一个非常令人讨厌的老师。我曾就读于印度的一所寄宿学校，名叫Rishi Valley，这所学校就像一个鸟类保护区。它占地约三百五十英亩，位于印度乡村，七年里都没有任何技术设备。有这么一位老师，我就不提他的名字了，但他总是对我说一些让我非常反感的话。他说：“运气总是眷顾有准备的人。”这是一句常见的俗语，但他的表达方式总是让我很不爽，因为他总是认为我是一个不用很努力就能取得好成绩的学生。比如在高中阶段，只要你稍微注意一下，其实并不难取得好成绩。有一次，我得到了80分的成绩，他却不断催促我说：“你之所以没有拿到95分以上，是因为你不够幸运。”我问他：“你这是什么意思？”因为我一直以为自己配得上这个分数，有时还会和他争辩。他会说：“你没有一个有准备的头脑。如果你想要再次幸运，”有一次，我在这门课上拿到了95或96分，我开始觉得自己有资格继续这样做，但我没有坚持下去。然后他跟我说：“运气总是眷顾有准备的人。你上一次是幸运，但你必须保持准备。”我当时并不明白他的意思。现在我长大了，我意识到这些成年人其实知道一些事情。Anthropic在过去四年里一直是最有准备的公司。当合适的上下文数据出现时，合适的开发者开始提交合适的上下文差异，你可以说你运气好，但在我看来，他们过去四年一直以一种近乎偏执的方式做好了充分的准备。你必须记住，他们早期起步时非常艰难，他们用更少的资源做了更多的事情，因此你必须做好充分的准备，以保持高效。

Swyx [00:48:06]: 是的。他们与OpenAI相比，烧钱的数字是不一样的。我写过一些相关的文章，但他们在技术栈方面要高效得多。

Anjney [00:48:14]: 这不仅仅好笑。

Swyx [00:48:14]: 远不止如此。

Anjney [00:48:15]: 是的。但这是显而易见的，对吧？比如如何为世界输出最大价值。他们已经做好了准备，你可以说这是运气，但运气总是眷顾有准备的人。

文化、艰难与Anthropic的P0

Swyx [00:48:25]: 这是我在回顾你以前的一些讲座时想到的一件事，人们认为数据是一种护城河，但实际上它是文化，实际上是团队。你可以说，护城河有不同的层次，这是决定其他一切的终极护城河，然后你可以进行复利。

Anjney [00:48:43]: 你是说文化是终极的护城河？是的。但文化的问题在于它非常脆弱。护城河，我不认为实际上存在很多真正的护城河。这只是一个美好的概念，实际上你必须不断补充你的文化。Ben Horowitz是周二CS153课程的演讲者，我曾问他关于团队文化瓶颈的问题，因为有多个AI团队—

Swyx [00:49:09]: 他的书《关于艰难之事的艰难之处》

Anjney [00:49:11]: 《Hard Thing About Hard Things》。但更具体地说，如今有很多人工智能实验室，他们拥有充足的资金和计算资源，却仍然无法推出任何最先进的产品。然后你开始看到人们陆续离开，等等。我的诊断是，问题在于文化。所以我问他，Ben，他们——他是人工智能实验室领域最积极的投资者之一。他提到了一个让我印象深刻的点。当时我在a16z工作，我常常会预订一个会议室，而这个会议室离洗手间最近，因为这是我在Zoom会议之间快速去洗手间最便捷的方式。

Swyx [00:49:45]: 天啊，我会把优化洗手间的使用发挥到极致。好吧，算了吧。

Anjney [00:49:48]: 回顾起来，这并不健康，但也许这是过度透露了。无论如何，会议墙上的这句引言是：“文化不是一套信念，而是一套行动。”这句话出自Bushido，一位日本哲学家。如果你停止采取那些能够体现你对团队和你所关心的世界的使命一致性的行动，那么你的文化就会开始瓦解。因此，我认为文化实际上并不是护城河，而是一件非常脆弱、易碎的东西，需要像照料花园一样每天精心维护。但如果你找到了一个系统来持续维护这个花园，我认为最终归根结底是了解自己，因为当你保持真实时，你会自然而然地做出一些对你来说毫不费力的取舍，而这些取舍又会强化你的文化。然后，这就会成为其他人难以追赶的难题。在Anthropic，从第一天起，就有一种传教士般的热忱和信念，即这些能力可以扩展。这些系统是随机的，而非确定的。它们会有误差范围，直到我们破解了可解释性，否则存在风险。在某个时刻，人们将不再仅仅用Claude进行编码，而会将其用于一些关键任务的场景，如果它出现了一个错误，人们就会来找他们问责，他们希望站在历史的正确一边，表示：“是的，这是一种强大的技术。我们认为它将改变世界，而且我们希望以非常谨慎和科学的方式来承认，‘伙计们，这些都是统计模型。’这就是统计学的运作方式。”最终，当你训练神经网络时，它只是一个统计系统。我认为，这种对安全性的重视在早期可能看起来像是玩具般的，有时你可以说：“Anjney，他们完全夸大了风险。”比如两年前，他们说：“我们不要发布Claude One。”好吧，也许从回顾的角度来看是这样，但回顾总是清晰的。在当时，他们并不知道这个模型会被如何使用，如果有人来说：“你们不负责任，它写出了一个错误。”这对他们来说感觉是生存性的。与之相关的责任是巨大的。那么，你如何防止这种情况发生？每天，你都要说“安全”。当你开始偏离这一点时，你的团队会对你负责，世界也会对你负责，我认为随着时间的推移，这会形成护城河。在某个时刻，这种护城河会受到挑战，然后变得脆弱。我希望它能够持续下去，因为这是创始人掌控局面的美丽之处，因为他们可以做出非常艰难的取舍来实现使命一致。最难的部分是在早期，当你没有一群共同经历困难、压力和危机的人时，你的文化就无法被清晰地定义，而这正是我现在所担心的，因为现在有这么多资金投入这些实验室，没有困难，没有-

Swyx [00:52:50]: 对于任何了解

Anjney [00:52:51]: 对于了解内情的人来说，这并不是什么秘密。从长远来看，这实际上是Anthropic的一个优势，而不是缺陷。那些拒绝加入的人，那些说“抱歉，我们都在投资OpenAI”的人，这形成了竞争上的差异。它迫使你真正思考，你愿意为了其他一切而坚持的立场是什么。什么是P零？从一开始，P零就是编程。原因在于，如果我们在编程方面取得突破，那么我们就能在通用人工智能（AGI）方面取得突破。我们的使命就是实现AGI，我们希望安全地实现这一目标。如果我们专注于编程，这是一项非常强大的能力，可以加速各种计算机上的工作。如果我们能加速各种计算机上的工作，我们就能实现AGI。因此，他们不得不拒绝很多其他事情。在这里，超导性是他们的使命。编程不是他们的使命，所以我们使用Claude。我们会使用Claude。我们并不在意这些。使命定义了一切，我认为那些能够过早地筹集到太多资金的团队，他们不需要定义什么是P零，因为当你资源稀缺时，这是唯一需要投资的地方。这些文化最终会变得最脆弱和脆弱，几乎无法起飞。

Periodic Labs、物理和硅谷雇佣兵

Swyx [00:54:03]: 那么，让我们将这一点应用到Periodic上，因为我们在这里。他们所承受的限制或困难是什么？

Anjney [00:54:09]: 伙计，这里？你疯了吗？不，好吧，从技术角度来看，这是物理。这是现实本身。

Swyx [00:54:17]: 但还有另一个，是公司正在构建的——

Anjney [00:54:20]: 是的。当——Liam是ChatGPT的联合创始人，Doge是DeepMind的Demis的跳级同事。他创建了Genome，这是DeepMind推出的重要工具之一。当时，我是斯坦福大学物理系的访问科学家，我们开始对前沿模型在物理和科学能力方面进行基准测试，它们表现得并不好。它们擅长做论文摘要之类的事情。但如果你问：“嘿，你能分析凝聚态物理实验室产生的科学数据吗？”我当时在斯坦福大学的凝聚态物理小组。那表现得很差。所以，一年前这并不流行。Periodic和我不会详细说明，但有几个人最近几个月曾表示想加入公司。但出于某种原因，他们去了其他地方工作。他们有点违背了他们的承诺。他们去了其他提供更高薪水的工作。然后我们有了一个技术突破。创建了一个SOTA系统，就像——

Swyx [00:55:30]: 我很兴奋——

Anjney [00:55:30]: 是的。当你看到——

Swyx [00:55:31]: 覆盖它。我们会做一期关于Periodic的特别节目。

Anjney [00:55:33]: 然后他们想回来，我说：“不。”

Swyx [00:55:36]: 是的，当然。

Anjney [00:55:36]: “绝对不行。你如果来这里，你——”

Swyx [00:55:38]: 你已经有机会了。

Anjney [00:55:39]: “你已经有机会了。”

Swyx [00:55:40]: 因为这实际上与文化有关。

Anjney [00:55:41]: 当然。

Swyx [00:55:42]: 还有第一性原理，是的。

Anjney [00:55:43]: 我相信给人们第二次机会，但时间会慢慢治愈一切。有些伤痕会留下深深的烙印，对我而言，这些伤痕是我在24、25岁创办公司时经历背叛和戏剧性事件的结果。你就会明白，硅谷既是充满使命感的地方，也是充满功利主义的地方。有时候，当大笔金钱介入时，人们会失去理智，但就整体而言，这些钱其实并不算多。比如，你正在拿走的——

Swyx [00:56:17]: 对我来说，这可能是改变人生的大事，对你来说可能没那么重要，但对很多人来说，他们并没有接受过这方面的教育——

Anjney [00:56:21]: 我是——

Swyx [00:56:21]: 如何处理金钱。是的，我们并没有从那种特权背景中成长起来，对吧？

Rishi Valley、新加坡和金钱作为衡量标准

Anjney [00:56:26]: 我是一条街头野狗，老兄。我是在Rishi Valley长大的。我们那里是强制性的残酷主义。Jiddu Krishnamurti创办了那所学校，规定“你们将睡在坚硬的石板上。”我的床垫非常薄。当我搬到新加坡时，我参加了奖学金项目，这非常棒，我非常感谢新加坡政府。我在圣安德鲁初级学院就读，我们的宿舍位于Boon Keng——

Swyx [00:56:57]: ——嗯

Anjney [00:56:57]: MRT——

Swyx [00:56:58]: 那不是一个有声望的社区。

Anjney [00:57:00]: 是的，那是一个过渡宿舍。因为他们正在在Potong Pasir的SAJC建设一个美丽的住宅校园。我们是最后一批，我认为是倒数第二批住在过渡宿舍的人，那是一些旧的，我觉得可能是移民劳工——

Swyx [00:57:20]: 那是存放那些在工厂工作的人的地方。

Anjney [00:57:23]: 对。所以，我在11年级和12年级时，睡在一个房间，这个房间的大小就和这里差不多。从那里到这里，就是整个房间的大小。对吧？那里有上下铺。这里一张上下铺，那里一张上下铺，上面一张，上面一张，这里还有一张，而这里是我们存放洗漱用品和衣物的地方。当一个人爬上他的床时，另一张床就会晃动。

Swyx [00:57:52]: 天哪。

Anjney [00:57:53]: 我的一位室友来自——那是一段非常棒的经历。我爱每一分钟。我的室友是一位来自中国，排名靠前的Dota选手，不会说英语。我非常喜欢他，他是一个非常了不起的人。

Swyx [00:58:09]: 所有新加坡的奖学金获得者都非常出色，老实说，我们应该更好地对待你们，因为你们后来所做的事情。但——

Anjney [00:58:15]: 请听我说——

Swyx [00:58:15]: 很高兴知道。

Anjney [00:58:16]: 不，我的意思是，我并不需要太多东西就能感到幸福。当你经历过那些之后，金钱是一种方式，我认为有时候我们用它来衡量自己，但当它不再只是副产品，而成为衡量标准时，它就失去了意义。

Swyx [00:58:38]: 你可以用它来做更有意义的事情。

Anjney [00:58:40]: 正确。

Swyx [00:58:40]: 它是追求使命的资源。我让你聊得太久了，但我们应该继续这个话题——

结束语：鸡饭和接下来的事情

Anjney [00:58:47]: 随时都可以，老兄。

Swyx [00:58:48]: 第二部分。

Anjney [00:58:48]: 我在哪里可以找到我？

Swyx [00:58:49]: 我真的非常喜欢这次对话。是的，你非常鼓舞人心，我想进一步了解你如何设置每一件事，每一个投资，以及AMP目前的进展，但时间不够了。非常感谢你参加。

Anjney [00:59:01]: 很高兴见到你，兄弟。我们找个时间一起吃鸡肉饭吧。

Swyx [00:59:04]: 是的，实际上，明天我会发消息给你，我会给你详细信息。我正在举办一个生日聚会。

Anjney [00:59:09]: 我没收到邀请吗？

Swyx [00:59:10]: 是的，必须是一个新加坡的生日聚会。你现在就被邀请了。

Anjney [00:59:13]: 好的，太好了。

Swyx [00:59:14]: 好的，非常感谢。

Anjney [00:59:15]: 好的，谢谢，兄弟。

#### 关于本集的讨论

评论

Restacks

由AI工程师打造的播客！2025年，超过1000万的读者和听众来到Latent Space，了解Software 3.0领域的新闻、论文和访谈。我们涵盖基础模型在代码生成、多模态、AI代理、GPU基础设施等各个领域的变革，直接来自推动前沿的创始人、构建者和思考者。我们力求为你提供当前热门话题的权威解读，以及你未来三个月将使用的技术的首次介绍！我们独家报道和采访来自OpenAI、Anthropic、Gemini、Meta（Soumith Chintala）、Sierra（Bret Taylor）、tiny（George Hotz）、Databricks/MosaicML（Jon Frankle）、Modular（Chris Lattner）、Answer.ai（Jeremy Howard）等的最新消息和独家访谈。完整的节目备注始终在 https://latent.space

收听方式

Substack App

Apple Podcasts

Spotify

RSS Feed

近期节目

🔬 自动驾驶实验室 — Joseph Krause，Radical AI

6月17日

•

Brandon Anderson

现实：最终评估 — Andon Labs 的 Lukas Petersson 和 Axel Backlund

6月4日

🔬 超越非正式AI的扩展 — Carina Hong，Axiom Math

6月3日

RJ Honicky

⚡️Satya Nadella：No Priors x Latent Space 跨界特别节目，微软Build大会

GitHub的代理计划 — Kyle Daigle，GitHub

6月2日

为什么视频代理模型是下一步 — Ethan He，xAI Grok Imagine

6月1日

异步代理时代 — Cognition 的 Walden Yan 和 OpenInspect 的 Cole Murray

5月28日