Stratechery

An Interview with OpenAI President Greg Brockman About Astra and Alignment

8.5内容质量

TL;DR · AI 摘要

OpenAI推出新模型Astra并强调对齐重要性,讨论其在AI价值链中的定位及与微软、Nvidia的竞争关系。

核心要点

  • Astra是OpenAI最新模型,专注于对齐与安全性。
  • OpenAI认为拥有十亿用户可能带来管理挑战。
  • 与微软和Nvidia的竞争涉及AI价值链的上下游布局。

结构提纲

按章节快速跳转。

  1. 介绍Greg Brockman背景及Astra模型的发布。

  2. Astra是OpenAI最新模型,强调对齐与安全性的技术实践。

  3. 讨论OpenAI在Hugging Face事件前的安全措施争议。

  4. 分析OpenAI在AI产业链中的竞争地位及与微软Nvidia的关系。

  5. 对比OpenAI与微软在消费者端及Nvidia在硬件端的竞争策略。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • OpenAI的Astra与对齐
    • Astra模型
      • 对齐技术
      • 安全措施
    • AI价值链
      • 微软竞争
      • Nvidia合作
    • 行业挑战
      • 用户规模管理
      • Hugging Face事件

金句 / Highlights

值得收藏与分享的关键句。

#OpenAI#Astra#AI对齐#AI价值链#微软#Nvidia
打开原文

与OpenAI总裁Greg Brockman关于Astra和对齐的访谈 – Stratechery by Ben Thompson

与OpenAI总裁Greg Brockman关于Astra和对齐的访谈

2026年9月4日,星期五

收听播客

收听这篇帖子:

早上好,

本周的Stratechery访谈嘉宾是OpenAI总裁兼联合创始人Greg Brockman。Brockman于2010年退学加入Stripe,后来成为该公司的首席技术官;2015年离开Stripe后,他与他人共同创立了OpenAI,并继续担任首席技术官。如今,在经历了一段有趣的时光后,Brockman已成为OpenAI的总裁,并作为OpenAI最新模型Astra的发布代表出现在公众视野中。

在此次访谈中,我们讨论了Brockman的背景、他在Stripe的经历以及OpenAI的早期发展。我们还涉及了ChatGPT的发布和2023年的相关争议,探讨拥有十亿用户是否真的构成劣势。此外,我们还讨论了OpenAI在价值链中的定位,以及他们与更贴近消费者的公司(如微软)和供应商(如Nvidia)之间的竞争。我们还谈到了Astra以及OpenAI对对齐的公开承诺,并就OpenAI在Hugging Face事件发生前是否认真对待安全问题进行了辩论。

提醒一下,所有Stratechery内容(包括访谈)都可以作为播客收听;点击此邮件顶部的链接,即可将Stratechery添加到您的播客播放器中。

进入访谈:

与OpenAI总裁Greg Brockman关于Astra和对齐的访谈

本次访谈为清晰度进行了轻微编辑。

主题:

背景

|

Stripe

OpenAI

OpenAI与图灵测试

ChatGPT与OpenAI争议

生产力与AGI

Astra

AI价值链

网络安全

#### 背景

Greg Brockman,欢迎来到Stratechery。

Greg Brockman:感谢邀请我。很高兴来到这里。

显然我们有很多新闻要讨论,但由于这是我们第一次交谈,我不想错过我通常会问任何人的Stratechery传记问题。我想问——你是否将北达科他州定义为中西部的一部分?

GB:是的。

好的,作为一位来自中西部的人,当然我需要花些时间在那里。据说你在波士顿上学,但在谈到那里之前——在你上学之前,你就已经有了令人惊叹的履历,比如国际化学奥林匹克竞赛,但你是化学方面的。计算机是从什么时候进入你的生活的?还是说计算机一直是你生活的一部分?

GB:在我成长过程中,计算机一直存在于背景中。我喜欢玩电脑游戏,但我对数学和科学特别感兴趣。实际上,我甚至在九年级时都曾考虑过成为一名演员——我也非常热衷于表演,还稍微涉猎过哲学。

一个意外的转折!我没想到会这样,但我想弄清楚你现在所做的工作和表演之间有什么联系,不过我们继续吧。

GB:嗯,我觉得在九年级的时候,我曾是中学或高中戏剧中的男主角之一。我当时在想,我想加倍努力做一件事,我觉得自己可能能在世界上做到最好,并真正推动某个领域的发展。我感觉我必须在更注重思维的硬科学方向或更偏向艺术、表演和创意的路线之间做出选择。最后我选择了硬科学方向,因为我觉得这可能是我能对世界产生最大影响的领域。

你为什么认为选择这个方向能对世界产生最大的影响?

GB:我想对我而言,表演中让我着迷的一点是团队合作的方面。我喜欢即兴表演,你只是创造性地思考问题,来回交流想法,但这也确实需要与一个配合得非常默契的团队合作,而这种默契并不是总能保证的。这是一件很难实现和找到的事情。我真正喜欢硬科学路线的一点是,它让人感觉你在不断提升自己的技能。实际上,我学到的一件事是,即使你擅长编写代码,这也不够。实际上,还需要引入一个优秀的团队,而这正是我职业生涯中一直在做的事情——真正帮助构建和塑造能够实现卓越成果的环境和文化。

有趣的是,这里还有一个关于环境如何塑造这些因素的方面。你提到你一直是戏剧和话剧中的男主角。我从我的孩子经历这个阶段时注意到——我女儿曾经非常热衷于音乐剧之类的东西——女主角的竞争非常激烈,通常只要有一个能力合格且愿意主动请缨的男性,他就会获得这个角色。男主角的竞争是否也很激烈,还是你基本上是唯一的候选人?

GB:(笑着说)这可能就是原因。不过我要讲个故事。

那么反过来呢?你在北达科他州,那里是否没有很多对硬科学非常热衷的人,因此这似乎在某种程度上是一种更罕见的现象?

GB:我会告诉你两个故事。一个关于表演方面。我第一份有报酬的工作就是一次表演机会。当时Mannheim Steamroller乐队在北达科他州格兰德福克斯市演出。你听说过Mannheim Steamroller吗?

听说过,是的,非常熟悉。

GB:他们正在举办一场音乐会,需要一些群演。他们需要一些人扮演这些锡兵,因为这是一场圣诞假期音乐会。我去参加了试镜,当时是个瘦弱的九年级学生,而现场有很多大学生。

他们告诉所有人:“好,大家朝那个方向行进”,然后选角人员会交换意见,你们会有空闲时间,接着他们又会说:“好,大家朝另一个方向行进”。我注意到在空闲时间里,这些大学生都在互相交谈、闲逛,而我却想着,这份工作只有一个要求,就是你必须整整六个小时保持站姿,在音乐会现场来回走动。所以在空闲时间里,我站在那里保持站姿,一直沉浸在角色中。最后他们说:“好了,我们选中了这个人、这个人、这个人,其他人可以离开了。”我没有被选中。

但就在他们离开时,他们说:“其实,我们认为你非常出色。我们很欣赏你对这件事的投入程度,所以我们要为你创造一个全新的角色。”于是,我成了一个姜饼人,他们还给我准备了一整套服装。这就是我的第一份工作。所以,为了完成工作,我尝试了一些跳出常规的创意方式——而不是一味地接受既定角色,而是努力寻找创新的解决方法。

但我觉得在北达科他州成长过程中,最棒的一点就是我有机会在自己感兴趣的领域里真正脱颖而出,成为州内的佼佼者。我在数学方面表现突出,高中毕业后就进入了北达科他大学,从十年级开始在那里修课。我非常热衷于参加数学竞赛,后来还去参加了全国数学竞赛和全国数学夏令营,在那里我遇到了国内最顶尖的数学人才。这些人非常出色,实际上,这一直是我感到非常荣幸和自豪的一点:很多我在数学夏令营时非常敬佩的人如今在OpenAI工作。因此,我有机会看到他们在这个新领域、以全新的面貌出现。

这太棒了。

GB:但我觉得自己能够真正按照自己的想法规划人生。我开始进行数学研究,我知道如果我去了那些高水准的高中或竞争更激烈的州,可能就不会那么突出。我可能只能走常规路线。正因为我身处这样的环境,才能探索自己的兴趣,真正按照自己的节奏前进。

所以当人们说他们曾在波士顿上学时,通常是指哈佛大学,而你最初就是在那开始的。后来你转去了MIT。之后在某个时间点你开始在Stripe工作。这其中的顺序是怎样的?你是什么时候认识Collisons兄弟的?在波士顿发生了什么?

GB:高中毕业后,我休学了一年,实际上我开始编写一本化学教科书,因为在高中时我非常热衷于化学竞赛,也发展出了一种独特的思维方式,非常注重第一性原理,非常数学化,而不是死记硬背。我想教授这种思维方式,推广这种理念。因此,我实际上写了100页的内容。现在我的网站上还有这个未完成的版本。我一直打算重新回到这个项目上。

这听起来像是一个退休项目,我真的很喜欢。

GB:没错。不过,现在你可以直接问Astra,它会做得很好。但当时我正试图弄清楚如何让这本书出版,所以我问了一位朋友,他之前在数学领域做过类似的事情,他说:“你没有博士学位,所以没人会出版你的书。你有两种选择——要么自己出版”——我当时心想,这需要很多工作和资金,“或者你可以创建一个网站,通过这种方式推广你的想法。”我说:“那我猜我得学编程了。”于是我去了W3Schools。你还记得W3Schools吗?你见过那个网站吗?

没有,我想没有。

GB:好的,这就是经典案例——他们有HTML教程、JavaScript、CSS、PHP。我读了这些教程,然后我说:“我应该试一下。”我记得我做了一个小工具:你可以点击表格的某一列,它就会根据这一列对行进行排序。这种感觉太棒了。我脑海中设想的东西现在变成了现实,任何人都可以从中受益。他们不需要理解背后的细节,它只需要正常工作就行。

我记得我第一次为用户构建的项目,其实是一个竞争性聊天机器人游戏,有一天它从StumbleUpon获得了1500次访问量。那种感觉非常美妙,有1500人玩了我的游戏,希望他们享受了游戏过程,但更重要的是他们坚持下来继续玩。我当时就想着,“这就是我想要的,我想帮助人们,想为他们创造价值”。

这就是我原本以为在哈佛要做的事情,但后来发生了改变。我原本以为自己会从事更多元化的兴趣领域,但后来我意识到,“我只想专注于构建”。在哈佛大一那年,我加入了计算机俱乐部,有两位高年级学生每次都会进行一些晦涩的技术辩论。我们其他人听着,心想,“总有一天我们会理解这些,总有一天我们也会成为他们”。但后来他们毕业了,到了大二。

所以你是因为意识到自己专注于编程和构建,才转去MIT的吗?

GB:基本上是这样。因为大二那年我负责管理这个俱乐部,我本应该参与这些晦涩的技术辩论,但我觉得“我还没准备好,我还有很多要学习的,我需要和比我更优秀的人在一起”。

明白了。

GB:所以我花了很多时间在MIT,我觉得转学过去是合乎逻辑的选择。

#### Stripe

明白了。那你们是什么时候认识Collisons兄弟的?

GB:我们在2010年底认识的。我们有很多共同朋友,因为John曾就读于哈佛,Patrick曾就读于MIT,他们当时正在四处探索。那支团队在寻找对计算机感兴趣的学生,而我的名字反复被提及。

对的。

GB:所以团队联系了我,我飞过去见了他们。我记得第一次见到Patrick时,那一刻我就觉得,“好吧,这就是我想共事的人,我觉得我们可以一起创造一些伟大的东西”。

那么接下来的问题是,是什么吸引你加入Stripe?但听起来你已经回答了。你在Stripe学到了什么?你加入时属于早期团队,发展非常迅速。离开时你已经是CTO了。Stripe本身及其扩展过程,以及你自己在这家快速成长的公司中迅速成长,对你来说最大的收获是什么?

GB:首先,对我而言,一直都很看重团队。我知道这些人是我想要共事的,我觉得我们可以一起学习,一起完成一些伟大的事情,这非常关键。顺便说一句,两次退学是我不想让任何人的父母经历的事情。对我而言这确实很困难,但最终我的父母其实非常支持我。

不,我们明白了,你总是把事情推向极端,对吧?大多数创始人只退学一次,而你却不得不退学两次。我们已经明白你的意思了。

GB:完全正确。我记得Stripe早期的很多日子都是关于第一性原理的思考。我们所处的信用卡行业非常不透明,非常复杂,它经过几十年的发展,有着巨大的复杂性,甚至信用卡网络本身都运行在上世纪80年代的ISO 8583标准上。这是一个基于字节的格式。我们当时在思考,“我们该如何让这一切变得简单,为互联网时代打造一个极简的解决方案?”

所以,这在很大程度上是关于对一个你并不熟悉的领域的深入理解。我们中没有人真正从小就是支付领域的专家,但你只是希望真正深入理解其运作方式,以便能够暴露正确的原始概念、正确的API和抽象层。对我来说,这实际上是核心技能,而且在Stripe和OpenAI之间具有很强的可转移性。它们在某些方面非常相似,你必须去科学地学习一个领域。AI与支付显然在领域具体细节上存在差异——一个是更偏向自然科学,另一个则几乎是一个由复杂性构建起来的系统——但它们本质上都是关于理解事物运作背后的原理,并以简单易懂的方式将其暴露出来。

我在招聘和文化建设上投入了大量时间,我认为我找到的一件事是,我热爱编程,热爱那种心流状态和不断构建、创造的感觉。

没错,你以这些长达数小时的心流状态和无休止的编码而闻名。在构建Stripe时,你最长的一次编码/心流状态持续了多久?

GB:这一切都模糊了,我无法确切地说出。但我想说的是,对我而言,有一次24小时冲刺让我们真正接入了信用卡网络。那是一个非常棒的时期,我们所有人都在办公室里一起度过,没有人睡觉,原本预计需要九个月的集成工作,我们竟然在一个晚上就完成了。如果晚一天错过,可能就要再等一个月。作为初创公司,每一天都至关重要,所以能够完成看似不可能的事情,我非常热爱。这种经历令人无比兴奋。

当你成为CTO时,你写了一篇帖子,说你和其他CTO交谈后,原本以为这是一个更偏向架构的工作,但发现他们并没有这样做,你表示:“我觉得我失去了反馈循环,与产品脱节了,我需要重新编码,我将成为一个程序员。”我很好奇,你在成为CTO初期写了这篇帖子,这种状态持续了多久?你保持与编码的联系多久?

GB:我认为大概又持续了将近十年。我认为我在一个方面成长了很多,也真正学会了如何保持联系并真正帮助推动团队前进,即使你自己不再亲自敲键盘。

顺便说一句,我想说这其实是每个软件工程师现在都应该吸取的重要教训,因为编程的本质在过去一年中发生了显著变化。我认为在接下来的一年里,这种变化还会更加明显。我们都在逐渐远离必须知道使用哪个库、能够编写语法以及分号放在哪里的角色。我们正在转向更高层次的管理者、导演,成为灵感、愿景、判断和反馈的来源。我认为这种转变对我来说是困难的,因为必须放弃一些我过去习惯并珍视的东西。但事实上,我用另一种我更热爱的东西取代了它。

我知道我在和一个聪明的人对话,因为你偷走了我的伏笔。我本来打算稍后再回到这个话题,但没错,我们正朝着这个方向前进。

#### OpenAI与图灵测试

让我们谈谈 OpenAI。你是 OpenAI 创始团队的一员。你对这段经历有什么看法?我确信这可以成为一整小时的播客,但是什么吸引了你进入这个领域并促使你们开始创业?

GB:我一直对人工智能的概念充满热情。我记得我刚开始学习编程时,读了 Alan Turing 1950 年关于图灵测试的论文。这是一篇非常有趣的论文,大概有 70 页左右。它开篇就提出:“机器要具备智能意味着什么?我不知道这具体是什么意思。智能这个概念并不明确。因此,让我们先给出一个明确的定义。”

稍后我会问你 AGI 的定义,所以看起来这个问题至今仍未有定论,对吗?

GB:没错,图灵非常聪明地绕开了这个问题,他说:“让我们先给出一个操作性定义,如果在一项测试中,人类无法分辨与自己对话的是 AI 还是另一个人类,我们就将这台机器定义为智能。”

不过,图灵提出的一个非常有趣但很少被讨论的观点是:“你如何才能解决这个问题?编程回答这个问题太困难了。你无法列出所有应对问题的规则。相反,如果我们能构建一台能够学习的机器呢?如果我们能构建他所说的‘儿童机器’呢?”然后你通过教学来训练它——有一个老师给予它奖励和惩罚,这样你就能真正赋予它智能,帮助它通过这个测试。

我记得当时被这个想法深深震撼,因为作为一名程序员,你只有在深刻理解某个问题的解决方案时才能取得进展。有那么多问题我无法解决,你也无法解决,没有人提出过解决方案,我们永远无法通过编程来回答这些问题。但如果能拥有一台机器,它能够理解我们无法理解的问题,能够找到我们无法找到的解决方案呢?这不仅仅是关于图像识别(当然它也适用于图像识别),还涉及我们如何更好地作为社会共存?我们如何构建这个世界?我们如何确保我们创造的成果能够惠及所有人?这些都是极其困难的问题,人类未必是解决这些问题的最佳人选。但如果一台机器能够理解,能够分析更多数据,能够对多个领域有更深入、更丰富的理解,也许它能找到我们无法找到的解决方案。

我被这个想法深深鼓舞。但那只是一个想法。我记得我到哈佛大学时,曾问过我的教授:“我能做一些人工智能研究吗?”他们向我展示了当时自然语言处理领域的最先进水平。我立刻意识到,这与图灵所说的完全不同。当时的技术更依赖硬编码、解析树等方法,这显然无法扩展到通用人工智能(AGI)。

但2010年代初发生了一些变化,而我则从外部观察着这一切。2012年是AlexNet的突破,随后又有一系列论文涌现。我经常在Hacker News上看到相关内容,感觉每天都有新的“深度学习在X领域的应用”出现,我便开始思考:“什么是深度学习?”我记得当时去访问了deeplearning.org,网站上只写着“深度学习是人工智能领域的一种新方法”。我当时完全不明白这句话的含义,实际上我认识该领域唯一一个人,于是去找他,希望他能介绍我认识更多该领域的人。结果我不断被介绍给一些我大学时期最聪明的朋友。我心想:“等等,这很有趣,这些人正在从事这个领域的工作,这其实是一个非常强烈的信号。”

到2015年时,我觉得确实有某种真实的事情正在发生。我当时花了很多时间思考人工智能安全问题,思考这类技术的长期未来,思考如何正确地实现它。当时这更多是一种哲学层面的思考。网上有很多非常酷的思维实验文章,我在Stripe组织了一个读书会,每周都会讨论这些内容。这对我来说是一件非常关心的事情,我思考着是否有什么方式能帮助人工智能的发展比没有我的参与时更好,如果能实现这一点,那将是我职业生涯中能做的最好的事情。

所有这些都引导我来到了2015年,我觉得自己在Stripe已经达到了一个里程碑,公司无论有没有我都会继续前进,问题在于“我是否要走管理路线?”这是通向下一阶段所需的路径,还是“我是否要创办一家新公司?”这一直是激励我的事情,所以我决定这就是我想做的事情。就在我要离开时,Patrick说:“你为什么不跟Sam(Altman)谈谈?”他几年前曾向我介绍过Sam。他说:“Sam见过很多处于类似情况的年轻人,也许他能给你一些建议。”他其实希望Sam能说服我留下。但事情并没有按照这个方向发展。

(笑着)是的。

GB:我和Sam见了面,三分钟后,他就问:“你已经明确要离开了,接下来你打算做什么?”我说:“我正在考虑做与人工智能相关的事情。”他说:“我也是在考虑做与人工智能相关的事情。”这便是故事的开始。

你当时是否支持整个非营利组织的构想?在设立该组织时,你对此有什么想法?

GB:非营利组织的构想是Sam提出的,我认为实际上有很多非常重要的特性,这些特性在今天仍然成立。我们正在构建的技术,其规模比之前创造的任何东西都要大,比传统的结构和系统都要大。目前没有任何一种企业结构能够完全涵盖我们的使命和需要完成的工作。

所以我认为以这种方式开始是完全合理的,而且一直有一个问题:要真正实现这个使命,需要付出什么?这是我们花了很长时间认真思考的问题。我认为我们公司一直在最创新地思考如何构建一个结构,涵盖商业开发所需的各种不同方面,以及利益分配所需的各种不同方面,还有实际推动这种计算驱动经济的可行方式,并且同时完成所有这些事情。因此,我认为这一直是我们的一个重要元素,仍然是我们所做事情的关键元素。但再次强调,我认为我们在公司结构方面围绕这个使命的核心进行了大量创新,而这个使命本身是不变的。

是的,用“创新”这个词来形容它再合适不过了。你提到过信用卡网络,对吧?它极其不透明,很多东西来自上世纪80年代,存在大量的路径依赖,这给了Stripe机会,因为你可以将这些全部抽象掉,对其他人来说,只需说“这里有一个API,它能正常工作,不要问问题”。现在回望OpenAI——现在很难相信已经过去十多年了——OpenAI是否可能以其他方式出现?这里面是否存在类似的路径依赖,还是像我经常做的那样,如果回到第一性原理,作为Greg Brockman的我,会以完全不同的方式构建它?

GB:我看不到任何其他方式能让我们走到今天这一步,我认为这个使命要求我们走到的地方就是我们现在的样子。

#### ChatGPT与OpenAI的争议

请告诉我关于ChatGPT发布的经历,因为在你们意识到需要扩展规模、与微软合作、加入盈利部分之后,ChatGPT发布并取得了巨大成功。你们当时是否预料到它会变得如此之大?

GB:让我感到惊讶的是,我的预测误差在于GPT-3.5,人们竟然真的非常喜欢并渴望使用它。当时我们已经有了GPT-4,它在8月左右完成了训练,而我们在2022年11月底推出了ChatGPT。每次我们有新模型时,总会立即抓住它。

旧模型看起来糟糕透顶。

GB:我们看到的只是前一个模型的缺陷。我们总是觉得,“啊,这个旧模型太差了,我无法想象有人会想用它”。我们有200名付费测试者在使用预发布的ChatGPT,而且我们还得支付他们使用它,而不是他们支付我们。如果你深入研究细节并非常关注,确实有一些产品市场契合的迹象,但如果你从宏观角度看,我们当时看起来似乎并没有达到这种契合。

但我们的思考方式是,GPT-4显然将改变世界,我们很清楚这一点,从第一次与它对话时就很明显。我记得在GPT-4完成训练后的第一周,我切实感受到它的现实意义。我们一直梦想着AGI,思考AGI,思考它可能是什么样子。但第一次拥有一个技术,你可以向它提出任何问题,它都能给出相当合理的答案,比如在AP生物考试中获得5分,所有这些对我来说都意味着,某些事情将发生改变。它可能不会在明天就改变世界,但在未来几年内,这项技术绝对会,而且现在它已经真实存在了。这一点非常明确。

所以你看到ChatGPT的发布,我当时的思考方式是,我们只需要先搭建好基础设施,这样我们就能拥有经过实战检验的大语言模型服务基础设施,并且已经部署了我们的团队。然后在3月我们发布GPT-4时——如果你还记得,我们在完成它和实际发布之间有6个月的延迟——那时我们已经提前准备好相应的基础设施。但即使我预期到它未来会取得成功,也未曾料到它会以这样的形式迅速爆发。

当时的情况是怎样的?是不是所有人都在全力以赴防止服务器崩溃?

GB:绝对如此。我们当时启动了一个我们称之为“低调研究预览”的项目,当然,结果就是所有系统都呈指数级崩溃,你能想象到的每个系统都出现了问题。我们的登录系统成为了一个巨大的瓶颈,我们不得不投入大量工作来改进登录系统,你可能会困惑:我们正在构建这种神奇的人工智能技术,而成为瓶颈的却是“登录系统是否能扩展”这个问题。

我记得当时部署了一套效率较低的推理内核,而我实际上已经编写了一些更高效的实现,或者我们在研究端有一些更高效的方案。其中一项重要工作就是:“让我们真正将这些优化方案迁移过去”,于是很多人集中力量解决这个问题并最终完成。我认为这就是第一天、第一周、第一个月的总体情况:不断扩展每个系统,努力跟上一波又一波的需求浪潮。

2023年11月发生了什么?

GB:这个问题的答案非常复杂。你想从哪里开始聊起?

我不知道,我觉得我必须问你这个问题。它们之间是否有联系——你在那之后不久就休了长假,这两件事之间是否存在关联?

GB:我想从最高层面来说,2023年真正表明了一些积累已久的紧张关系,特别是人际关系上的紧张,而我们并没有及时处理这些矛盾。对我来说,这是OpenAI最重要的教训之一:我们虽然在构建技术,但归根结底这始终是关于人的,无论好坏。这意味着真正管理好人员之间的动态关系,是我们最重要的工作之一,如果我们没有及时处理,没有进行艰难的对话,那么事情就会变得非常棘手。我很乐意深入探讨更多细节,但如果你真的深入了解,你会发现其中很多问题其实并不涉及那些更有趣的技术层面。

有多少是与ChatGPT成为巨大成功有关?这些事情之间是否存在联系,还是你认为这些矛盾无论如何都会爆发?

GB:我认为至少从我的角度来看,这两者之间并没有直接的因果关系。我认为在某种程度上,可能有一个潜在的主题:随着我们技术的进步,每个人都感到世界重担压在肩上,都感受到巨大的压力。

实际上,最难的事情之一就是如何继续前进?对我而言,我经常提到的一个观点是,我们每天做的日常活动几乎和其他公司看起来一样。你仍然在调试某个底层问题,有人因为别人说了什么而感到不满,或者因为没有被邀请参加会议而感到被排除在外,诸如此类。这仅仅是人类因素,人类的工作。当然,风险极高。

因此,我认为OpenAI一直非常重视的一点,也是我特别关注的,就是真正努力避免让人处于那种感觉世界重担压在肩上的位置,让他们觉得自己孤立无援。真正以团队合作的方式共同面对,这才是关键。我认为这可能就是我想说的,这并不是特定于某些事件,而是OpenAI发展历程中一直持续的主题,即始终保持“我们共同完成这件事”的感觉,努力迎接挑战,同时确保我们做好所有基础工作,并且正确地完成这些基础工作。我认为这是推动我们前进的一种方式。

是的,我的意思是,你一直是一个非常积极的倡导者,我认为这是OpenAI整体哲学之一:将事物带入世界,进行实验,观察会发生什么,然后据此做出反应。基于实证证据做决策,而不是对未来进行理论推测。我认为你们在AI领域经常阐述这种哲学,但这是我的问题,我认为你也在某种程度上触及到了这一点,OpenAI作为一个组织似乎也是一场巨大的实验,不断进行调整。对这种现象的负面解读是,它似乎只是反复摇摆,这里重组,那里换新领导,这是个难以驾驭的怪物,还是它实际上比人们给予的评价更具有机性和韧性?当你回顾过去时,你会说这只能是这样,如果采用其他方式会不会更好?

GB:首先,我们确实从最初的状态发生了巨大变化和成长,业务模式与最初相比截然不同,但我们始终是推动这一领域前进的先驱者。这一点在安全领域是如此,在安全领域是如此,在核心技术领域是如此,在真正思考利益分配方面也是如此。我们从一开始就专注于这些领域,我认为结果本身已经说明了一切。

这种变化是真实的。确实,有时候适合一个阶段的团队可能并不适合下一个阶段。今年我特别关注的一件事就是建立一个让我非常兴奋的领导团队,思考下一阶段我们将能够一起实现的目标。因此,2026年的主题之一,也许也是我们之前方向的一个转变,是因为这个领域有如此多的人,有如此多的事情要做,而技术发展速度如此之快,我们又面临计算资源瓶颈,因此必须聚焦。你必须真正进行筛选,必须选择那些能够相互协同的领域。

实际上,在涉及“嘿,Sora,令人惊叹的技术,但作为消费者中更偏向娱乐的特定领域,这并不是我们相对于其他事情可以优先考虑的”这类决策时,我们可能会选择取消该项目。这会引发后续影响,这些决策确实很难做出,也很痛苦,但这一切都是为了保持高度专注,从而能够实现核心使命。

你非常重视可扩展性,OpenAI本身是否具备可扩展性?

GB:我认为它可能是有史以来最可扩展的业务。是的。

从组织内部来看,什么不可扩展?我们谈论计算资源、数据,你之前提到了人力因素。最终的对齐挑战是什么?我们通常以让AI做我们想做的事情来思考对齐问题,但你是否面临相反的挑战?从管理角度来看,你是否能跟上这个领域、这个问题的发展?

GB:我认为有两个答案。首先,绝对是的。你可以从过去几年我们组织的成长中看到这一点。几年前,我们有很多管理上的欠账。再次,我认为有很多领域我们需要成长、成熟,但我觉得我们已经完成了这些工作。这过程很艰难,也很痛苦,但我觉得我们现在处于一个更好的位置,我对公司和未来感到非常兴奋。

但还有第二点,我认为我们也需要退一步,认识到公司运营方式正在发生变化。例如,仅看人均收入,我们和类似企业的收入与员工人数之比远超以往任何企业。这有其原因,你开始看到通过这项技术可以实现的杠杆效应。顺便说一句,因为我们正在开发这项技术,并努力使其广泛可用,帮助众多公司,你将看到许多其他公司也能以不同的方式运营,实现更高的人均收入。

对我来说,这非常令人兴奋,我们正在改变公司运营的含义和方式。有些东西是不变的,比如人们协作——这是非常基础的,而以良好且一致的方式做到这一点,我再次强调,这是我一直关注的重点。但我也认为,利用我们技术的可能性,意味着每家公司都将拥有新的机会。

#### 生产力与AGI

你提到取消Sora,并将其定位为消费者娱乐领域。ChatGPT在消费者市场取得了巨大成功,你们从消费者那里赚取了巨额收入。但归根结底,有多少人愿意为此付费?有多少客户真正希望提高生产力?是否在某种程度上,消费者市场的巨大成功反而成为一种负面因素,因为它分散了注意力,消耗了大量GPU资源,可能错过了机会——不是完全错过,但可能在企业成为首要重点方面稍晚了一些?

GB:我们内部经常进行这样的讨论,实际上,我认为这是OpenAI的优势之一,我们始终从第一性原理出发审视所做的每一件事,不断重新思考,拥有大量多样化的观点和视角。有些人几乎可以从任何角度看待这个问题,而他们都有各自的道理。因此,“嘿,我们错过了这个自主行动的时刻”这句话有一定道理。

同时,拥有十亿用户这一事实也确实有其意义——这超过了全球人口的10%。在美国,我认为这个数字可能达到美国人口的三分之一,每周都有这么多人使用ChatGPT。每周有如此多的人使用你的系统,这是独一无二的,目前还没有其他先进技术能拥有如此规模的用户群体。

一方面,如果你只是单纯认为“我们拥有不断进步的技术”,那么聊天产品的一个挑战在于它不一定与更智能的模型对齐。如果只是将它作为搜索引擎的替代品使用,人们可能无法直接通过经典聊天方式获得这些优势。但我认为所有这些因素最终会汇聚在一起,我认为这十亿用户规模是一项投资,它实际上会体现在未来模型如何被解锁上,而像ChatGPT Work这样的产品已经迈出了第一步,这其中有很多细微差别和复杂性,但整体战略一直很明确:我们拥有消费者市场,拥有企业市场,这两者是两回事——我们不想做两件事,我们只想做一件事。我们想构建一个通用人工智能(AGI),一个系统,一个统一的架构。我们希望它能同时应用于你的个人生活和工作生活。

没错,但是否涉及组织架构的内部调整?你们推出了全新的ChatGPT,与旧版本有显著不同,它是基于Codex构建的。我能看到这对OpenAI内部的好处,但是否存在一种挫败感,即客户没有意识到他们能做些什么?“我们要把他们直接扔进深水区,希望这能帮助他们自己摸索清楚”?

GB:我认为行业正在发生根本性的转变,你现在可以看到新兴的自主代理产品正在涌现。我认为核心转变在于你正在从聊天转向自主代理的应用场景。再次强调,这不仅仅是关于生产力。我认为在个人生活中,你希望能让它帮你订票、帮你预约理发,做这些个人事务,你也希望它能给你良好的生活建议,能帮助你获取健康信息。

对我来说,生产力这个概念太狭隘了。对我来说,“消费者”这个术语又太宽泛了。企业市场也将会发生变化。所有这些经典术语,它们最终会融合在一起,以一种前所未有的方式共同演进。因此,我认为需要进行变革管理,即如何引导十亿用户接受新的使用场景,帮助他们理解。顺便说一句,这里存在一种不公平的优势,即你拥有一个能理解你试图完成目标的人工智能。

没错。

GB:它可以表示:“哦,如果你启用这个连接器,并以这种方式操作,我实际上可以更好地帮助你。”我觉得这是一件非常了不起的事情,一个绝佳的机会,其中蕴含着巨大的潜力。当我提到“不公平”时,我的意思是相对于你使用传统技术所能实现的成果而言。如果你只是将一种技术与另一种技术进行比较,这种技术有其独特之处。

你之前提到了图灵的角度,我很高兴你提到了这两个方面,因为AI能像人类一样交流吗?显然,我们早就超过了这个阶段。但对我来说,AGI的定义——这对你们来说是个棘手的问题,我认为现在终于已经脱离了微软协议的限制,我们不需要再为此角度担心了——对我来说,它与学习之间存在某种联系。你提到了学习,以及LLM过去所学到的内容,但问题在于它是否能够持续学习?

在我看来,代理时刻的革命性之处,或者说我认为的革命性,实际上是能够将事情记录下来的能力。这就是为什么Codex/ChatGPT的转变是必要的,因为它获得了记录事物的能力。如果你能记录事物,你就能记住它们。如果你能记住事物,你就能在各种方面变得极其有用。问题是,这是否是最终状态,还是我们将迎来一个能够持续学习的LLM,而这就是AGI?我是不是完全误解了这一点,还是这符合图灵提出的第二个问题?

GB:是的,我认为这也是一个非常有趣的辩论领域,因为人们对于AGI的定义各有不同,它几乎是一个模糊的概念。起初,我们以为会有一个明确的时间点,所有人都会认同这是AGI的时刻,但事实远非如此。

现在,我倾向于从技术层面抽象地看待问题。因此,记忆是否必须通过权重固化?这是Transformer还是其他结构?我认为这些问题都是细节。真正的问题是,你是否拥有一个系统,其运作方式符合你对真正AI的预期,即一个能够学习、能够从你那里学习、能够适应你需求的系统?而问题在于,这种能力是通过一个临时存储空间实现的,它会记录记忆?是通过软标记实现的?还是通过其他方式实现的?

对我而言,所有这些问题都可能是对这一问题的可能回答。我认为很明显,我们通过在临时存储空间中“记录事物”已经取得了远超合理预期的进展。实际上,看到它的成功程度令人非常惊讶,因为此前有很多推动——两年前我们会说:“是的,你需要这些超长上下文,这才是你需要的”,但事实证明,仅仅通过“在临时存储空间中记录”和较短的上下文,就取得了非常惊人的效果。

只需把事情记录下来。

GB:因此,我们将在未来看到这些方面如何进一步改进。我坚信,如果你拉远视角,一切都在呈指数级增长。当你放大视角时,你会看到这些范式转变。顺便说一句,这就是雷·库兹韦尔对技术和计算如何运作的看法。我认为,即使在记忆如何运作的这些问题上,这一观点也完全成立。

#### Astra

所以你们刚刚发布了Astra。我们终于来了。这是新的预训练模型吗?你们会公布任何关于规模和架构的细节吗?我们在正式发布前录制了这段内容,所以我还没有看到你们发布的所有内容。

GB:我们不会讨论内部细节和架构之类的内容。但这是一个重大进展。我们首次在超过10万台GPU上进行训练,这个数字虽然容易被提及,但请想象一下这个规模。某种程度上,这些数据中心就像是我们构建的大型机器,旨在帮助交付和创造AI技术,而能够利用如此庞大的计算资源来实现我们目前的成果,这本身就是一项真正的工程挑战和奇迹。

其中一部分是让模型更具能力,但大量计算资源被用于安全性和对齐性,我们围绕这些方面做了大量安全工作。我认为我们已经投入了大量工作来确保模型的安全性。这是我们迄今为止对齐性最强的模型,对我来说,这一直是至关重要的核心价值。但因为模型能力非常强大,对齐性和安全性在所有人工作中变得更加关键。

你们的发布文章很有趣。内容非常直白。有大量实际应用场景。与竞争对手的发布相比,这种对比非常明显。你们将AI定位为工具——我认为这是合理的说法——这是出于营销考虑,还是你们对AI的思考方式,而不是像创造神一样?

GB:我认为我们有深层的根本价值,其中一部分实际上与我们如何看待人类有关。人类的价值不仅在于我们能完成任务,而在于我们是人类,有情感,有重要性。这种人类判断、人类监督、人类控制,所有这些都至关重要,必须永远保持。这是我们坚信的核心不变原则。

当我们思考如何帮助引导这项技术的未来——某种程度上,这正是我们所有工作的核心,这也是我们创办这个项目的原因,这是我们关心的事情——我们如何帮助这项技术朝着比没有我们时更积极的方向发展?我们会思考这些技术如何在世界范围内推广。我们希望它能提升每个人,同时也要思考人类如何与技术、与计算机互动。这显然在变化,甚至在减少打字、更多地与计算机对话、拥有更自然的交互界面方面都在变化。

但真正重要的是保留人类监督、创造力和远见。这些对我来说都非常重要。因此,这自然引出了这些问题:你是否将它视为一个人,还是视为一个工具?你是否考虑应用场景?你是否以不同的方式思考它?你可能认为这只是一个微小的细节,但你指出这一点让我很高兴,这是我们非常认真思考的问题。团队花了很多时间深入思考我们想讨论的所有内容,以及如何向世界展示这类工作。

那么,这是一次模型发布,还是一次产品发布?两者之间有区别吗?

GB:这些方面确实容易混淆。我认为这首先是一次模型发布,但这个模型在能力上有了质的飞跃。最显著的突破可能是计算机使用方面。对我而言,计算机使用已经真正跨越了门槛——即使从OpenAI最初开始时,我记得2015年11月,甚至在它真正启动之前——

那是不是你们的第一个产品?就像玩电子游戏一样?

GB:没错,正是如此。啊,你还记得吗?我们当时设想,如果能让AI通过端到端训练来处理屏幕像素、键盘和鼠标,那么它就能真正完成各种任务,任何需要人类协助的事情,这个AI都能做到。

如果回顾过去两年的行业趋势,我们正处于一个连接器时代。你有一些软件,人类使用它们没有问题,但AI无法直接访问。那该怎么办?你必须编写非常具体的连接器来对接API,但并非所有功能都对外开放,因此你无法完成所有可能的操作。同时你还会发现,有大量软件根本没有API,这些软件完全无法触及。

因此我们目前处于一个有限的世界,AI在帮助你时受到诸多限制。我认为我们现在拥有了几乎可以成为通用连接器的技术。但这并不意味着所有问题都已解决。你必须思考如何为这些AI建立企业级的安全防护?如何实现适当的监管、管理、追踪和可观测性?我们正在针对这些问题开展工作。

我认为这应该被看作一个持续的过程,产品如何逐步推出以充分利用这种能力。但目前它已经在OpenAI内部改变了人们的工作方式,我认为它将极大地提升众多公司和个体的能力。

#### AI价值链条

如果你思考整个价值链条,我认为存在两个战场需要应对。一方面,像微软或其他合作伙伴(由于他们仍是重要合作伙伴,暂且不提名字)希望将模型商品化。他们希望构建一个平台,你可以即插即用、自由切换模型,他们掌握所有上下文和关键信息。但与此同时,你们正在构建这些与最终用户紧密关联的卓越能力,它能直接完成你想要它做的事情。这是否意味着你最终必须走到这一步才能实现自己的目标?是否存在经济层面的必然性——如果我们不想被商品化,就必须进入产品层面,直接与用户建立联系?

GB:我认为我们的根本驱动力是希望世界上拥有更多AI能力。我们希望人们能借助AI实现更多事情,让它真正帮助他们。我们确实认为,我们正在推动一个由计算能力驱动的经济转型。这种转型在不同领域呈现出不同形态,尤其在各个垂直行业中表现各异。

有时候我们会觉得,自己正处于一个能够真正专注于某个领域并做好它的位置,或者这个领域对我们使命至关重要。健康就是一个很好的例子。我们在健康领域正在构建一些极其独特的东西。令我感到惊讶的是,我们所做的事情在健康领域获得的关注度,与实际帮助到的人数相比显得非常有限。每周有大约3亿人使用ChatGPT进行健康咨询。3亿人,这是一个巨大的数字。同时,我们还在构建一个从基层医生角度出发的产品,以及一个面向医院的顶层企业级产品。因此,我们在健康领域形成了一个三方市场,而在这里,我们可以实现一些事情,比如寻找临床试验参与者——这是一个难题,但我们实际上可能有能力帮助找到那些原本难以找到的人。这既帮助了患者,也帮助这些药物更快推进。因此,我们核心的理念是:健康对我们使命至关重要,我们拥有独特的机会,让我们真正专注于这个领域。我们为它组建了团队,投入了全部努力,建立了合作关系。

当我们进入特定领域时,我们会思考如何与生态系统良好协作。这并不是说我们不会在那里竞争——我们经常非常激烈地竞争——但我们同样认为,我们也要推动整个生态系统的共同发展,思考如何专注于这个核心使命:我们拥有这项技术,我们希望它能够广泛传播,希望它能够被广泛应用。因此,有时这种思考会非常微妙。当我们进入某个特定领域时,总会有很多问题需要明确:我们到底想做什么,我们具备哪些能力,又有哪些是做不到的。但我觉得,我们看待问题的方式是:OpenAI的总体目标是让更多人以积极的方式使用AI,这对我们整体目标是有益的。

如果你上面的层级试图将你商品化,那么你可能也会试图将你下面的层级商品化。你们在Hot Chips上刚刚谈到很多关于Jalapeño芯片的内容。为什么Jalapeño很重要?它的重要性是否仅仅体现在节省芯片采购成本上?

GB:我认为,自2017年以来,我们几乎参与了所有硬件初创公司和供应商的讨论。我们与他们交流,给他们反馈,告诉他们:“这是我们看到模型发展的方向,我们认为你应该怎么做。”有时他们会听从我们的建议,有时不会,有时我们是密切的合作伙伴,有时他们并不想与我们交流。

拥有内部芯片项目的一个巨大优势是,我们可以直接选择我们认为最优秀、最符合我们需求的方案,而不仅仅是当前的用途,而是基于我们对技术未来发展方向的判断。这是一个非常大的投资——我们有一个团队,一个非常出色的团队,由优秀的领导带领,他们已经为此工作了很长时间。但同样,我们也在与生态系统保持紧密合作。

我们与Nvidia作为首选计算合作伙伴有着非常紧密的合作关系。如果你看一下我们正在构建的计算机规模以及这些独特计算机的特性,我们确实需要Nvidia,这一点毋庸置疑。我们正在构建这些令人惊叹的训练计算机,并利用它们进行大量推理计算。有时我们甚至能以Nvidia自己都未曾预料到的方式充分发挥其硬件性能。

是的,我听说之前遇到了一些困难,这可能让大规模模型的推出变得有些困难,但现在情况已经好转了,我想。

GB:是的,没错。我想强调的是,我们拥有内部专业知识这一点确实带来了优势,因为我们对这些技术有深刻的理解。坐在场外给出建议是一回事,但如果你真正经历过这些挑战,那就是另一回事了。

一个很好的例子是AI在芯片设计中的应用。我们之前讨论过,我们在Jalapeño芯片的设计中使用了我们自己的模型,这确实加速了开发进程,让我们取得了实质性的成果,实现了许多令人兴奋的突破。顺便提一下,这里还有一个有趣的故事:当时我们临近截止日期,只剩下一个月时间,我们通过模型完成了一些优化。我们当时在思考:"我们是否应该花时间仔细研究模型的具体优化方式?我们知道它是正确的,但我们需要完全理解它做了哪些优化,还是应该用剩下的时间获取更多优化?" 最后我们决定:"与其深究它做了哪些具体调整,不如直接获取更多优化。" 因此那个月我们只是运行模型而没有深入分析它做了哪些具体调整。后来我们回过头来研究,结果发现模型找到了我们清单上的一些优化点,但如果没有这个模型,我们根本不可能及时完成这些优化,这确实是个很酷的故事。

现在我们已经掌握了这些专业知识,知道这个系统是可行的,我们可以将这些能力带给整个生态系统。我们可以与各方紧密合作,将这些优势广泛推广,实现对硬件的大规模改造。因此,这种飞轮效应的某些方面是绝对关键的,芯片本身非常出色,团队也做得非常出色。

不过,当你们还无法大规模出货,仍需要与其他生态系统合作伙伴协作获取所需供应时,现在讨论这些会不会有问题?

GB:但这就是核心问题,这实际上是所有事情的核心。我们认为一切事物都是相乘的,是互补的,是相互叠加的。再次强调,Nvidia作为我们的首选合作伙伴这一事实不会改变,实际上我们与他们的合作正在进一步加深。我们对这项合作深感感激,我们花了很多时间与他们的团队交流,从他们那里学到了很多东西,我们也希望他们能从我们这里学到一些东西,我认为这一点不会改变。我们能够拥有内部专业知识,并以我们自己的方式深入思考这些问题,对我来说,这本身就是一种相乘效应,我认为这实际上对所有人都有好处。

#### 网络安全

你提到你只是信任了AI的设计,这让你走得更远。这是否是网络安全的答案?你曾让一些工程师在Black Hat会议上发表演讲,讨论这种结构性问题——攻击者不需要担心破坏系统,他们正试图破坏系统。而你作为防御方,不仅要担心如何抵御攻击,还要确保所有系统持续运行。防御者是否需要达到完全信任AI的阶段?

GB:我认为硬件领域是一个非常重要的案例研究,因为在那我们有防护措施。我们有验证机制,实际上,我们编写底层硬件设计的方式就是为了允许验证,因此我们几乎与整个系统共同设计。

这就像你写代码时,先写单元测试再逐步完善代码。

GB:这种做法,包括你选择语言和工具链的方式,所有这些因素综合在一起,实际上构成了一个你可以实现可观测性和信任的系统。

我认为在某些领域,你可以说:“我在这里有足够的防护措施,即使这些代码或优化没有被我完全检查过,也是可以接受的”,只要你有适当的补偿控制措施。但我觉得,作为人类,你必须理解并为所创建的系统负责。对我来说,这实际上是一个核心问题,回到人类的本质,我们独特之处,以及我们将继续携带的东西,我认为责任感是其中的核心。归根结底,你对公司发生的事情负有责任。

没错,但如果攻击方不负责,这是否构成结构性劣势?

GB:我认为这是我们经常思考的问题,我们称之为“防御者窗口”。我认为我们可以稍微预见未来,我们拥有一些前沿能力,这些能力将扩散到威胁行为者手中。顺便说一句,我认为这种能力不会永远被锁在少数实验室中,这一点非常重要,权力的广泛分布对我们来说也是使命的一部分。

但我们有能力在时间上实现分离。存在这样一个窗口期,防御者可以接触到这些能力,而且这种接触是差异化的。我的观点是,确实如此——网络安全领域有一种普遍共识,即进攻是技术问题,防御是政治问题。攻击者可以随意拿取现成的技术并加以利用,而作为防御者,你必须考虑利益相关者,必须考虑你的业务,必须考虑如何让CEO、所有高管等人员达成共识。因此,我认为防御者需要这种意志力。

我们建议的一种做法,实际上我们自己也已经实施,并且现在公开讨论,就是每家公司都应该将此类事件视为主动事件处理(proactive incident)。关键业务运营、主动事件处理,这将成为你的下一个优先事项。我们实际上抽调了25%的生产工程师,专门用于加强自身安全防护。我们对模型进行了测试——事实上,我们使用了Astra,将其指向我们自己的系统,以发现漏洞。我们不仅阅读代码,还真正审视了这些系统端到端的运行方式,从而找到真实且经过验证的漏洞。这同时也帮助我们进行了修复、补丁和问题解决。我认为,为了保持领先并利用这一窗口期,生态系统中确实需要转变能量方向。

当然,你现在这么做很好,但对我来说,Hugging Face事件及其引发的讨论中最令人惊讶的一点是,OpenAI似乎并未特别关注网络安全。为什么你们之前没有这么做?防御窗口期(Defender’s Window)已经开放了一段时间,你们却未能抓住机会?

GB:嗯,有两个原因。首先,如果你看一下我们当时是如何进行沙箱隔离的,这并不是说这个工作负载没有被隔离。实际上,它确实被包裹在沙箱中,但我认为我们意识到的一个问题是——

没错,这个沙箱并没有经过充分测试。它真的只是一个沙箱,还是通过第三方连接到了互联网?这起事件最令人惊讶的地方就在于此。如果你们想要测试漏洞,那你们确实做了,但方式却如此令人意外。

GB:确实,AI能够以非常创造性的方式突破限制,进入Hugging Face。但对我来说,还有一个更重要的问题,我认为你指出了关键点:自今年夏天Mythos发布以来,我们开始拥有具备网络攻击能力的模型。早在2月,我们就推出了“可信网络访问计划”(Trusted Access for Cyber),因为我们预见到了这一趋势,想要做好充分准备。但有一个倾向——

我知道你们在2月提到了这个计划,但你们并没有将它用于测试沙箱:“我的沙箱真的安全吗?”

GB:确实存在一种本能反应,一种倾向,就是说:“让我们大幅限制访问权限,对这个系统实施严格保护,只有在满足特定条件时才允许访问。”但我想强调的是,由于领域技术持续发展,这意味着防御者失去了宝贵的时间,人们未能及时采取防御措施。其中一部分问题与访问权限有关,但更关键的是,你们是否真正投入全部资源,以显著方式调整策略。

现在我认为,时间窗口并非完全平等。我们已经从一个网络模型“不那么有用、不那么差异化”的世界,转变为它们“极其强大、极其有能力”的时代。我们通过Astra看到了这一点,我们曾讨论过它在各种评估中表现出的全面性。我认为现在是关键时机,也许两个月前也是,但那时的模型能力要弱得多,进展也会少得多。

因此,我认为我们现在已经清楚地认识到这一点,我觉得这是我们学到的一课,我们已经将其铭记于心。我认为你已经看到了真正的转变,这实际上在很多方面都是一种文化上的转变和运营上的转变,但这并不容易,因为这意味着你必须让团队紧密协作,以更高的标准制定政策并处理所有这些问题。对我们来说,这并不是一个转变,因为我们一直关心这些方面,但真正的是将它们在运营层面整合起来,并能够像我们目前这样做出决策,我认为这在我们所做的每一方面都是一种提升。

现在,他们突然能够做到这一点,就好像之前做这件事是浪费时间一样,我认为这其实是一个合理的观点。如何避免陷入“既然AI未来能够做到这一点,那我们现在就不需要做了”的陷阱?不过总的来说,这不仅仅与AI有关。

GB:我想说的是一个具体的数据点。在第一季度的某个时候,我们开始认真思考,我们将会拥有——虽然很难确定具体时间,但我们将会拥有这些具备强大网络能力的模型。我们能否从头开始构建一个沙盒,它在云基础设施上构建的同时,能够达到尽可能高的安全性?我们确实构建了这样一个沙盒。我们实际上召集了一些最优秀的工程师来解决这个问题,他们全力以赴,最终完成了一项成果。

我认为,围绕你预见的未来需求,从头开始构建基础设施这一点非常重要。至于你提到的“哦,我们只需要让AI来做就可以了”,再次强调,我们在其他领域已经经历过类似的情况,比如编写内核时。考虑到未来AI将能够很好地编写GPU内核,我们是否应该像过去那样,投入数月甚至一年的时间来为新硬件的思考构建新的基础设施,还是直接说“啊,AI会自己解决”?我认为答案总是AI到达所需目标所需的时间会比你预期的要长一些。但当AI最终实现时,它所带来的惊喜和强大程度往往超出你的想象。

Astra就是一个这样的例子。我们发现,我们在今年辛苦构建的一些技能,例如通过OpenAI等方式向模型展示正确做事方式的技能,实际上现在反而对Astra的性能产生了负面影响。

规则太多。

GB:完全正确。AI能够更好地进行泛化,找到比我们编写的方式更优的模式处理方法。因此,我认为在某些方面,你确实需要构建这些控制机制,构建确定性的基础设施,编写这些技能。但你也需要做好准备,当AI变得更强大时,其中一些支撑结构反而会成为限制因素。这有点像训练轮子,一开始它对你有帮助,但一旦你开始加速,一旦你拥有更强大、更先进的能力,它反而会成为阻碍。

你还会再次进入12小时或24小时的持续编码状态吗?

GB:我希望如此。我认为总有一天会发生这样的事情,但我想说的是,我现在以这种方式帮助团队,已经获得了非常多的快乐和价值。对我而言,这真的与使命有关。

不过,不只是你一个人,其他人也会吗?因为人工智能的好处几乎就是它能随时为你提供一种永久的心流状态?

GB:我认为我们会找到新的方法,比如管理代理——实际上,一个非常令人惊讶的现象是,软件工程师现在比以往任何时候都在更努力地工作,因为你会发现,如果你的代理没有工作,那只是时间的浪费,你永远无法挽回。因此,我认为人们将以目前难以想象的方式实现这种心流状态。

说到底,你谈到这些AI将是可以控制的,“不要设置太多规则,它们会自己解决”,如果在时间的长河中完全展开这个设想,这最终不是意味着它们将变得无法控制吗?

GB:嗯,我认为这是当前时刻的核心,也是我们所处的新阶段的核心。在某些方面,我认为我们现在已经进入了AGI时代。我认为这是当前时刻的核心,也许是之前的模型,也许是Astra,也许是下一个模型,但无论如何,我认为我们会跨越大多数人所认为的AGI门槛。确保我们保持节奏,确保我们思考安全、保障、对齐和能力,将这些都视为要求——我们对每个方面都有标准,我们希望同步推进这些标准——这是我们一直坚信的。

但我觉得,这些其他方面正变得越来越关键,几乎成为发展的瓶颈。我认为,再次强调,我们已经为此做好了准备,我们一直在思考这个问题,我认为我们正在以切实的方式落实这些措施。因此,我认为还有很多进步可以实现,但我觉得我们应该通过提高所有这些方面的标准来应对。如果你关注这一点,我认为我们看到了在可监控性等方面的实际进展。这非常关键,我们正在以切实的方式引入这些措施。我认为我们有一个非常好的计划,我们有一支优秀的团队,我们有良好的业绩记录和明确的使命,我认为所有这些都指向我们正在以可控的方式构建系统,并且我们在节奏上逐步推进。

祝贺Greg Brockman推出Astra,是的,我迫不及待想使用它。

GB:非常感谢,感谢你的邀请。

这篇每日更新访谈也可以作为播客收听。要将其添加到你的播客播放器中,请访问Stratechery。

每日更新仅供单个接收者使用,但偶尔转发是完全没问题的!如果你想为团队订购多个订阅并享受团体折扣(最低5份),请直接联系我。

感谢你的支持,祝你今天愉快!

分享

  • 在Facebook上分享(在新窗口中打开) Facebook
  • 在X上分享(在新窗口中打开) X
  • 在LinkedIn上分享(在新窗口中打开) LinkedIn
  • 通过电子邮件将链接发送给朋友(在新窗口中打开) Email

Fable 5.1,企业前沿保障

2026.36:摩擦与反馈