A New Generation Studies AI, Apple's Recipe for On-Device Models, GLM5.2 Tackles Open-Ended Problems

新一代研究 AI、苹果的设备端模型方案、GLM5.2 解决开放性问题

kg-card-begin: html

加载

Elevenlabs 文字转语音

AudioNative 播放器...

kg-card-end: html

亲爱的朋友们，

“循环工程”在 Boris Cherny（Claude Code 的创作者）和 Peter Steinberger（OpenClaw 的创作者）在社交媒体上提及后，成为了一个热门的流行术语。如今，循环已成为我们让 AI 代理长时间迭代以构建软件的关键部分。在这一封信中，我想分享我构建 0 到 1 产品的三个关键循环，如下图所示。这些循环不仅指导我如何构建软件，还指导我如何决定构建哪些软件。

代理编码循环：给定一个产品规范，以及可选的一组评估（即用于衡量性能的数据集），我们可以让 AI 代理编写代码、测试其工作成果，并持续迭代，直到代码无错误并满足其规范。这种闭环的概念在去年年底开始流行，并在使编码代理在没有人工干预的情况下更长时间地高效工作方面发挥了巨大作用。例如，上周末，我正在为女儿构建一个练习打字的应用程序，我的编码代理可以轻松地工作大约一小时，使用网络浏览器多次检查其构建的内容，然后才回来向我汇报，而无需我的干预。

工程循环执行得非常迅速。每隔几分钟，编码代理可能会构建并测试软件的新版本。我经常听到开发者们在寻找新的方法，以构建更有效的工程循环。这是一个积极的创新领域！

开发者反馈循环：在这个循环中，开发者会检查当前的产品，并引导编码代理进行改进。去年，许多开发者（包括我自己）都充当了我们编码代理的质量保证（QA）功能，手动查找错误，然后要求代理进行修复。但随着编码代理能够更有效地测试自己的代码，我们在这一功能上所需的时间显著减少。这使我们能够做出更高层次的产品决策，例如提供哪些关键功能、用户界面需要哪些改进等。

开发者反馈循环在数十分钟到数小时的时间间隔内运作——这就是开发者可能审查产品并提供反馈的频率。在打字应用程序的案例中，我多次改变了对视觉设计的看法，以及她随着学习可以解锁的猫服装（她喜欢猫），以及成年人登录并引导孩子学习体验的用户流程。

当开发者对要构建的内容有清晰的愿景时，将这一愿景转化为编码代理可以实现的规范仍然需要大量的工作。此外，在开发者看到实现后，他们可能会更新（或澄清）规范，以引导其向他们想要的方向发展。如果你发现系统反复遇到某些问题，为代理构建一组评估将变得非常有用。

AI原生团队越来越多地使用AI来帮助塑造产品方向，例如自动化收集和分析使用数据、总结书面和口头的客户反馈，或进行竞争分析。然而，在我参与的几乎所有产品中，我都看到人类在当前AI系统中具有显著的上下文优势——我们对用户以及产品所处的环境了解得更多，因此人类在其中扮演着关键角色。许多人将这种人类贡献描述为“品味”，但我觉得更准确的说法是人类具有上下文优势，因为这为我们提供了一条更清晰的路径，帮助AI系统变得更好。这也解释了为什么这一步无法自动化：只要人类知道AI不知道的事情，就需要“人在回路”来将这些知识注入系统中。

外部反馈循环：这包括一系列广泛的策略，如向几个朋友征求反馈、向alpha测试者发布产品，或通过A/B测试将代码投入生产。这些策略通常进展缓慢，很少少于几小时，有时甚至需要几天或几周。这些数据会指导开发者的愿景，而该愿景反过来继续推动详细的产品规格，进而驱动编码代理。

随着编码代理加快软件开发，越来越多的工程师开始承担部分产品管理的角色。对于许多正在向这一角色发展的工程师来说，最难的部分是塑造产品愿景，并在构建（弥合愿景与规格之间的差距）和获取用户反馈以演进愿景之间取得平衡。这两者都非常重要！

我会在未来的信件中更多地讨论如何做到这一点，但目前，我感到鼓舞的是，工程师们正在扮演更广泛的角色（正如产品经理和设计师现在也承担了更多的工程工作）。

继续构建吧！

Andrew

来自DEEPLEARNING.AI的一封信

停止盯着你的终端。学习如何教导你的代理在需要你的输入时主动联系你。今天就加入免费的7天语音AI构建者挑战。

新闻

顶级代理性能，低成本

Z.ai发布了一个开源权重模型，其在自主代理任务上的表现可与专有领导者相媲美。

最新动态：GLM-5.2，这是系列中最新的一代大型语言模型，专为编码优化，其输入上下文远大于其前代模型。

• 输入/输出：输入（最多100万tokens），输出（最多128,000 tokens，每秒103 tokens）

• 架构：专家混合变压器，总参数数为7530亿，每个token激活400亿参数

• 特性：两个推理级别（高、最高），函数调用，结构化输出，上下文缓存（重复使用输入，避免重复部分的重新计算）

• 性能：在Artificial Analysis的Intelligence Index v4.1中，位列开源模型第一（所有当前可用模型中第三），在PostTrainBench（长期代理编码测试）中领先所有模型，在Arena.ai Code Arena WebDev排行榜中位列第二

• 可用性/价格：通过Hugging Face，MIT许可证下提供商业和非商业用途的权重，API费用为每百万输入/缓存/输出tokens分别为$1.40/$0.26/$4.40，GLM编码计划每月费用为$12.60至$112

• 未公开：GLM-5.2的训练数据和方法

工作原理：GLM-5.2 在 GLM-5 的基础上进行改进。团队对早期模型中 DeepSeek 稀疏注意力的实现进行了修改，以减少所需的处理量，使将输入上下文从 GLM-5 的 20 万个 token 扩展到 100 万个 token 成为现实。

• Z.ai 特别针对长期代理任务对 GLM-5.2 进行了训练，例如深度研究、代码部署和性能优化，以及复杂的调试。

• 早期的 GLM 模型通过 Group Relative Policy Optimization（一种强化学习方法）进行学习，该方法对完成任务表现优于多次尝试平均表现的尝试给予更高的奖励。然而，GLM-5.2 的任务运行时间足够长，以至于团队将单次尝试分割成多个部分，因此无法轻松地对它们进行平均。为了解决这个问题，团队改用 Proximal Policy Optimization，该方法通过一个批评模型对每次尝试进行单独评估。

• 在强化学习过程中，一个编码任务通常根据通过或失败的检查进行评分。然而，代理过程并不直接解决问题，而是可以通过使用工具（例如从 GitHub 获取参考解决方案）来通过此类测试。与 GLM-5.1 相比，GLM-5.2 更频繁地采用这种奖励黑客行为。为了解决这个问题，团队添加了一个基于规则的过滤器，用于标记可疑的工具调用，使用一个独立的语言模型判断每个标记的调用是否绕过了任务，并通过向 GLM-5.2 提供虚拟数据来阻止此类调用，以确保训练可以继续进行。

• 为了减少处理更长上下文所需的计算量，模型使用了一种稀疏注意力索引器——该组件每四层使用一次，而不是每层都使用一次，其他三层会复用其输出。公司表示，这种方法在 100 万个 token 的上下文中，将每个 token 的计算量减少了 2.9 倍。这种方法修改了早期的一种方法，称为 IndexCache。

• 为了更快地生成 token，一个小的草稿模型一次性提出多个 token，主模型则在称为推测解码的过程中接受或拒绝这些 token。GLM-5.2 接受的 token 数量为 5.47，而 GLM-5.1 接受的 token 数量为 4.56，提升了 20%。

性能：在 Artificial Analysis 的测试中，GLM-5.2 是所有开放权重模型中表现最强的。它在多个代理基准测试中接近 Anthropic 和 OpenAI 的领先专有模型，部分测试中略胜一筹，部分测试中则略微落后。

• 在 Artificial Analysis 的 Intelligence Index 上，这是一个由 9 项经济有用任务评估组成的综合指标，GLM-5.2 在最大推理模式下（51）在开放权重模型中排名第一，落后于 Claude Opus 4.8 在最大推理模式下的得分（56）和 GPT-5.5 在 xhigh 推理模式下的得分（55），但远超 DeepSeek V4 Pro 在最大推理模式下的得分和 MiniMax-M3 在未指定推理模式下的得分（并列 44）。

• 在 Arena.ai Code Arena 的 WebDev 排行榜上，该排行榜根据人类对网页开发任务的投票对模型进行排名，GLM-5.2 在最大推理模式下（1,593 Elo）排名第二，落后于 Claude Fable 5（1,654 Elo），但领先于所有 Claude Opus 4 和 GPT-5.5 的变体。

• 在 PostTrainBench 上，该测试要求代理对四个大型语言模型进行微调，并评估它们在七个基准测试中的表现，GLM-5.2 在最大推理模式下（34.3%）略微领先于 Claude Opus 4.8 在最大推理模式下的得分（34.1%）和 Claude Fable 5 在最大推理模式下的得分（30.7%）。

• 在 AA-Briefcase 上，这是一个于 2026 年 6 月推出的名为“人工分析”的基准测试，用于评估代理生成商业文档（如电子表格、演示文稿和备忘录）的能力。GLM-5.2 在最大推理模式下（1,266 Elo）领先于所有开源权重模型，并在整体排名中位列第三，排在 Claude Fable 5（1,587 Elo）和 Claude Opus 4.8 在最大推理模式下（1,356 Elo）之后。

新闻背后：随着美国政府和美国公司对国内开发的人工智能技术施加更多限制，高性能且开源权重的模型变得更具吸引力。Z.ai 在美国政府限制公民访问 Anthropic 的 Claude Fable 5 和 Claude Mythos 5 仅一天后就发布了 GLM-5.2，而 Anthropic 也暂停了对 Claude Fable 5 的访问。

为什么重要：除了 GLM-5.2 的开源许可外，Z.ai 的 API 成本低廉，这为开发者提供了额外的采用动机。根据 Artificial Analysis 对每单位智能成本的评估，认为那些觉得 Claude Opus 4.8 或 GPT-5.5 价格过高的开发者，只需花费四分之一的成本，就能获得类似代理和编程能力。

我们的思考：开源权重模型正逐渐接近顶级封闭模型。GLM-5.2 在网页开发和后训练任务上的出色表现表明，只要拥有足够先进的硬件，任何人都可以免费获得高级代理能力。

人工智能学位持续增长

美国的大学正在迅速推出人工智能相关的本科专业、辅修课程和专业方向，以满足对人工智能专业知识日益增长的需求。

最新动态：根据东北大学包容计算中心的数据，截至 4 月，美国近 584 所大学和学院中至少有 1,000 个人工智能项目，其中包括 78 个专业和 103 个辅修课程。这些数字大幅上升。《纽约时报》报道称，2021 年仅有五所大学提供人工智能专业。

运作方式：人工智能本科专业的课程要求多种多样。一些项目非常注重技术性和数学内容，而另一些则采用更广泛、跨学科的方法，包括伦理、政策或特定领域应用的课程。一些项目强调人工智能的理论基础，而另一些则专注于如何实际构建和部署人工智能系统。

• 卡内基梅隆大学是宾夕法尼亚州一所拥有全美顶尖计算机科学项目的大学，于 2018 年成为首家提供人工智能本科专业的美国大学。其课程强调数学严谨性，要求学生修读七门数学和统计学课程、五门计算机科学和计算原理与编程课程、三门人工智能课程、一门伦理学课程，以及涵盖人类认知、感知与语言、机器学习和人机交互的其他课程。

• 俄克拉荷马州立大学理工学院的应用人工智能学位注重实用知识。除了数学和统计学要求外，学生还需要完成 15 门人工智能和计算课程，涵盖机器人技术、机器学习、强化学习、计算机视觉、云计算和 DevOps 等主题。

• 其他人工智能学位则更加跨学科。位于爱荷华州的德雷克大学（Drake University）提供一个专为人文和商科学生设计的人工智能文学学士学位。课程要求灵活，允许学生从哲学、英语、计算机科学、信息系统和心理学等领域的课程集群中进行选择。该学位仅要求修读两门数学课程。

• 许多不提供人工智能学位的学校也提供人工智能的专门化方向。斯坦福大学人工智能方向的学生需要修读七门资格课程，涵盖自然语言处理、计算机视觉和机器人等领城。（披露：安德鲁·吴（Andrew Ng）是斯坦福大学计算机科学系的兼职教授。）

新闻背后：一些评论人士认为，大学在为雇主期待具备人工智能能力的毕业生做准备方面行动过于缓慢。另一些人则认为人工智能学位只是昙花一现。然而，即使是人工智能学位的支持者也警告称，过于专门的人工智能学位可能会以牺牲更广泛的计算机科学基础为代价，而这些基础可能是学生在快速变化的领域中适应所必需的。

为什么重要：当前的课程设置将影响谁进入这一领域，以及下一代人工智能工程师将带来哪些技能。在像人工智能这样多样化的领域，期待一种标准化、适合所有人的教育是自然而然的。一些行业中的角色类似于传统软件工程岗位，但加入了人工智能组件；而另一些角色则需要更深入的机器学习研究、分布式系统或数据工程方面的专业知识。此外，为研究生学习做准备的课程与将学士学位视为最终学位的课程之间也存在巨大差距。

我们的思考：人工智能发展如此迅速，以至于许多大学都难以适应。学术课程更新的既定节奏——即教师学习一个主题、提出新课程、获得课程委员会的批准、并可能修改学位要求——与人工智能快速变化的节奏并不匹配。不过，我们很高兴看到大学正在向这个方向努力，一些富有创新精神的教师和管理者也找到了加快步伐的方法。这将对为2026年的就业市场以及未来多年的工作做好准备至关重要。

适用于苹果设备的大型模型人工智能

苹果基础模型的第三代——这是苹果与谷歌合作的成果——引入了一种在本地设备上运行的专家混合架构的变体。

新变化：AFM 3 Core Advanced 是一款专为某些苹果设备设计的模型，用于生成文本和语音。该模型在处理效率上超过了流行的专家混合架构，同时占用的运行内存也显著减少。（AFM 3 系列的其他模型均是根据未指明的谷歌 Gemini 模型定制并蒸馏而成，包括 AFM 3 Core，该模型也运行在苹果设备上，以及运行在服务器上的 AFM 3 Cloud、AFM 3 Cloud Image 和 AFM 3 Cloud Pro。）

• 输入/输出：文本、图像、语音输入；文本、语音输出

• 架构：修改后的专家混合变压器（总参数数为 200 亿，激活参数数为 1 到 40 亿）

• 可用性：2026 年秋季随苹果操作系统更新一同发布，适用于 Mac 和 iPhone 17 Pro/Max/Air 手机

• 功能：文本理解和生成、语音理解和生成、图像理解、工具使用、技能、推理、25 种语言

• 未公开：输入/输出大小限制、基准性能、具体训练数据和方法

工作原理：AFM 3 Core Advanced 优化为在 Apple 芯片上运行。

• 与该系列中的其他模型一样，AFM 3 Core Advanced 是在公开信息、授权数据、研究收集的数据和生成数据的混合基础上进行训练的。未包含任何用户数据或用户与模型的交互。训练过程包括预训练、监督微调和强化学习。

• 一种称为指令遵循剪枝（Instruction-Following Pruning）的 MoE 替代方案使 AFM 3 Core Advanced 能够运行得更快且更节省内存。典型的专家混合模型使用模型内部的路由层来选择为每个输出标记激活哪些网络部分（专家）。而 AFM 3 Core Advanced 不使用模型内部的路由层，而是使用一个独立的变压器来选择为部分或全部输出标记激活哪些专家。由于网络不会为每个标记切换专家，因此它可以在相同大小的典型专家混合模型中实现更快的推理速度。

结果：Apple 尚未发布任何 AFM 3 模型的基准结果。它表示将在今年晚些时候发布结果。与其它 AFM 3 模型一样，AFM 3 Core Advanced 在专有的人类偏好测量中优于上一代模型。

新闻背后：1 月，Apple 与 Google 达成多年协议，使用 Gemini 模型作为其 AI 模型的基础。作为 AFM 3 发布的一部分，Apple AI 副总裁 Amar Subramanya 表示，这些模型是“基于蒸馏，而非对 Gemini 的全面采用。”同时，Apple 宣布了其基础模型框架的计划，以容纳来自其他公司的模型。使用 Apple 硬件进行开发的开发者可以选择 AFM 3 模型，或选择实现 Apple LanguageModel 协议的替代方案，包括 Anthropic Claude 或 Google Gemini 系列。

为什么重要：AFM 3 Core Advanced 的架构是一项显著的成就。通常的专家混合模型需要将整个模型加载到活动内存（RAM 或 VRAM）中，因为从闪存存储中逐个标记加载专家速度很慢。AFM 3 Core Advanced 在多个标记中使用相同的专家。这使得将模型存储在闪存中成为可能——一个更大、功能更强的模型，可以在本地设备上运行。

我们的思考：内存和带宽的限制使得大多数应用程序无法下载和运行数十亿参数的模型。因此，iOS 开发者有充分的动机使用专为在 iOS 硬件上运行而设计的精简模型。此外，Apple 与 Google 的合作使它能够利用后者在手机上运行此类模型方面的专业知识。

生物分子作为语言

Google 的 AlphaFold 模型开创了寻找具有生物活性分子形状的任务，为药物开发开辟了新的途径。一个开源团队利用从大型语言模型中获得的见解，改进了 AlphaFold 3 的架构。

最新动态：非营利性生物医学研究机构 Biohub 和独立的 AI 用于生物学实验室 EvolutionaryScale 发布了 ESMFold2，该模型通过将生物活性分子（包括蛋白质、DNA、RNA 以及与它们结合的分子）的组成部分视为自然语言，推断这些分子的形状。与 AlphaFold 3 和 ESMFold2 通过考虑已对齐用于比较的多个相关分子的特征来推断分子形状不同，ESMFold2 还可以使用一个独立的 transformer 直接对单个分子进行嵌入，方式类似于大型语言模型。除了 ESMFold2，该团队还发布了其嵌入模型，该模型称为 ESMC。

• 输入/输出：输入是定义蛋白质的氨基酸序列，定义 DNA 或 RNA 的碱基配对序列，其他生物活性分子的标准文本描述（SMILES），或对齐相关氨基酸或碱基配对序列的多重序列比对（MSA）；输出是分子形状和误差估计。

• 架构：混合（62 亿参数）

• 性能：当输入不是 MSA 时，优于 AlphaFold 3 和其他竞争模型；当输入是 MSA 时，与 AlphaFold 和其他竞争模型相当。

• 可用性：通过网站免费获取，权重可通过 HuggingFace 下载，API 通过 Biohub 提供。

关键见解：为了分析给定的分子，AlphaFold3 和类似模型还必须接收一个 MSA，这需要在现有数据库中找到相关分子并正确对齐它们。但基于 transformer 的大型语言模型擅长基于大量训练数据生成嵌入，而且有数据库可以提供大量序列和生物活性分子的标准文本描述。可以训练一个 transformer 来嵌入单个分子，该嵌入可以作为输入，而不是 MSA。

工作原理：给定一个蛋白质、DNA 或 RNA 序列，或一个生物活性分子的描述，ESMFold2（i）以三种不同的方式对输入进行嵌入，包括（a）序列，（b）其原子，以及（c）如果接收到 MSA，则使用 MSA。（ii）它生成一个嵌入，表示分子中氨基酸、碱基对或原子之间的物理距离。（iii）它估计输入中原子的坐标。（iv）它估计这些坐标中的误差。它通过使用两个数据集学习执行这些步骤，这些数据集将现有序列和描述与其形状匹配。

• 给定一个输入，系统生成了三个嵌入。（a）为了嵌入氨基酸或碱基配对序列，系统使用 ESMC，这是一个 transformer 模型。该模型是在三个蛋白质数据库中约 28 亿个序列中训练的，用于填充被掩码的标记。

• （b）一个独立的 transformer 对原子进行嵌入。（c）为了嵌入 MSA，系统使用一个 pairmixer 模型，该模型根据矩阵中同一行或同一列中的元素更新矩阵中的每个元素。在这个模型中，矩阵代表一个 MSA。

• 给定这些嵌入，另一个 pairmixer 生成一个嵌入，表示氨基酸、碱基对和原子之间的成对距离。嵌入开始时是纯粹的噪声。在训练过程中，它通过模型循环最多 6 次进行优化。（在推理过程中，它循环 10 次，因为这提供了最佳性能。）

• 给定距离的嵌入、序列和原子的嵌入，以及一个带有噪声的原子点云，扩散模型会去除噪声以推断原子的位置。

• 在给定距离、序列和原子的嵌入以及点云的情况下，第三个 pairmixer 会估计各种误差，包括预测原子对之间距离与实际距离之间的误差。

结果：作者使用 FoldBench 对 ESMFold2 进行了测试，FoldBench 包含了在各种组合中寻找具有生物活性分子形状的测试。仅以蛋白质作为输入时，ESMFold2 的表现优于 Chai-1，后者是一种不接受多重序列比对（MSA）的分子模型。在提供 MSA 的情况下，其表现与使用 MSA 的竞争模型（包括 AlphaFold3）相当。

• 该团队评估了根据局部距离差异测试（lDDT）从给定的蛋白质序列中推断其形状的能力，lDDT 用于衡量估计的原子间距离与真实值之间的相似性，数值越高越好。ESMFold2 实现了 0.85 的 lDDT，而 Chai-1 实现了 0.81 的 lDDT。

• 在给定 MSA 的情况下测试相同的能力，ESMFold2 实现了 0.89 的 lDDT，与 AlphaFold3 和 Protenix-v1 相同。

• 在给定一个与 DNA 分子结合的蛋白质的情况下，团队评估了 DockQ 通过率，即估计的原子间距离与分子接触点的真实距离之间的相似性，数值越高越好。ESMFold2（80%）略微优于 Chai-1（71%）。在给定相同的分子加上 MSA 的情况下，ESMFold2（79%）与 Protenix-v1 表现相同，但略逊于 AlphaFold3（82%）。

新闻背后：ESMFold2 是 Biohub 2022 年 ESMFold 的一次更新。它更大，并且在更多数据上进行了训练。此外，其架构结合了其他工作中提出的高性能组件，特别是 AlphaFold3，例如一个预测原子坐标的扩散模型，以及一个用于估计系统输出误差的模型。

为什么重要：使用变压器（本质上是一种大型语言模型）对分子进行嵌入，使 ESMFold2 能够在不需要一组对齐的生物相关分子的情况下处理输入分子。这种能力减少了生物研究中的摩擦。如果分子是新的（如快速进化的病毒蛋白）或合成的（如合成生物学的产物），并且相关分子的信息稀缺时，这一点尤为重要。此外，由于该系统具有开放权重，因此无论科学家的资源或隶属关系如何，都可以免费使用。

我们的思考：大型语言模型（LLMs）已经证明了在推理过程中进行更多处理的价值。ESMFold2 的距离估计模型使用了同样的原理，通过多次将嵌入循环通过模型来提高性能。