Your AI model is a rental (but the loop is an asset)

你的 AI 模型是租赁品（但循环结构是资产）- Gradient Flow

你的 AI 模型是租赁品（但循环结构是资产）

作者

Ben Lorica

2026 年 9 月 8 日

发布于

未分类

标签：

newsletter

.meta-info

.post-thumbnail

订阅 • 上期内容

摆脱科幻小说的自我提升

几周前我写过关于部署后持续学习的 AI 系统，而不是将每次交互视为全新开始。这引发了一些读者对递归自我改进（RSI）的提问。这种联系确实存在，但我觉得有必要区分三个概念。持续学习关注的是经验是否能让系统下次表现更好。有限的自我改进更进一步，允许系统将经验转化为经过验证的持久性变更。RSI 是更强的主张，即系统能改进生成这些改进的初始过程本身。这些不是阶梯上的步骤，系统可以单独实现其中任何一个，而不需要其他两个。

这封通讯由读者资助，而非广告。考虑成为付费支持者 🙏

RSI 在前沿 AI 实验室中受到广泛关注，因为如果它有效，可能会加速未来模型的开发。但大多数 AI 团队并未训练前沿模型，他们为何关心？因为一些实用工具会在完全实现 RSI 之前就出现。一个能从生产故障中学习、提出自身应用堆栈变更、测试并保留有效方案的系统，将改变 AI 应用的构建和维护方式。短期故事并非关于无限制的自我提升，而是关于自动化我们目前手动执行的改进流程部分。

##### 杠杆点在于“套件”本身

对大多数应用团队而言，有趣的部分不是模型权重，而是围绕模型的一切：提示、上下文、内存、工具、路由、子代理和工作流。这种外围软件通常被称为“套件”。与前沿模型不同，这是团队实际拥有的东西，也更容易修改、测试和回滚。一个实验在不触碰模型的情况下，将模型通过率从 40% 提升至 62%。另一个发现通过重组代理间的信息交换方式，既能提升效果，又能减少高达 60% 的推理成本。

这让我想起我之前提到的观点：团队应抵制通过更换更新或更大模型来解决每个性能问题的冲动。通常更好的投资是改进模型周围的系统。生产日志可以揭示重复失败，代理可以逐步帮助判断修复应属于内存、指令、工具使用、路由还是工作流设计。我建议从小幅调整入手，而非允许全面重写。内存更新或路由变更比让代理重新设计整个运行环境更容易理解和回滚。

##### 为什么循环结构可能误导你

生成候选改进方案变得越来越容易且成本低廉。判断其是否真正有效却要困难得多。在企业应用中，最容易衡量的指标通常并非业务真正关注的指标。关闭更多支持工单并不一定意味着客户更满意。增加销售活动也不一定意味着收入增长。一个自我改进循环可能非常擅长优化代理指标，而真正的目标却几乎没有任何进展。这使得评估必须成为产品架构的一部分，而不是事后才添加的附加功能。

你给予循环的自主性越多，就越需要将某些评估置于其控制范围之外。一项实验发现，自我评估与现实之间存在显著差距。系统自我评价显示在改进，但独立测试却表明许多系统实际上并未改进。在另一项实验中，评分提升是因为代理学会了避免被幻觉检测器标记，而不是因为其产生的幻觉更少。这里并不需要任何神秘的机制。这不过是普通指标博弈，只不过优化器运行得更快。我会保留受保护的测试，每当生产环境暴露出新的故障时就扩展回归测试套件，并确保回滚操作简便易行。

##### 自我改进首先奏效的领域

早期最有效的改进目标具有一个简单特性：环境可以告诉系统变更是否产生了帮助。代码要么能编译，要么不能。测试要么通过，要么失败。游戏有分数。芯片设计有仿真器和工程约束。这些环境允许系统尝试大量变更并获得相对较快的反馈。开放性知识工作则更困难，因为"更好"可能取决于缓慢、主观或数月后才可见的判断。还存在第二个限制。更好的提示和工作流程可以帮助模型更有效地利用已有能力，但无法赋予其原本不具备的能力。

对于生产系统，我会将每个提出的改进视为一次软件发布。生成候选方案后，独立测试它，只有通过测试才将其推广，保留旧版本，并在影响重大时要求人工审批。某些内容应始终保留在不可编辑的层级，包括权限、安全边界、支出限制以及决定哪些内容进入生产环境的控制机制。随着机器接管越来越多的实验工作，人类工作将向上转移，专注于选择目标、设计评估环境以及决定哪些风险是可以接受的。

##### 递归发生之前经济性可能更重要

自我改进的首次回报将是更便宜的AI，而非更聪明的AI。一些最显著的例子涉及更好的工具减少推理成本，或更小的专用模型在特定狭窄工作流程中优于远为庞大的通用模型。一旦某个任务重复足够多次且结果可衡量，直接针对该任务进行优化可能比持续购买通用能力更具吸引力。运行改进循环本身存在成本。分析追踪数据、生成替代方案、运行评估的代理会消耗计算资源，而大多数提议的变更最终都会被丢弃。正确的对比应是这种实验成本与它所替代的工程劳动、推理成本和重复失败之间的权衡。

更有趣的是，循环积累的历史构成了长期资产。生产痕迹不再只是调试时的废弃物，而是下一版本的原始材料。失败案例会转化为回归测试，成功策略则成为可复用的技能。被拒绝的更改教会系统哪些尝试不应再次进行。这些过程无需完全依赖递归自我改进（RSI）。实际应用更类似于现代软件，只是附加了自动优化管道。不必纠结递归自我改进何时到来。在第500天时，你的应用是否因为前1天到第500天之间经历的一切而真正变得更好？

本文描述的 harnesses、eval loops 和 rollback systems 的开发团队，将出席9月30日–10月1日于旧金山举行的AI Conference。使用折扣码gradientflow20可享受20%的优惠。

中国AI内卷的悖论

《中国AI内卷》