Why don’t machine learning research agents overfit?

为什么机器学习研究代理不会过拟合 —— 以及压缩技术的相关性 - Amazon Science

听众已有的知识越多，你需要发送的信息就越简短。一位资深的机器学习工程师只需几句话就能理解；而新手则需要完整的手册。

机器学习

为什么机器学习研究代理不会过拟合？

新研究显示，AI代理学习的是可压缩的数据模型，这些模型没有足够的空间实现记忆功能。

作者：

Martin Bertran Lopez

,

Aaron Roth

2026年9月10日

11分钟阅读时间

分享

• 复制链接

• 邮件

• X

• 领英

• Facebook

• Line

• Reddit

• QZone

• 新浪微博

• 微信

• WhatsApp

分享到微信

x

关键要点

• 即使经过多轮迭代优化，机器学习模型也不会过拟合基准测试。这与教科书中的预测相矛盾，教科书认为反复评估相同保留数据应该会导致过拟合。

• 与机器学习研究代理的实验表明，成功的策略具有高度可压缩性。当成功代理的策略通过信息瓶颈压缩（少至16个标记）时，一个没有记忆的新代理可以复现原始代理的性能，这意味着策略捕捉到了真实结构，而不是记忆了数据。

• 压缩技术既提供了解释，也提供了诊断工具。真正过拟合的策略会通过压缩测试：当它们通过瓶颈时，验证集特有的增益会消失。

• 大语言模型（LLMs）是强大的压缩解码器。由于它们承载了丰富的世界知识，可以从简明扼要的专家缩写提示中重建完整的机器学习流程，这是理解它们为何如此强大的具体方式。

这个回答有帮助吗？

从根本上说，机器学习关注的是泛化能力，而非记忆能力。你向学习算法提供一堆训练示例，并用它们来拟合一个模型。但目标不是在训练示例上表现良好——这很容易，你只需记住答案即可。真正的目标是在你从未见过的新示例上表现良好。如果一个模型在训练数据上表现良好但在新数据上表现差，它实际上并没有学到任何东西；你只是自欺欺人地认为它学到了。这种失败模式有一个名字：过拟合。

任何上过基础统计学或机器学习课程的人都知道标准的防御方法。你保留一部分数据并拒绝在上面进行训练。实际上，这部分保留数据扮演着两个角色。验证集是你在构建模型时反复查阅的数据——用来比较候选方案、调整超参数并决定下一步尝试什么。最终测试集（或保留集）则只应在最后接触一次：因为训练过程从未见过它，因此在那里的强性能是新示例在现实世界中表现良好的正确指标。

从根本上说，机器学习关注的是泛化能力，而非记忆能力

“保留集”条件至关重要。如果保留集始终保持真正未被接触过，那么正确代理保证成立。如果你在该数据集上检查性能，根据结果调整训练流程，再次检查并迭代，不断追求更高的指标，那么该数据集就不再是未被接触的了，它已成为训练流程的一部分。重复足够多次后，你可能会像对训练集那样对该数据集过拟合，从而失去对未知数据的代理指标。以这种方式重复使用任何保留集（包括专门设计用于重复使用的验证集）都会出现这一问题。

机器学习核心中的谜题

真正的机器学习研究看起来完全像我们刚刚描述的迭代改进循环。每个人都会使用少数几个多年未更新的基准数据集来评估性能。研究社区重复着一个庞大而分布式的循环：在基准数据集上评估模型，调整训练流程，重新评估，发表成果，让下一组研究人员再进一步改进。

这正是教科书上认为会导致严重过拟合的那种针对保留集的爬坡过程。到目前为止，排行榜上应该已经充斥着在基准数据集上表现优异但在其他地方表现平平的模型。

但事实并非如此。针对老旧且被频繁复用的基准数据集构建全新测试集的研究发现，改进效果大多可以迁移：在新数据上，模型展现出与旧基准数据集上相同的提升效果。与教科书预测相反，以基准驱动的机器学习产生了快速且实质性的进展。为什么？

尽管存在大量假设，但这些假设很难通过实证检验，因为实验的“主体”是整个人类研究社区。你无法重置一个领域，清除其记忆，并在受控条件下重新运行过去十年的研究。

但我们可以做类似的事情。现在我们拥有基于大语言模型（LLM）的研究代理，它们能够自主运行与人类社区相同的机器学习优化循环。它们参与同样的基准爬坡过程——令人着迷的是，它们似乎同样没有出现过拟合现象。区别在于，与研究社区不同，代理是你可以重置的实体。你可以清除其记忆，精确控制其接触的信息，并重新运行实验。在最近的论文《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》中，我们正是这样做的——在这个过程中，我们为这个长期存在的谜题提供了具体的解释。

精确化的奥卡姆剃刀

这个解释始于一个非常古老的观点。奥卡姆剃刀认为，在能同样解释数据的假设中，更简单的那个更可能是正确的。事实证明，这种直觉具有精确的数学形式，也正是整个故事的基础。

假设你能用比记忆训练数据所需的比特数少得多的比特数来描述你的假设（你的模型、你的策略）。如果这个简洁的假设在训练数据上表现非常出色，那么它在新数据上也必然表现良好。

形式化的奥卡姆剃刀：在能同样解释数据的假设中，更简单的那个（可用更少比特描述的）更可能泛化到新样本。

推理过程基于一个计数论点。简短的描述本身数量有限，因为简短的字符串数量有限。候选假设越少，其中任何一个恰好在训练集上因运气而误导你的可能性就越低——即使你使用训练集来指导搜索过程。

另一个直观理解方式：如果压缩后的描述过于简短，无法偷偷记录训练数据，那么当它在训练数据上表现良好时，原因不可能是它记住了答案——它根本没有空间这么做。这只能说明它捕捉到了数据结构中的某种真实规律。简短的描述无法作弊，因为没有空间。

一个具有吸引力的假设是：成功的机器学习策略具有高度可压缩性。研究者可能在项目过程中查看成千上万的基准测试分数，但最终存活下来的策略通常是熟悉的选项列表——一个架构家族、一个优化器、一个学习率计划、一个数据处理方案、一个正则化方法。如果最终方案只需用几个比特就能描述，那么模型对基准测试的真实依赖程度，远小于实验记录冗长的描述所暗示的程度。虽然探索过程非常广泛，但最终得出的结论——或者说本可以得出的结论——却可能非常简洁。

压缩、智能与具备知识的倾听者的力量

想象一下，你试图向一位聪明的高中生详细解释一个具体的机器学习流水线，直到他们能够真正复现它。这将是一场漫长而繁琐的对话。你必须解释梯度下降是什么，神经网络是什么，PyTorch或JAX或TensorFlow的作用，学习率的定义，等等。几乎所有这些内容都与你的具体问题无关，它们是关于机器学习如何运作的一般背景知识。

现在想象你向一位资深机器学习工程师解释同样的流水线。这次对话会缩短为几句。你可以跳过所有常识性内容，只传递真正特定于这个问题的信息：架构选择、批量大小、优化器、几个超参数。你的倾听者对世界了解得越多，你需要发送的信息就越短——压缩的强度也可以越高。这些"世界知识"在奥卡姆剃刀论证中不会对你不利，因为你可以不查看训练集就写下所有这些内容。

这就是大语言模型发挥作用的地方。现代大语言模型承载了大量世界知识。它们知道机器学习工具的工作方式；它们了解标准优化算法；它们掌握常规超参数选择和常见默认值。如果某个细节未被明确说明，它们可以填补一个合理的值。这使它们成为极其出色的压缩解码器：给大语言模型一个简洁的专家间信息，它就能将其展开为完整的可运行流程。如果你仔细思考，这正是它们如此强大的原因。

实验：通过瓶颈压缩策略

这表明了一个清晰的实验设计。让一个机器学习研究代理——探索者——尝试解决一个新的机器学习问题。给予它对验证集的完全访问权限，让它自由地进行实验和迭代，在数百轮中追求更好的验证性能。在此过程中，验证集扮演了基准的角色：一个可重复使用的保留集，代理会反复查询它。这是一个应该会过拟合的爬山循环。

然后测试解决方案的可压缩性。第二个代理——压缩器——会阅读探索者工作过程的完整记录，并尝试将获胜策略提炼成一个非常简短的提示——仅需几个标记。这个提示会被传递给第三个代理——再现者——它必须仅凭这个提示和训练数据，从零开始实施该策略。关键的是，再现者无法访问验证集、探索者的代码或其记录。简短的提示是唯一能将验证集中学到的信息传递给它的通道。（在我们论文中报告的研究中，压缩器和再现者都是Claude模型。）

如果再现者——仅凭几个标记的提示从零开始——能够匹配探索者的性能，那么所有依赖验证集的信息都通过这个微小的通道传递了。该策略是可压缩的。我们将这种现象称为输出压缩证书。

这种设置具有一种人类研究社区所缺乏的非常有用的特性：再现者可以被反复重置。压缩器可以尝试多种不同的压缩方式，并观察每种方式的解码效果，因为每次尝试都会落在一个没有记忆上一次操作的新鲜再现者上。这有点像电影《记忆碎片》——你给一个即将在阅读前被清除记忆的自己版本留下一个简洁的便条。你学会了如何书写那些即使你遗忘所有细节，一个知识渊博但健忘的你版本也能据此行动的便条；这些便条可以非常简短，因为接收者会像你一样准确地填补你未提及的任何内容。

在研究人员的实验中，探索者代理的策略被压缩通过了一个狭窄的信息瓶颈。任何能通过压缩的都必须反映真实的结构，而不是记忆中的数据。

另一端的结果

这些压缩结果令人惊讶地小巧。在八个数据集上——涵盖表格分类、图像分类、语言建模、扩散建模和奖励建模——32个标记的提示就足以让新的再现者在大多数问题上匹配探索者自适应优化后的模型。一种语言建模策略甚至被压缩到仅16个标记，且在保留集上的表现没有任何损失。

这些提示实际上看起来是什么样子？最能揭示信息的例子出现在压缩即将失效的简洁性边界上。在一个语言建模实验中，探索者发现了一种定制的GPT风格训练方案。即使在16个标记的预算下，这仍然足以让新的再现者匹配未压缩的探索者：

QKn 12L768 Mu .1 R² b2M 4x

对人类读者来说这看起来晦涩难懂，但对另一个机器学习代理来说，它传达了具体的信息：QKn表示“QK归一化”，12L768表示一个12层、768维的Transformer，Mu .1表示Muon优化器和学习率0.1，R²表示平方ReLU激活函数，b2M表示两百万标记的批次，4x表示四倍前馈块。然而，如果将预算削减到8个标记，提示就变成了：

12L768 Mu .1 R²

现在，reproducer与explorer不再匹配。缺失的部分指出了实际训练选择，这些选择是根据数据做出的，与最显而易见的默认设置存在差异。这个边界展示了可压缩性的极限，具有重要意义。它表明reproducer无法仅凭先验知识取得成功。少量压缩后的标记携带了从数据本身学习到的真实信息，当这些标记消失时，性能也随之消失。

我们还进行了一系列从相反方向施加信息瓶颈的实验。这次不是压缩explorer的输出，而是压缩其输入：我们不再向explorer告知每个模型的具体数值验证分数，而是只返回一个比特的信息——该模型是否超越了当前最佳表现？即使将每个查询的反馈信息压缩到仅一个比特，explorer仍能找到与完整数值评分下同样有效的策略。验证集与最终策略之间的信息通道在两个方向都十分狭窄，而单比特版本甚至附带了关于泛化的严格数学保证。

在八个数据集上，通过数百次迭代实验涌现的策略可以被压缩为短至16到32个标记的提示——足够简洁，以至于没有记忆的新代理也能复现原始结果。

捕捉作弊者

一个好的实证理论应当是可证伪的——而这个理论正是如此。如果低过拟合确实由可压缩性解释，那么真正发生过拟合的模型应无法通过该流程实现压缩。

为验证这一点，我们故意通过提供直接访问验证集的权限并提示代理不惜一切代价最大化验证性能，将代理推向过拟合。代理果然上钩：在102次实验运行中有38次，验证准确率比真实保留集准确率高出超过10%。

该理论预测这些优势无法通过压缩瓶颈，因为它们编码的是特定验证示例的特殊性，而非可迁移的结构。事实确实如此，当通过简短提示传输给新reproducer时，验证相关的优势完全消失。压缩以极高的准确性将合法策略与过拟合策略区分开来。

因此，压缩不仅解释了自主研究代理通常不会过拟合的原因，还提供了一种工具：当过拟合发生时，通过标记无法用简短描述复现结果的案例来捕捉过拟合。

这告诉我们什么——以及没有告诉我们什么

有几个注意事项需要说明。整个框架假设从验证数据到最终模型的唯一路径是通过我们提供给reproducer的提示。当然，如果模型在预训练期间已经记住了验证数据，它将拥有绕过我们试图施加的信息瓶颈的旁路通道。我们认为在我们的实验中并非如此：代理是通过真实搜索逐步改进而非一开始就处于最佳状态，且在极短的标记预算下性能会显著下降。但要完全解决这个问题，可能需要使用模型训练截止后收集的新数据集进行实验，而我们尚未这么做。

最重要的是，我们的研究结果涉及大型语言模型代理，因为只有在这一领域才能进行实验——你可以重置主体、控制其输入并统计长度。但它们所描绘的图景对人类研究社区也具有很强的启发性。当一个领域花费数年时间攀登固定的基准，并且这些进展能够持续转移到新数据时，其背后的原因可能与代理策略在32个标记提示下依然有效相同：真正起作用的方法本质上是简单的。换句话说，“能适应少量标记的内容不会过拟合”。

致谢：Steven Wu

研究领域

• 机器学习

标签

• 生成式人工智能
• 代理式人工智能
• 语言模型

关于作者

Martin Bertran Lopez 是亚马逊网络服务隐私组织的应用科学家。

Aaron Roth 是宾夕法尼亚大学计算机与认知科学的 Henry Salvatori 教授，同时也是亚马逊学者。他的研究重点包括数据隐私、算法公平性、博弈论、学习理论和机器学习的算法基础。他与 Cynthia Dwork 合著了《Differential Privacy 的算法基础》；与 Michael Kearns 合著了《伦理算法：社会感知算法设计的科学》。