使用 MemAlign 提升 Genie Code 中传统机器学习的评估能力

标题：使用 MemAlign 提升 Genie Code 中传统机器学习的评估效果

原始链接：https://www.databricks.com/blog/using-memalign-improve-evaluation-traditional-machine-learning-genie-code

发布日期：2026-05-08T21:10:00+0000

Markdown 内容： 最近发布的 Genie Code 是 Databricks 专为数据工作打造的自主 AI 合作伙伴。它取代了 Databricks Assistant，同时整合了多个智能体，并提供了新的集成点和功能。Genie Code 与 Unity Catalog 深度集成，能够理解您的表、列、数据血缘关系、指标视图以及业务定义（语义）。这种上下文感知能力使得 Genie Code 对数据从业者而言远比通用聊天机器人更有价值。

当 Genie Code 为传统机器学习任务（例如“构建一个流失预测模型”）生成笔记本时，我们期望它能输出一个可直接投入生产的完整工作流，包括：安装合适的 Python 库、数据探索与预处理、模型训练与调优、模型注册与部署，以及对模型性能的评估。我们还期望每个步骤都真正基于数据本身进行决策——例如，Genie Code 应理解在二分类问题中类别不平衡会带来截然不同的工作流程和成功指标。

为了确保 Genie Code 始终遵循 Databricks 原生的最佳实践，避免跳过交叉验证、未能发现数据泄露或错误的数据填补等问题，我们需要一种严谨的方法来回答这样一个核心问题：我们如何判断生成的代码实际上是否优质？ 由于生成的笔记本高度依赖客户所解决的具体问题，而不同客户的需求差异巨大，因此这是一个非常复杂且非平凡的问题。

在本文中，我们将详细介绍我们如何构建 Genie Code 传统机器学习能力的评估流水线，并如何利用 MemAlign（MLflow 中一项新的开源对齐框架）弥合了大语言模型（LLM）评判者与人类专家之间的巨大差距。改进后的评判系统帮助我们识别并修复了 Genie Code 在机器学习指导方面原本可能被忽略的缺陷。

构建评估框架

一个稳健的评估框架对于以下目标至关重要：

• 持续优化（Hillclimbing）： 量化提示词、工具、技能及架构变更对输出结果的影响。
• 防止回归问题： 确保“模型训练”的改进不会意外导致“数据探索”质量下降。
• 基准测试： 衡量不同基础模型（LLM 后端）对笔记本质量的影响。
• 持续集成（CI）： 监控底层智能体循环中的变化如何影响最终的机器学习任务。

评估传统机器学习笔记本是评估任务中最复杂的之一，因为它涵盖了代码质量、最佳机器学习实践以及数据驱动的适应性与定制化等多个维度。为了应对如此广泛且混乱的评估需求，我们采用“以 LLM 为评判者”的方法——即让一个由人类训练的 LLM “专家”来判断什么样的笔记本才算优秀。我们创建了九个评判者，它们根据大多数机器学习工作流中常见的九个维度对机器学习笔记本进行评分：

| 维度 | 评估内容 | | --- | --- | | 库安装 | 正确的依赖项 | | 探索性数据分析（EDA） | 全面的探索性分析 | | 数据填补 | 平均含漏时间 | | 缺失值处理不引入数据泄露 | 特征工程 | | 特征选择与转换 | 模型训练 | | 模型选择、交叉验证、超参数调优 | 利用已训练模型进行推理 | | 评估指标 | 推理逻辑与任务相关的指标（如预测任务使用 MAPE，回归任务使用 MAE，分类任务使用 Accuracy） | | MLflow 日志记录 | 实验追踪配置 | | 单元组织 | 代码分块、整洁度、可读性、Markdown 标题、适当的日志输出 |

针对每个维度，我们制定了评分标准（供人类评审员与 LLM 评判者统一使用），分数范围为 1 到 3 分，0 分表示“不适用”：

• 3 分（良好）： 笔记本在该维度上达到高标准。体现了最佳实践，覆盖预期范围，并适当处理了边缘情况。
• 2 分（一般）： 可接受但存在不足。基本要素具备，但缺少经验丰富的从业者所期待的优化细节。
• 1 分（差）： 存在根本性问题。关键步骤缺失、错误或应用方式会导致错误结论。
• N/A（不适用）： 该维度不适用于当前提示（例如，若数据集无缺失值，则“数据填补”维度不适用）。

为体现评估的细致程度，以下是我们在“数据填补”维度所使用的具体评分标准：

除了评判者之外，我们还维护了一套涵盖多种机器学习任务（分类、回归、预测）、不同数据集规模、领域和复杂度水平的评估测试用例。每个测试用例包含一个用户提示，明确告知 Genie Code 它需要在指定数据集上完成的机器学习任务：“我在表 titanic_train_table 和 titanic_test_table 中有乘客数据。你能找出谁幸存了吗？” 评估流程包括：对每个测试用例使用 Genie Code 生成一个或多个笔记本，然后在所有适用维度上对每个笔记本进行评分。

评估评估系统

通过使用大语言模型（LLM）评判者而非人类来评估 Genie Code 生成的成果，我们实际上将一个难题替换为另一个难题：默认的 LLM 判定器在当前任务上缺乏经验，且与人类评分存在偏差。我们的核心问题在于使 LLM 判定器的评分结果与人类评估者保持一致。

用于 LLM 判定器评估的测试集包含 50 个 Genie Code 生成的笔记本（“测试用例”），其中人类专家对每个适用维度进行了评分，并提供了分数及简要理由，作为我们的真实基准。在两个评分之间的灰色地带，评分者可表达个人判断，但评分标准的设计使得这种情况极少发生。

衡量人机一致性程度的指标是各维度评分之间的平均绝对误差（MAE）。结果参差不齐：部分维度表现出较强的一致性（4 个维度的 MAE ≤ 0.10），而其他维度则显示出显著分歧：

• 模型训练：MAE 为 0.680
• 模型使用：MAE 为 0.562
• 数据填补：MAE 为 0.474
• 数据探索：MAE 为 0.407

这种差距的存在，是因为人类和 LLM 对同一评分标准的理解方式不同。虽然人类评分者能够察觉到细微的数据填补策略缺陷，或一个“能运行但逻辑不通”的训练循环，而 LLM 判定器往往忽略了这些技术细节。此外，我们还发现判定器存在典型的正面偏见——它过于“礼貌”，这阻碍了客观结果的产生。

事实变得极为清晰：即使面对相同的评分标准，LLM 判定器与人类也无法得出相同的结果——这是一种明显的错位。而这正是 MemAlign 框架所设计解决的情形。

使用 MemAlign 实现对齐

MemAlign 是 MLflow 中的一个框架，仅需少量人类自然语言反馈，即可实现人类评分者与 LLM 判定器之间的对齐。这一目标通过两种从人类反馈中构建的“记忆”机制实现：

• 语义记忆：存储通用准则——从反馈中提炼出的广泛适用规则
• 情景记忆：存储具体案例——判定器出错的实例，作为未来决策的锚点

在推理阶段，MemAlign 会通过提取所有语义准则，并检索与当前输入最相关的具体案例，构建一个工作上下文。判定器将这些内容连同原始评分标准一并加载进其上下文，利用累积的知识，对后续所有笔记本给出更准确的评分。

使 MemAlign 突出的关键特性是：仅需少量示例即可实现高性能。这是因为 MemAlign 能有效从自然语言反馈中的丰富信号中提炼学习能力，并将其融入双记忆系统。

以下是一些为“数据填补”维度生成的语义记忆片段示例，它们补充了我们先前定义的评分标准空白，通过提供一般性锚点、典型示例和反例，增强了标准的可操作性：

此外，如前所述，评分时提示词中体现的语义记忆还会结合判定器情景记忆中的相关实例，从而为判定器提供更多上下文信息，以更好地理解优化后的指令。

实验设计

K 折交叉验证

遵循机器学习中的训练-测试范式，我们在 50 个测试用例（笔记本）上应用了 K 折交叉验证（K=4），从而避免数据泄露，也无需单独标注测试集。对于每一折，我们执行以下步骤：

1. 训练阶段：使用其他折的轨迹数据，通过 MemAlign 对判定器进行对齐，得到对齐后的判定器。
2. 评估阶段：使用该对齐后的判定器，评估第 i 折中的笔记本。

自举法计算置信区间

为了在不依赖额外标注数据的情况下计算置信区间，我们从原始 50 个样本中以有放回的方式生成 100 个自举样本。重复此过程 10,000 次，并跟踪每次的人类与机器评分之间的 MAE，最终计算出 95% 置信区间，以判断变化是否具有统计显著性。

实现方式

评估流程被实现为一个单一的 MLflow 代码片段，协调整个过程：

MemAlign 优化器仅需几行代码，即可基于测试用例的轨迹完成对 LLM 判定器的对齐。我们使用这个新生成的“对齐后”判定器重新计算了新的 MAE。每折对齐耗时约 25 秒，因此对齐本身并非性能瓶颈。

结果

在 9 个维度中，有 3 个维度表现出统计学意义上的显著改进：

• 模型训练：MAE 改善 0.500（0.680 → 0.180），降幅达 74%
• 模型使用：MAE 改善 0.438（0.562 → 0.125），降幅达 78%
• 数据填补：MAE 改善 0.421（0.474 → 0.053），降幅达 89%

这三个维度原本就是最初 4 个严重错位的维度。初始对齐度弱，表明 LLM 与人类对共享评分标准的理解存在根本差异。而 MemAlign 注入的记忆似乎提供了足够的上下文，使两者得以“达成共识”。

• 指标评估 和 MLflow 日志记录 本就已高度对齐（初始 MAE < 0.10），其性能下降并不具有统计显著性（属于实验噪声）
• 数据探索 维度出现轻微退化（-0.130），但未达到统计显著性（置信区间为 [-0.33, +0.09]）。该维度本身具有最高的评分者间方差，噪声过大，导致 MemAlign 无法提升性能，甚至可能造成干扰。

仅使用语义记忆的实验

MemAlign 的双记忆结构促使我们思考：这两种记忆机制是否真的都在促进评判模型的对齐？特别是，情景记忆本应通过提供一组最相似的标注笔记本作为参考点（利用最近邻搜索），帮助评判模型做出判断。但如果检索到的笔记本（最近邻）实际上并不与当前样本真正相似，而只是“最不不同”的呢？将这些内容加载到评判模型的上下文中，反而可能造成混淆而非帮助。我们所评估的问题空间（机器学习笔记本）非常广泛，我们最初假设，仅用 50 个笔记本组成的集合，根本不足以为评判模型提供足够密集的记忆支持。

在没有情景记忆的情况下，整体表现显著下降：

• 模型训练仍然有所提升（+0.420），但增幅小于使用完整 MemAlign 时的 +0.500，且对齐后的 MAE 为 0.260，远高于 0.180。
• 模型使用的改进完全失去了统计显著性——提升从 +0.438 下降到 +0.294，置信区间现在跨越了零值。
• 数据填补的表现从 89% 的误差降低退化为零改进——对齐后的 MAE 与原始值相同（0.455）。
• MLflow 日志记录与指标评估甚至出现了显著退步。在缺乏情景示例锚定评判模型的情况下，仅靠提炼后的指南本身就在原本已校准良好的维度上引入了噪声，导致 MLflow 日志的 MAE 从 0.062 上升至 0.396。

这与我们的预期完全相反。我们最初认为，稀疏的标注集可能会让评判模型感到困惑，但几乎每个维度在移除情景记忆后都变得更差。唯一的例外是数据探索维度，去掉情景示例反而可能有所帮助——由于去除了标注者之间存在分歧的具体笔记本，评判模型仅依赖提炼后的指南，获得了更少噪声、更清晰的信号。

核心启示：即使输入数据庞大且杂乱，情景记忆依然能极大提升评判模型的表现。语义记忆与情景记忆对于 MemAlign 的有效运作都是不可或缺的。

结论：弥合专家差距

判断一个编码代理是否在完成任务已经足够困难，而要评估一个自主 AI 合作伙伴在构建和执行传统机器学习工作流方面的表现，则属于更高层次的复杂性。由于 AI 产品迭代速度极快，根本无法腾出足够时间让专家持续监控代理的“持续集成”过程。唯一可行且可扩展的解决方案是使用大语言模型（LLM）作为评判者——但与此同时，我们仍需要人类专家组来监督和校准 LLM 判官。

通过应用 MemAlign，我们在最关键维度上将评判误差降低了 74%–89%。然而，正如所有机器学习/大模型工作一样，结果的好坏取决于输入信息的质量，因此务必确保标注质量可靠。

关键收获：

• 衡量你的衡量系统：一个充满噪声的评估体系无法有效发挥作用。直到我们投入时间和资源真正验证并改进评判模型，否则我们无法信任自己的评估系统。
• 评分标准本身不够：人类对指令的理解与大语言模型对指令的理解存在细微差异。这些差异必须被充分考虑，而像 MemAlign 这类对齐工具正是弥合这一鸿沟的有效手段。
• 标注质量 > 数量：当人工标注者彼此意见相左时（如我们在数据探索维度所观察到的情况），对齐模型将无法获得连贯的信号进行学习。

MemAlign 已集成至 MLflow，仅需约 50 个标注样本即可生效。如果你的 LLM 判官与专家意见不符，不妨花一个下午尝试一下。