Why A Frontier Data Agent Outperforms General Coding Agents in Quality and Cost

为什么前沿数据代理在质量和成本上优于通用编码代理 | Databricks 博客

跳至主要内容

AI 工程

2026年7月23日

为什么前沿数据代理在质量和成本上优于通用编码代理

我们针对400多项真实内部会话任务，将Genie Code与三个领先的编码代理进行对比评估。

由Databricks AI研究团队撰写

摘要

• Genie Code是Databricks用于全谱数据工作的数据代理，涵盖从基础数据分析、跨工作区的数据探索，到数据工程任务（如构建流水线、调试故障和部署仪表板）的全流程。

• 在400多项真实内部使用任务中，Genie Code是我们测试过的准确率最高且成本最低的代理，其正确回答的成本仅为其他代理的一半以下。

• 由于对企业上下文的深度语义理解，Genie Code可以跳过其他代理因盲目探索模式导致的错误和高成本操作，从而以显著更低的成本提供更准确的答案。

在代理AI领域，传统观点认为更高质量的答案需要消耗更多token：让代理进行更长时间的探索、更多验证和重试，准确性自然会提升。但当我们用400多项真实数据任务对Genie Code与三家主要AI实验室的三个主流编码代理进行正面交锋测试时，结果恰恰相反：Genie Code不仅是我们测试过的准确率最高的代理，同时在成本效率上也表现最佳。

根本原因在于数据代理必须在通用编码代理难以应对的新范式中工作。如我们之前所述，数据代理面临独特挑战：它们必须在包含数十万张表、笔记本、仪表板和文档的动态工作区中找到正确的资产，必须在可能过时或矛盾的元数据和文档中确定事实来源，并且必须在不依赖编码代理所依赖的可验证测试的情况下完成所有操作。

为应对这些挑战，我们为Genie Code提供了跳过通用编码代理依赖的随机探索能力：对目录和工作区资产进行语义搜索、持久化记忆用户依赖的表和业务逻辑，以及对企业上下文的深度语义理解。

在本次评估的会话记录中，我们可以直接观察到这种差异。例如，在一个案例中，Genie Code通过语义搜索和元数据高效定位到正确表，仅编写一个SQL查询，通过五次工具调用就得出正确答案，而三个通用代理均未能从探索中恢复。

下文我们将深入探讨我们如何在广泛的真实用户任务中评估Genie Code。

我们基于400多项真实使用任务进行评估

我们特意构建了覆盖Genie Code广泛真实用户任务分布的评估集。我们从Databricks内部真实使用情况中提炼出401个自包含任务，涵盖日常问题和高级用户处理的复杂问题：需要代理定位正确资产的发现任务、创建和修改代码与查询、调试代码、理解并解释现有代码、需要从表中提取精确数字的精准数据查询等。

结果

我们对每个代理在所有401个任务上进行了运行，编码代理使用了各自的工具链、来自领先前沿实验室的最新模型，并结合了Databricks MCP进行增强。每个代理在每个任务上都被分配了相同的20分钟墙钟时间预算。答案由独立评委根据响应是否正确且有用进行评分，超时的任务会被视为失败。本分析中的美元数值是用户使用每个代理所需支付费用的估算值，它们在相对比较方面更具参考价值。

| 代理 | 准确率 | 平均$/任务 | |--------------|--------|------------| | Genie Code | 76.6% | $0.55 | | 编码代理1 | 72.1% | $1.09 | | 编码代理2 | 55.9% | $0.91 | | 编码代理3 | 56.1% | $1.16 |

Genie Code在该基准测试中是最准确且成本最低的代理：其每任务成本约为最接近竞争对手的一半，且每个正确答案的成本不到其一半。其他两个编码代理的准确率均在50%左右，主要由于长时间扫描任务的墙钟超时，这通常源于对大型表进行低效且无限制的查询。

在本次基准测试中，我们观察到中位数任务成本为$0.34，p99为$2.72，最贵任务为$3.87，仅有4%的任务超过$2。其他代理有33-40%的任务费用超过$1（而Genie Code仅为16%），其中一个编码代理的深度探索运行成本高达$9.49。由于所有代理都能访问相同级别的前沿模型，成本差异归因于效率：用更少的轮次和更少的token就能得出答案。

这种差距源于每个代理获取所需数据的方式。该任务集中最难的任务并未明确命名资产，代理必须先定位正确的表、笔记本或仪表板以及相关的业务逻辑后才能回答。在这些任务上，通用代理只能依赖低效的工作区探索，这种探索导致准确性降低且成本增加。

Genie Code对工作区上下文的理解——通过目录的语义搜索和工作区数据的持久记忆——使其能够跳过大部分探索步骤，平均每任务仅需8.3次工具调用——少于我们测试的所有其他代理。这些高成本运行的尾部也由这些发现任务主导，而Genie Code的尾部最短。我们预计Genie本体论的引入将进一步强化这一优势；本次测试中我们禁用了本体论，因为它尚未对所有客户全球可用。

结论

在我们开始调查时，预计准确性和成本之间存在权衡。但通过大量真实用户任务的测试，我们发现Genie Code能够凭借对数据的强语义理解，在准确性和成本上同时优于通用编码代理。

Genie Code作为前沿数据代理构建，专为在高度动态和模糊的环境中（如Databricks工作区）运行进行了优化。通用编码代理在这些环境中表现不佳：它们不得不花费轮次和token重新发现Genie Code已有的上下文。这种专业知识同时提升了准确性、速度和成本，且不会影响通用能力。

最后，就像我们在Databricks代码库上对编码代理的基准测试一样，更广泛的教训是：通用的排行榜无法衡量用户日常的实际体验。我们每天都在根据真实任务扩展评估内容，并将持续发布我们的发现。

订阅以获取最新文章

订阅我们的博客，最新文章将直接发送到您的邮箱。

立即注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"