The AI Bill is coming

AI法案即将来临 | Databricks博客

跳至主要内容

数据战略

2026年10月22日

AI法案即将来临

Databricks联合创始人Patrick Wendell解读为何AI编码成本呈指数级增长，以及工程领导者如何在不减缓团队进度的情况下改变这一趋势

作者：Catherine Brown

摘要

• 成本曲线具有结构性。AI工具采用消费计费模式，导致使用量呈指数级增长而收入增长有限。无限制token和硬性支出上限均无法奏效，Databricks已转向通过可见性配合渐进式摩擦的管控方式。

• 四大杠杆可将单位成本降低多达90%。将默认模型切换为更高效的模型、为每个任务路由至能处理该任务的最经济模型、为开发者提供支出可见性、削减token开销。仅凭token价格无法准确预测模型的实际成本。

• 每个工程团队都需要控制层。AI网关位于开发者与模型之间，负责处理访问权限、路由、预算和追踪，使AI支出变得可观测、可操控且可预测。

在此次对话中，Catherine Brown与Patrick探讨了Databricks全面投入AI编码代理后的经历：初期成本如何随使用量增长而飙升，最终通过哪些措施实现了高达90%的单位成本下降，以及为何每个工程组织都需要在开发者与模型之间设置控制层。该控制层最初是Databricks为解决自身AI账单问题而开发的内部方案，后来成为Unity Gateway的灵感来源。

工程产出是关键瓶颈

Catherine：您负责Databricks的AI产品，同时也是公司内部AI采纳的推动者。为何这成为您如此重视的个人使命？

Patrick：因为工程产出是我们业务的主要瓶颈。每家公司都需要工程团队加速前进，如果您能为他们提供显著提升生产力的工具，其价值不可估量。早期的聊天产品有一定作用，但真正改变投资回报率的可能是一年前，当首批真正优秀的编码模型出现时。

Catherine：您如何判断AI工具是否带来了生产力提升？

Patrick：我们追踪多项产出指标：拉取请求数量、发布的功能和代码行数。单独来看，没有哪个指标是完美的。我认为研发就像一台大型机器，投入资源后会产出功能和代码，您可以衡量产出量的增长。总体而言，我们用相同团队实现了产出接近翻倍。那些围绕AI重构流程的团队，产出速度提升得更快。

然后人们开始实际使用这些工具，我们看到了指数级增长的成本曲线。这些工具现在都是按使用量计费，而不是按用户数计费，因此原则上单个用户可以消耗无限量的资源。他们可以运行一个循环来调用最昂贵的模型，然后去吃午饭。这个循环可能确实完成了有价值的事情，但也可能只是在浪费令牌。如果成本呈指数级增长而收入没有同步增长，最终就会出现问题。我们发现成本已经威胁到之前通过效率提升所获得的收益，而这正是我们当初推动这项工作的初衷。

这时我开始亲自深度参与其中。我与其他正在大规模采用AI技术的科技公司领导者（如Coinbase、Uber、Stripe等）进行了交流。我们发现，很多人正在采用相似的策略。如今在Databricks，我们的人均令牌消耗量已经趋于稳定，即使整体使用量和价值仍在持续增长。

停止对顶尖开发者设置硬性支出上限

Catherine：大多数公司的第一反应是设置硬性支出上限。你们尝试过这种方法，结果如何？

Patrick：这是显而易见的第一步，而且确实需要这样的机制。但硬性上限的体验很差。你可能在任务中途就切断了用户的使用，导致他们丢失了数小时的工作成果。而且经常达到上限的往往是那些最优秀的用户。一旦切断他们的使用，有些人就会转而使用个人账户，这样你就完全无法追踪他们的行为。

因此我们转向了渐进式摩擦机制，Unity Gateway负责处理所有情况。首先发出警告，然后要求审批，最后将用户切换到更便宜的模型以便继续工作。真正切断使用是最后的手段。我们还会定期向所有人发送自己的支出明细，并提供节省开支的建议。仅这一点就能带来约10%的节省。我认识的一家公司甚至在每个代码提交请求中直接显示模型和成本，如果你用昂贵模型处理小事，这几乎等同于公开羞辱。我非常喜欢这个做法。

最佳的成本优化是开发者根本察觉不到

Catherine：你曾提到过四个降低这些成本的杠杆，哪一个影响最大？

Patrick：我们最喜欢的策略其实很普通：更优质且更便宜的模型不断涌现，我们将流量转移到这些模型上。在专有模型和开源模型供应商之间，每周可能有五款新模型发布。虽然并非每款都能在成本上实现突破，但可能每周或每两周就会有一款。这是一股持续上升的浪潮。你用更少的钱就能获得相同的输出，而且无需任何改动。不需要复杂的路由设置，也不需要其他操作。

为了让你了解这种变化的速度：最近的一款廉价模型，其性能大约相当于九个月前前沿模型的表现，但每项任务的成本仅为1%。这在不到一年的时间里成本下降了100倍。这还只是初步结果，但趋势已经很明确了。

关键在于你必须真正采取行动。如果新模型发布但公司里没人使用，那就相当于森林里倒下的树没人听见。因此我们变得擅长快速评估新模型，并在模型足够好时立即转移工作负载。由于所有内容都经过Unity Gateway，我们可以在一个地方完成切换，开发者无需做任何改动。这是我们做得最有影响力的事情，单独就带来了50%或更高的成本节省。再加上路由优化、支出可视化和减少令牌开销，在某些情况下，我们的单位成本甚至降低了多达90%。

模型的令牌价格并不是其实际成本的可靠预测指标

Catherine：你们团队将编码代理与Databricks自身的数百万行代码库进行基准测试。为什么不直接信任公开的基准测试结果？

Patrick：公开基准测试无法真实反映你自己的代码表现。这些任务可能泄露到训练数据中，而且它们看起来不像大型企业级代码库。因此我们基于仓库中的真实提交记录构建了自己的测试集，并通过实际运行测试来评分。我们不使用LLM作为裁判，因为这往往更倾向于奖励听起来正确而非真正正确的答案。

部分结果令人意外。开源模型GLM 5.2在任务质量上与Opus 4.8相当，但每任务成本仅为后者的三分之一。某个模型虽然每token成本便宜1.7倍，但因消耗更多token导致每任务成本更高。而模型的配套工具对成本的影响与模型本身相当。相同模型搭配不同工具，成本差异超过2倍。仅通过优化工具和缓存设置，我们就节省了接近50%的成本。

前沿模型适用于前沿问题

Catherine：最便宜模型与最贵模型的成本差距可能达到100倍。工程领导者该如何看待这个范围？

Patrick：想象成汽车。有法拉利、本田和自行车。你不需要每次出行都开法拉利，大多数编码工作也不需要最大模型。

Astra就是一个典型案例。我们向所有工程师（约3500人）开放使用，据我们所知，我们是首家公开分享此类部署的公司。它在系统设计等复杂任务上表现明显更好，但成本却上升了约60%。在日常任务上并没有明显优势，现有模型已经处理得很好。很多情况属于资源浪费，人们用Astra处理本应使用其他模型的任务。因此我们在Unity Gateway中为Astra设置了独立预算。只用于解决复杂问题。

长期来看，我无法预测趋势走向。廉价模型持续接管更多常规工作，但人们也在向AI提出越来越复杂的问题。这正是AI的定位。你应具备灵活调整的能力。

模型路由已成为新的AI竞争领域

Catherine：你曾主张AI成本是基础设施问题而非采购问题。为什么预算和政策无法解决？

Patrick：预算有帮助，但预算无法决定哪个模型应处理特定请求。这就是路由决策。重命名组件交给廉价模型处理；复杂开放性问题交给能力更强的模型处理。我们的智能路由系统在保持最贵模型质量水平的同时，将平均任务成本降低了30%以上。它还让我们无需再让用户决定何时使用昂贵模型...系统会自动完成决策。

要实现这些，你需要在开发者和模型之间建立中间层。我们之所以构建自己的系统，是因为别无选择。所有编码工具流量都经过统一网关，无论是Claude Code、Codex、Cursor还是我们的元工具Omnigent。正是这种架构让我们看清了资金流向。随后我们发现所有客户都面临相同问题，于是将该系统产品化为Unity Gateway。目前已有数千客户在使用。

Catherine：路由机制最终会像模型本身一样成为竞争焦点吗？

Patrick：这就是我们的观点。随着模型的利润率逐渐降低，确定使用哪种模型处理什么任务变得非常有趣。路由模型必须小巧且快速，而且要做到这一点本身也非常困难。在这些模型的实际应用方面，还有很多开放性的研究问题，我认为正确解决这些问题确实能带来真正的知识产权价值。

你无法优化看不见的东西

Catherine：如果要给一位正面对不断增长的AI账单的CTO提一个建议，你会说什么？

Patrick：弄清楚支出去向。大多数公司甚至无法按团队或模型统计AI支出，更不用说判断这些支出是否带来了回报。在模型前设置一个网关，让所有流量都经过统一入口，这样你就能看到数据了。在此之后，其他一切都会变得容易。不要放慢脚步，生产力提升是真实存在的。但这些效益会累积，如果你拖延，账单最终会比你想象的要高得多。

AI账单即将到来，但你不必认输

Patrick给工程领导者的信息是：你无需在AI生产力和成本控制之间做出选择。那些处理得当的公司始终保持对最佳模型的广泛访问权限，用自己的代码测试新模型，在模型足够好时立即切换到更便宜的版本，并为开发者提供可见性而非设置障碍。所有这些背后都有一层统一的控制层——一个网关，让AI支出变得可监控和可调控。在Databricks，这一层最终演变为Unity Gateway。

想了解更多关于Databricks如何管理自身AI编码支出的信息，请阅读Patrick的博文《Managing AI Coding Costs at Scale》，并体验Databricks Unity Gateway。

订阅最新文章

订阅我们的博客，获取最新文章直接发送到你的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"