We Built a Routing Layer to Cut Our AI Costs. It Broke the Product.

我们构建了一个路由层来降低AI成本，却破坏了产品 | Towards Data Science

Agentic AI

我们构建了一个路由层来降低AI成本，却破坏了产品

成本优化的路由层是一个帕累托陷阱。账单减少了，产品却崩溃了。大多数团队需要三个月才能意识到问题。

Pratik R

2026年6月27日

21分钟阅读

分享

作者生成的图片（使用ChatGPT和DALL-E 3）

我参与的团队上季度将AI推理账单削减了一半以上。八周的高质量工程工作。这本应是工程团队全年追逐的胜利。但这也是一种错误的优化。三个月后，客户满意度开始下降，流失率上升，成本节约与质量损失存在结构性关联。我们并未真正获胜，只是将成本转移到了未被衡量的领域。

这是我预计未来六个月生产AI部署中将看到的模式。2026年关于AI经济学的讨论已形成共识方案：将简单查询路由到廉价模型，将复杂查询保留在高性能模型上。降低成本同时保持质量。每位CFO都看懂了数学逻辑，每个工程团队都已构建或正在构建这种架构。

数学是真实的，帕累托陷阱同样真实。

以下是我团队进行事后复盘后向团队说明的内容。它描述了他们构建的架构、他们陷入的失效模式、本可更早发现该问题的检测方法，以及他们本应采用的替代架构模式。此外还涵盖了我在此次事件后审计的另外两个部署案例，其中不同行业均出现了相同模式。综合证据表明，按照共识方案构建的成本优化路由层，在生产环境中存在结构性脆弱性。

我们构建了什么

该团队为一个拥有约400万月活跃用户的SaaS产品运营客户支持AI代理。代理运行在单一高性能模型上，该模型在构建时是其技术栈中最高层级的推理模型。由于推理量足够大，其模型提供商的月账单已达到六位数，并随着用户增长持续上升。

路由层在概念上简洁清晰。一个小型分类模型，基于约20万个带有质量标签的历史客户支持查询进行定制训练，位于主代理前端，将每个 incoming 查询标记为"简单"或"复杂"。简单查询被路由到同一家供应商系列中的廉价模型，复杂查询继续路由到高性能模型。分类器本身是一个经过微调的编码器，运行耗时低于30毫秒，成本开销可忽略不计。

分类体系基于生产观察构建。简单查询是团队反复看到的类型：账户查询、账单状态询问、密码重置、订单追踪和营业时间问题。复杂查询则是历史上需要复杂多步骤推理的类型：退款争议、套餐变更权衡、集成故障排除和账单周期异常。在代表性生产流量的一周内，简单查询占比约65%，复杂查询占比约35%。

团队选择的更便宜模型的每令牌成本仅为功能模型的四分之一。对于分类器发送给它的简单查询，与功能模型的并排评估显示，在5000个查询的测试集中，94%的查询答案质量相当。6%的差距虽然存在，但团队认为在成本降低的情况下是可以接受的。他们通过现有的评估流程监控更便宜模型的质量，该流程对约0.5%的流量进行抽样，由人工进行审核。

构建过程耗时八周。三名工程师、一名机器学习专家，部分参与。他们在分类器与下游模型之间增加了模式验证，在路由决策上增加了监控，并为分类器本身失败的情况添加了回退路径。部署是渐进的。第一周5%的流量，随后是10%、25%、50%，然后在六周内完成全面部署。每一步部署都保持质量指标在绿色范围内。延迟保持在现有目标范围内。成本随着路由比例的降低而减少。

到第八周结束时，每月的推理账单降至之前的约40%。工程团队在公司的全员会议上展示了这项工作。首席财务官向AI团队发送了感谢信。代理内部的采用指标保持平稳或略有上升。团队转向下一个季度的重点任务。

这项工作是扎实的。架构是合理的。监控已经到位。团队做了所有近期关于AI成本优化文章推荐的事情。每个单独的决策都有据可依。然而，整个系统却创造了一个现有测量架构无法察觉的质量差距。

这个差距在业务指标中用了三个月才显现出来，又花了一个月才被正确归因。到他们意识到发生了什么时，已经过去了四个月，客户影响已经显现。

我们测量的内容（以及未测量的内容）

在构建路由层之前，团队的评估架构基于他们运行单一模型的假设。质量信号来自三个来源。每天对约200个响应进行人工审核，评分标准包括准确性和帮助性。每周对生产模型运行一次离线回归套件，包含约12000个标记查询。以及来自代理产品反馈小部件的满意度信号，用户可以通过点赞或点踩来评价响应。

当路由层上线后，团队扩展了人工审核样本以保持每天约200次审核的总量，但未按路由层级进行区分。他们将更便宜的模型添加到离线回归套件中，该模型的评分在可接受阈值内。由于产品反馈小部件无法确定哪个模型提供了响应，因此未对它进行修改。

回顾来看，这三个测量选择是问题的根源。聚合的人工审核样本显示质量保持在路由前的基准水平。离线回归套件显示更便宜的模型在其子层级通过了测试。反馈小部件的聚合数据保持在历史波动范围内。他们能看到的一切都是绿色的。

他们看不到的内容在三个不同的层级显现出来。

未经分层采样的人工审核样本实际上是一种加权平均，其中65%的评论来自廉价模型，35%来自能力模型。由于廉价模型在简单场景（高流量的简单查询分布中心）表现与能力模型相当，因此拉高了整体表现。而简单查询分布较难边缘的质量问题在整体数据中被稀释到几乎不可见的程度。

离线回归测试套件使用精心构建的查询集对两个模型进行了测试，但该构建是静态的。这套测试集是在部署前六个月创建的，当时团队尚未引入路由机制。测试套件反映的是理想化分布，而非廉价模型现在必须处理的实际生产分布。廉价模型通过了静态测试套件，但在实际运行边缘表现下降。

产品内的反馈组件存在结构性问题，团队已知该问题超过一年但未优先修复。用户反馈数据稀疏，典型会话生成零评分。用户对回复的负面评价大约每1000次交互发生3次，且这些负面评价集中在那些因其他问题已感到沮丧的用户群体。该组件的信噪比过低，无法检测到小于重大回归的细微变化。

这些失败并非路由层特有的问题，它们潜藏在度量架构本身中。路由层只是暴露了这些问题。只要系统仅运行单一模型，度量缺口不会产生误报，因为只存在单一质量分布需要测量。路由层引入了两种质量分布，但现有架构无法分别观测。

廉价模型层级的质量漂移在全面上线后的第三周开始出现。到第六周时，漂移已在回归测试套件中可测量，但团队将小幅回归误判为模型版本漂移（而非路由相关），因为他们未按层级划分分析。到第十周时，累积影响已体现在产品指标中的客户满意度下降。到第十三周时，用户流失率已明显高于之前的基准线。

正是在这一时间点，团队联系了我。

问题所在及发现过程

诊断耗时两周。我们从仪器日志中重建路由决策，将其与产品内反馈事件关联，构建了团队此前未曾见过的分层级质量视图。

廉价模型层级立即显现出问题模式。分类器发送给廉价模型的查询中，该模型在约80%的查询上表现良好，这与最初5000个查询保留集得出的等效质量发现一致。但生产环境中的另外20%查询在结构上与保留集存在分类器在决策时无法检测到的差异。

最明显的例子是账单查询。分类器曾被训练识别“我的费用从哪里来”或“我被重复收费了”等模式作为简单查询，基于账户查询加发票检索是可靠下游模式的假设。在保留测试中，这确实成立。但在生产环境中，这些账单查询中相当一部分隐藏着更复杂的意图。用户询问“我的费用从哪里来”时，有时是在质疑实际的欺诈性收费，有时是询问两个系统间的延迟对账问题，有时是询问未通知的账单周期变更。能力较强的模型能够正确处理这些嵌套意图，因为它具备深入对话复杂性的余量。而低成本模型则将它们都视为表层意图，回答了客户实际上并未提出的问题。

收到错误回答的客户并不总是会给出负面反馈。许多客户只是与代理断开连接并转而拨打支持热线。因此，负面反馈信号未能充分反映失败情况。失败成本被转移到人工支持团队，他们需要再次处理相同查询，而人工成本是从不同预算中支出的。总体影响是AI代理的测量转接率保持稳定，而实际人工处理的支持量开始上升。

团队未能将人工处理量的上升与路由层关联，因为两个团队分别属于不同的成本中心，且这种关联在任何单一仪表板中均不可见。

对客户满意度的累积影响更难准确衡量，但最终以两种方式显现。首先，在路由层部署期间与代理互动的客户群体，在互动后90天的满意度调查中，其满意度评分明显低于部署前基准群体。其次，在6个月时的客户留存率呈下降趋势，与基准线相比，最暴露于失败路由模式的客户群体下降幅度最大。

当我们综合计算数据时，质量损失带来的隐含成本影响保守估计是路由层节省成本的4到5倍。团队每月将推理成本降低了约10万美元，但每月却产生了40万到50万美元的客户留存和人工支持成本。当完整数据呈现后，结论是明确无误的。

这就是帕累托陷阱的结构性特征。推理层的成本节约由构建路由系统的团队衡量。质量损失的成本则由客户体验、人工支持团队和留存部门承担，这些部门均不属于执行优化的团队。每个团队只优化自己的预算。整体优化结果是负面的。

团队在第十六周将路由层回退到更为保守的设置。到第二十周时，客户满意度趋势开始逆转。到第二十八周时，留存率数据已恢复至基准水平。实验总耗时成本（包括回收的成本节约和客户影响）约为两个季度的净负产品价值。

为什么低成本模型会在长尾部分失效

这个模式之所以是结构性的而非情境性的，值得我们仔细思考。这与团队选择的具体模型、具体提供商或训练的具体分类器无关。真正关键的是问题空间的几何特性。

任何生产环境中的AI部署，客户查询的难度都遵循幂律分布。大量查询集中在容易处理的核心区域，而较小的群体则延伸至一个长尾，这些查询更难、更模糊、更依赖上下文。前沿模型在处理容易的核心区域时存在过度配置。它们的能力远超回答“你们几点营业？”这类问题所需。这种过度配置正是成本优化机会真实存在的原因。将容易处理的核心区域路由到更便宜的模型，可以在不牺牲查询质量的前提下实现真正的成本节约。

问题在于分类器无法在决策时可靠地区分容易的核心区域和长尾部分。分类器只能看到查询的表面形式，而长尾部分隐藏在看似简单的表面形式之下。一个看起来像“我的账单从哪里来”的查询，可能只是简单的账户查询，也可能是欺诈调查的开端，需要仔细的多步骤推理。分类器看到的是相同的词语，便宜的模型给出的也是相同的表面答案。在欺诈案例中，客户收到的却是对其未提出的问题的错误回答。

这就是长尾压缩问题。表面形式对于最重要的查询意图深度来说是一个很差的预测指标。表面形式最可靠的查询正是简单的查询，而这些查询恰恰是模型选择影响最小的。表面形式最不可靠的查询是困难的查询，而这些查询恰恰是模型选择影响最大的。分类器在最不需要准确校准的地方表现良好，却在最需要准确校准的地方表现糟糕。

还有一个机制。前沿模型往往具有可恢复的故障模式。它们有时会采取谨慎态度，要求澄清或以提示人类介入的方式表达不确定性。而小型模型往往自信地失败。它们会生成完整、合理、表面连贯但实际意图错误的回答。这种错误回答比谨慎回答更难被客户识别，这意味着故障更长时间未被发现。

第三个机制是漂移。生产环境中的查询分布会演变。新产品发布，新客户群体加入，新的故障模式出现。基于六个月历史流量训练的分类器随着分布逐渐偏离训练集，会逐渐将越来越多的查询错误路由。成本节约保持稳定，因为路由层继续以相同速率将流量发送到更便宜的模型。质量成本却在悄然增长，因为分类器对哪些查询真正简单判断的准确性越来越差。

这种综合的几何特性是无情的。便宜模型层级在处理容易的核心部分表现良好，但在隐藏的长尾部分出现不透明的故障，随着分布漂移情况进一步恶化。节省的成本在仪表板上清晰可见，而成本则由无法看到路由决策的人在下游支付。

这就是为什么路由层成为帕累托陷阱而非仅仅是嘈杂的优化。这种几何特性是结构性的。

我在之后审计的另外两个团队

在我们处理完这个案例后，我开始在其他我有可见性的AI部署中寻找相同的模式。很快发现了两个案例。

第一个案例是一家中小型SaaS公司，他们部署了客户成功AI助手。与第一个团队相比规模较小，每月推理支出在五位数的较低水平，而非六位数。但架构模式相同。他们在四个月前构建了一个路由层，将简单查询（通过嵌入相似性分类器而非微调编码器定义）路由到更便宜的模型。成本节约达到了百分之五十左右。他们内部仪表板的质量指标显示为绿色。

当我们按路由层级细分反馈信号时，廉价模型层级在嵌入分类器标记为简单查询的长尾查询中，满意度评分明显较低。团队此前未意识到这一差距，因为聚合仪表板将两个层级合并为单一数字。他们估计客户信任度的影响约为成本节约的2.5到3倍，尽管其测量精度不如第一个团队。在审计后的一个月内，他们将路由层回退到更小的占比。

第二个案例是金融科技领域的受监管行业。每月推理支出在六位数的较高水平。他们构建了一个更为保守的路由层，仅将他们认为"信息类"查询（账户余额、交易历史、基础产品信息）路由到更便宜的模型，而涉及合规或财务决策的查询则保留在能力更强的模型上。

在此案例中，模式的表现方式有所不同。由于路由占比更保守（约20%），成本节约较低。但廉价模型层级的长尾失败具有合规影响，因为一些看似信息类的查询实际上具有监管权重。客户询问"我的利率是多少"时，有时会跟进一个依赖首次回答精确性的后续问题，而廉价模型无法可靠提供。合规团队在问题演变为监管问题前通过人工审计发现了这一隐患，但这次惊险经历促使他们完全回退了路由机制。

金融科技案例特别具有启发性。它清楚地表明，成本-质量权衡在不同行业间并非对称。在客户支持领域，错误答案可以挽回。但在受监管行业，错误答案可能构成违规。在长尾成本高或受限的任何场景中，帕累托陷阱都会被放大。

在三个案例中，模式保持一致。成本节约是真实且可衡量的。质量损失是真实存在的，但现有架构无法测量。发现差距的团队是在数月后，当业务指标已吸收影响时才察觉的。未能发现差距的团队则会持续对客户群实施净负面优化，直到仪表板保持绿色。

在三个月内检测陷阱

能够更早发现这些案例的诊断方法很简单，但需要在路由层上线前改变测量架构。对可观测性堆栈进行三项具体补充。

按层级的质量监控是基础性措施。现有架构中的每个质量信号都必须按路由层级拆分，层级标签需通过监控系统端到端传递。人工审核样本应进行分层抽样，确保每个层级获得按比例或过采样的审核。离线回归测试套件应拆分为特定层级的子集并分别评估。产品内的用户反馈事件应与路由决策日志关联，使各层级的满意度成为可聚合的维度。单独的质量指标本身无法揭示特定层级的质量漂移。

长尾满意度抽样是第二个补充措施。由于长尾问题在聚合数据中不可见，度量架构必须对长尾进行过采样以使其显现。这意味着要对分类器最不确定的查询或偏离分类器训练分布中心的查询进行更密集的抽样。目标不是像简单抽样那样偏向容易的查询，而是要对模型选择真正关键的查询进行加权。

路由置信度漂移是第三个补充措施。分类器本身是质量信号的来源，但大多数团队并未对其进行监控。生产流量中的置信度分布应与训练期间观察到的分布进行对比跟踪。当生产分布发生偏移时，分类器将超出其校准范围，路由决策的可靠性会逐渐下降。漂移信号比质量信号提前数周出现，这正是团队需要进行纠偏的时间窗口。

这三个补充措施不是用来自我评分的清单，而是一个度量架构，其中每个组件都能揭示其他组件无法发现的失败类型。它们共同作用，使帕累托陷阱在数天内而非数月后显现。在工程时间上实施它们的成本远低于让质量回归问题持续一个季度未被发现所造成的损失。

给考虑采用这些措施的团队两个注意事项。首先，事后部署这些度量比在路由层构建时同步实现要困难得多。在发布前实现可能需要大约三周工程师工作量。而在质量事故后实施通常需要重建未被采集的数据。其次，度量架构本身比路由决策更重要。拥有良好层级可观测性的团队可以安全地进行激进路由实验，因为他们能及时捕捉到漂移。缺乏这种能力的团队无法在大规模上安全运行任何路由层。

替代方案的样貌

如果预路由分类器的共识方案是一个帕累托陷阱，那么显而易见的问题是替代模式是什么。存在这样一个模式，它在本质上更优，尽管也伴随着自身的权衡。

该模式是基于不确定性的级联路由。与在任何模型处理查询前就将其分类为简单或复杂不同，每个查询都从低成本模型开始。低成本模型通过内置的不确定性估计或在响应后附加的显式自我评估步骤，生成带有校准置信度的答复。当置信度较高时，响应直接返回给用户。当置信度低于阈值时，查询将升级至能力更强的模型，并传递其响应。

这种模式改变了失败模式。现在，廉价模型自行决定答案，而不是由分类器决定其答案。那些廉价模型原本会自信地错误回答的困难查询，现在表现为低置信度并触发升级。昂贵模型处理这些情况。成本分布取决于廉价模型的置信度分布，但在我们对客户支持案例的分析中，模型化的节省效果与预路由方法大致处于同一范围，但尾部质量明显更好。

级联机制的两个增强功能会叠加生效。影子评分在廉价模型自信时，仍会并行在少量生产流量上运行有能力的模型，以检测实际生产环境中的漂移。质量加权路由将观察到的满意度信号逐步反馈到阈值调整中，因此级联机制能随着生产分布的演变而适应。

级联机制存在权衡，而预路由方法不存在。升级查询的延迟大致是廉价模型和有能力模型延迟的总和，这明显比预路由方法更差。成本更难提前预测，因为它依赖于生产环境的置信度分布。实现复杂度更高，因为校准廉价模型的置信度本身就不简单。

这些权衡是真实存在的，值得权衡。但它们是针对级联方法维持的质量下限，而预路由方法无法做到这一点。在生产部署中，如果长尾部分对客户成本有实质性影响，级联模式是架构上诚实的选择。对于在有意义的生产规模上构建AI代理的团队，带有可观测性的级联模式是能经受住四分之一真实流量考验的方案。

优化层比优化本身更重要

我之前描述的第一个团队最终达到了一个稳定的架构，将不确定性路由的级联机制与每层可观测性相结合。他们的每月推理成本稳定在预优化基准的35%以下，这比预路由方法在纸面上实现的节省效果要少。他们的客户满意度恢复到了实验前的水平。考虑到两层的综合部署，产品的净价值是明显正向的。

团队从这次经历中得出的教训不是成本优化是错误的。而是成本优化是一个选择，即你信任系统哪一层来做出正确的权衡。预路由信任一个无法看到关键因素的分类器。级联机制信任模型本身知道它不知道什么。

廉价的优化是悄然破坏产品的那个。架构上诚实的优化是能经受住长尾考验的那个。在生产AI中，这种差异通常体现在四分之一的客户满意度上。

Pratik K Rupareliya 是 Intuz 的联合创始人兼战略负责人。他在700多个项目中部署了企业级AI、物联网和云平台，拥有18年以上的生产经验。他在AI规模化经济领域为从业者撰写文章，探讨哪些方法有效、哪些失败，以及预算实际流向何处。他目前在旧金山和艾哈迈达巴德之间工作。

撰写者

查看 Pratik R 的所有文章

人工智能

,

深度解析

LLM代理

LLM应用

机器学习

分享这篇文章

• 在 Facebook 上分享

• 在 LinkedIn 上分享

• 在 X 上分享

Towards Data Science 是一份社区刊物。提交您的见解以触达全球受众，并通过 TDS 作者支付计划获得报酬。

将 href 更新为您的实际投稿链接

为 TDS 撰写文章

✦ 结束 CTA ✦