Who Cares About LLM costs?

谁关心LLM成本？

技术内容

#### Adrian Matei

2026年7月30日

—

3分钟阅读

为什么你会在意这些？LLM承诺接近无限的能力，担心计费系统的感觉像是别人的问题。上线这个功能。让模型尽可能长时间地思考，对吧？

对的。直到账单到来。

惊喜

想象一下：你最好的聊天助手刚刚上线。几百次测试对话，一个几乎难以察觉的账单，一个让团队兴奋的演示。你上线了。使用量随着功能表现良好时的使用模式迅速增长。做得好，你！更多用户，更长的会话，现在每个用户操作会触发模型三次或四次调用，而不是一次。没有人修改代码。

然后有人打开计费页面，期待看到上个月的数字，却看到一个巨大的数字。令人遗憾的是，这种情况比我们愿意承认的更频繁。

关于token经济学的简要说明

这些成本失误的惊人之处在于token经济学的新颖性。普通云支出随着你分配的资源规模增长：实例、数据库层级、核心。LLM支出却随着对话的波动形态增长。一个冗长的系统提示、用户粘贴长文档，或在响应格式错误后重试循环，都可能在不修改代码的情况下使单次请求成本成倍增长。令人遗憾的是，你仍然要为计算资源付费。只是现在这些计算资源是他人行为迫使你使用的。

倍增效应

将这种不可预测性跨供应商扩展，做好承受冲击的准备。你不喜欢锁定，所以一个功能运行在OpenAI，另一个运行在Anthropic。六个月前有人将一个成本敏感的批量作业迁移到自托管模型。每个都有自己的仪表板、计费周期，甚至自己对“token”的定义。这种去中心化状态造成危机，因为在特定日期范围内，没有人能轻松定位具体支出。

更糟糕的是，云计费系统通常在你花费之后才告诉你花费了多少，延迟可能长达数周。当警报触发时，你的请求已经发出，供应商已经计费，唯一剩下的杠杆就是关闭整个功能。

重新夺回控制权

此时，LLM成本已成为风险。需要像对待其他风险一样对待它。如果我们遵循基本的风险管理框架指南（我鼓励你这么做），控制需要三个支柱：预防、检测和缓解。

经验表明，良好的预防和检测能降低需要缓解的可能性。

简而言之

LLM生态系统要求一种奇特的双重视角：足够的炒作来维持开发，足够的怀疑来思考发票会是什么样子。将两者结合在一起的不是谨慎，而是责任感。创新从未免费，但随着供应商更深入地采用token经济学定价，成本不再仅仅是高昂，而是变得不可预测。令人遗憾的是，不可预测性更难规划。

幸运的是，控制成本不需要将工程师重新培训成会计师。有专门用于token成本管理的工具，例如我们的Otari，围绕它的生态系统在稳定到市场标准之前只会变得更加动荡。

如果你从这篇文章中记住一件事，我希望是明确的规划和控制需求。我们不希望你成为社交媒体上的又一个负面案例。如果你好奇如何通过 Otari 实现这一点，可以阅读我们的成本文档。