Smarter cost controls for serverless

为无服务器计算提供更智能的成本控制 | Databricks 博客

跳至主要内容

平台

2026年10月29日

为无服务器计算提供更智能的成本控制

将熟悉的成本控制机制引入无服务器计算

作者：Piyush Singh 和 Vijay Raja

摘要

• 无服务器成本控制现已超越基础设施设置，扩展到谁可以运行工作负载、成本如何归属以及可支出的金额。

• 团队现在可以立即通过使用策略标签、计费系统表、访问控制和预算警报采取行动。

• 现已可用的速率限制功能，加上即将推出的共享预算功能，有助于防止工作负载失控并保持团队支出在合理范围内。

在 Databricks，过去一年我们的无服务器计算使用量增长了三倍以上，目前数千家客户正在其上运行关键任务的笔记本、作业和流水线。随着采用率的上升，平台团队首先提出的疑问变得愈发迫切：我们如何更好地了解无服务器成本并确保支出在预算范围内？

目前使用无服务器 SQL 和模型服务的 Databricks 客户已经可以在不接触任何集群设置的情况下，对支出进行归属、管理访问权限并监控使用情况。我们现在将相同的功能扩展到无服务器计算的笔记本、作业和流水线中。我们正在让无服务器成本控制按照平台团队期望的方式运行。

无服务器计算将成本控制提升到更高层次

在传统计算中，成本控制位于基础设施层面。您通过限制机器数量、实例类型、自动扩展范围和集群策略来控制支出，这些策略限制了用户可以配置的内容。这些控制措施是必要的，因为您需要自行管理基础设施。

无服务器计算有意移除了这些控制旋钮。现在，平台（Databricks）负责处理基础设施的配置、扩展和合理调整，这是其价值的重要组成部分。但成本控制必须存在于某个地方，因此它被提升到了更高层次。现在，成本控制不再绑定到机器，而是绑定到人员和工作负载。谁被允许运行无服务器计算、工作负载的支出速度以及成本归属的位置，这些是现在最重要的问题。

平台团队通常从三个方面描述他们的需求：

• 失控支出：一个未受限制的笔记本运行可能在一天内消耗数千美元，因为没有集群规模或自动扩展上限来限制它。

• 错误的人员：无服务器计算默认对所有人开放，包括那些不应被允许使用它的人，且没有权限机制来限制谁可以运行它。

• 缺乏问责：如果没有与传统计算中相同的标签强制措施，团队将不会采用无服务器计算。

传统计算通过三种工具解决了这些问题：使用标签来归属成本、使用权限来控制访问、使用集群规模限制来控制支出。无服务器计算同样需要这三种工具。目前已有其中两种，第三种即将推出。

无服务器成本控制的三个目标

• 归属成本：明确无服务器 DBU 属于哪个团队、项目或用户。

• 控制访问：决定谁可以首先运行无服务器计算，以及在什么条件下运行。

• 限制支出：在发生支出之前，而非之后，限制工作负载或团队的支出金额和速度。

我们将依次深入探讨这三个目标。

成本归属

归属始于标签。在传统计算中，您对集群进行标签；在无服务器计算中，您对计算资源进行标签，而该计算资源运行的每个 DBU 都会将该标签传递到计费系统中。

• 无服务器计算标签：一次性为无服务器计算对象添加标签，即可将运行在其上的工作负载正确归因到对应的团队、项目或成本中心，无需维护额外的策略对象。

• 系统表：每个无服务器DBU都会记录在system.billing.usage表中，按用户、产品和标签进行分类。面向管理层的"按团队划分的成本"视图只需一次查询即可实现，账户控制台的成本仪表板无需编写任何SQL就能直接展示。

同一张表还能回答在更改任何人访问权限前必须了解的审计问题：目前实际运行无服务器计算的是哪些人？他们花费了多少？这只需另一个按消耗量排序的查询，完整示例可参考系统表文档。

可用性：无服务器计算标签归因功能目前处于测试版阶段。

可观测性功能已正式发布，客户现在即可通过系统表在AWS、Azure和Google Cloud上监控无服务器成本。

实时追踪支出：预算、告警和仪表板

用于归因成本的系统表同样能帮助您追踪成本。账户控制台的预算功能会在无服务器支出超过阈值时发送电子邮件告警，成本管理仪表板则可让您按产品、工作区和标签追踪消耗情况。对昨日无服务器支出设置SQL告警可在数小时内完成闭环。

尽管监控是被动响应机制：它会在第二天早上报告昂贵的支出日，而非提前预防。这种滞后性正是接下来两个目标存在的原因。

可用性：监控功能今天已正式发布。立即在AWS、Azure和Google Cloud上设置预算和支出告警。

控制访问权限

第一个主动控制措施是决定谁可以运行无服务器计算。这种授权是一种权限定义：它决定了哪些用户或组可以访问无服务器计算，就像现有权限控制谁可以创建集群或连接到SQL仓库一样。无服务器计算访问控制功能现已正式发布，让您可以通过这种模型治理无服务器计算：对计算对象设置权限，而非为每个工作负载附加策略。

无服务器计算对象是无服务器计算的权限边界。每个工作区默认包含两个对象：

• 默认无服务器交互式计算：笔记本和Databricks Connect。
• 默认无服务器自动化计算：作业和Spark声明式流水线。

这些对象的权限是您在仓库中已经熟悉的两种：Can Use（可使用）和Can Manage（可管理）。如果您能判断谁可以连接到SQL仓库，就能判断谁可以运行无服务器计算。

该模型默认是安全的。所有用户初始权限都是Can Use，因此启用该功能不会立即产生任何变化，直到管理员采取操作。当管理员采取操作时，流程与您预期的一致：打开计算页面，进入无服务器标签页，打开默认计算对象，移除"All Users"（所有用户），添加特定用户组。组外用户现在在笔记本计算选择器中将看到无服务器选项被灰显，且不会中断已运行的任务。

可用性：今天已正式发布。请查看AWS、Azure和Google Cloud的文档。

• 自动化工作负载的速率限制：以T恤尺码（S、M、L、XL）表示的每计算单元限制，不仅限制任务或流水线能否运行，还限制其消耗资源的总量或速度。管理员会创建自定义计算对象并按团队共享，为每个团队分配独立的限制。这是经典的集群策略模式在无服务器架构中的应用。

• 交互式共享预算（即将推出）：仅设置每会话的上限无法保护团队预算，因为多个"中等"会话仍可能累积消耗。我们的方向是为团队设置共享限制，并在底层设置每会话最大值作为防护措施。

归因精度同时提升。系统.billing.usage中新增的serverless_compute_id字段，可将消耗按计算对象归因，因此"按计算对象统计成本"将变得像"按团队统计成本"一样简单。

给熟悉DBSQL T恤尺码的用户一个说明：对于笔记本和任务，尺码是最大自动扩展上限而非固定集群规模。如果任务只需中等规模但选择XL，系统会分配中等规模资源。

可用性：速率限制功能现已在Beta版上线。通过Databricks预览设置启用速率限制；详见AWS、Azure和Google Cloud的文档。

完整视图

将三个要素整合：

• 成本归因：无服务器计算的原生标签加上system表中的serverless_compute_id，可用于预算和仪表板。

• 访问控制：无服务器计算对象的权限设置。

• 消耗限制：按工作负载划分的速率限制，可在团队内共享。

今日即刻开始

您今天就可以开始实施无服务器成本控制。以下是操作步骤：

• 启用标签强制：为无服务器计算添加标签，确保在其他操作之前完成归因设置。

• 搭建监控：在system.billing.usage中添加成本仪表板，并为无服务器消耗设置预算预警。

• 审计当前无服务器使用情况：在更改访问权限前了解潜在影响范围。

• 确定访问策略：明确哪些用户应能运行交互式无服务器任务，哪些用户应运行自动化任务。

• 启用无服务器计算访问控制：为选定的团队启用快速且全托管的计算服务。

无服务器计算访问控制功能现已全面上线。如需深入了解归因和监控，建议从系统表（AWS | Azure | GCP）和无服务器标签（AWS | Azure | GCP）文档开始。

了解更多：

• 在AWS | Azure | GCP上管理无服务器计算

• 连接到无服务器计算 | AWS上的Databricks

• 连接到无服务器计算 - Azure Databricks

• Databricks上的成本管理工具 - Azure Databricks

• 百亿级规模无服务器计算：最新发布与路线图

• 减少基础设施，提升影响力：Nationwide的无服务器转型

订阅获取最新动态

订阅我们的博客，最新文章将直接发送到您的邮箱。

注册

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"