Predictable AI spend in BigQuery: Introducing cost management for generative AI functions

使用 BigQuery 的生成式 AI 成本管理功能 | Google Cloud 博客

数据分析

BigQuery 中可预测的 AI 开支：推出生成式 AI 函数的成本管理功能

2026 年 10 月 15 日

##### Tushar Jaiswal

软件工程师

##### Alicia Williams

开发者倡导者

##### 11 月 4 日：智能体数据云活动

加入我们的产品负责人，共同构建您的智能体未来

Register

BigQuery 的生成式 AI 函数（AI.GENERATE、AI.IF、AI.CLASSIFY、AI.SCORE 等）将大语言模型（LLMs）直接引入您的 SQL，因此单个查询可以分类数百万个支持工单或对每个产品评论进行情感评分。然而，由于这些函数按令牌计费，跨大规模数据集进行扩展突显了主动管理预算的重要性。

我们最近宣布了 BigQuery 生成式 AI 函数的基于令牌的成本管理功能的正式可用性（GA）：每日配额，允许管理员对 AI 令牌消耗设置自助服务限制，使团队能够在预算范围内创新。在本文中，我们将概述 BigQuery 生成式 AI 函数的成本管理功能，通过几个实际示例进行说明，并分享帮助您入门的资源。让我们开始吧。

用于成本管理的配额

通过 Google Cloud 身份和访问管理（IAM）配额系统管理的四个每日配额，在项目级别和每个用户级别提供控制。每个用户的限制适用于项目内的每个用户，而不是整个组织。

配额名称 | 指标 | 范围 | 默认值 ---|---|---|--- 每日 AI 输入令牌 | LLM 使用的输入令牌 | 每天，每个项目 | 2000 亿 每日每个用户 AI 输入令牌 | 每天，每个项目，每个用户 | 1500 亿 每日 AI 输出令牌 | LLM 使用的输出和思考令牌 | 每天，每个项目 | 200 亿 每日每个用户 AI 输出令牌 | 每天，每个用户 | 150 亿

关键细节：

• 配额是全局的。所有区域的使用量会被汇总，因此成本不会在未关注的区域中悄然累积。

• 输出配额包括“思考”令牌。推理令牌计入您的输出配额，就像它们计入 Gemini 平台账单一样。

哪些函数被覆盖？

这些配额适用于执行基于 LLM 生成的 BigQuery 函数：

• AI.GENERATE

• AI.GENERATE_TABLE

• AI.GENERATE_TEXT（及其别名 ML.GENERATE_TEXT）

• AI.CLASSIFY

• AI.IF

• AI.SCORE

• AI.AGG

未被覆盖的内容：如 AI.GENERATE_EMBEDDING（也作为 ML.GENERATE_EMBEDDING 提供）和 AI.EMBED 等嵌入函数不受这些配额限制，因为它们运行在不同且成本显著更低的模型上。

管理您的配额

管理员可以在 Google Cloud 控制台中直接查看和调整配额，无需支持案例，根据工作负载的变化进行调整。

• 导航到 IAM & Admin → Quotas & System Limits。

• 按服务筛选并选择 BigQuery API。

• 按名称列排序，将四个 AI 配额置于顶部。

在 IAM & Admin → Quotas & System Limits 中找到生成式 AI 令牌配额。

1. 找到配额，例如每日 AI 输入令牌。

1. 打开三点菜单并选择编辑配额。

从那里：

• 为收紧成本控制，降低配额。这会立即生效，无需批准。

• 为支持更高使用量，从同一页请求增加。许多请求会自动批准；较大的增加可能需要快速审核。

编辑 IAM & Admin → 配额与系统限制中的生成式 AI 令牌配额。

您需要具有相应的权限。您需要以下任意一种角色：所有者 (Owner)、编辑者 (Editor)、配额管理员 (roles/servicemanagement.quotaAdmin) 或服务使用管理员 (roles/serviceusage.serviceUsageAdmin)。

倾向于自动化？您还可以通过 Cloud Quotas API、gcloud CLI 和 Terraform 以编程方式管理这些配额，从而在项目之间应用一致的防护措施。

监控使用情况

除了设置限制外，配额与系统限制页面还会显示您的历史令牌消耗情况，帮助您快速发现使用高峰并合理调整预算。利用这些趋势分析，您可以了解新的生成式 AI 工作负载和数据管道对整体令牌使用情况的影响。

IAM & Admin → 配额与系统限制中生成式 AI 令牌配额的每日项目级令牌使用情况。

可选择 7 天、14 天、30 天和自定义范围的长期使用趋势图。

如需逐步操作指南，请参阅 BigQuery 文档中关于使用令牌配额控制成本的部分。

令牌配额与计费支出上限

令牌配额并非 Google Cloud 中唯一的成本防护措施。

• 令牌配额（本功能）是预防性且特定于 AI 的。BigQuery 在查询执行过程中跟踪令牌使用情况，并在接近限制时停止工作，每个项目和每个用户都有单独的限制。

• Cloud Billing 支出上限在项目和服务级别以美元为单位进行操作，当达到阈值时可以自动阻止使用。它们是一种广泛的财务保障措施，而非精确的使用控制，且由于执行不是即时的，因此可能会产生一些超额费用。

将令牌配额作为 AI 成本的第一道防线，将支出上限作为项目范围内的安全网。

执行机制

配额通过停止工作来执行，而不是让查询超过限制。只有当所需配额已耗尽时，查询才会在一开始就因 QuotaExceeded 错误被拒绝。否则，查询会开始执行，如果在查询过程中配额耗尽，BigQuery 会停止发送新的 LLM 调用：

• 支持 max_error_ratio 的函数（如 AI.IF）如果未处理的行数在比例范围内，会返回部分结果，否则会失败。

• 通用函数（如 AI.GENERATE）仍会成功。跳过的行没有生成的值，其状态字段包含配额超出错误。

详细信息请参阅文档中的配额执行行为部分。

估算输入数据：AI.COUNT_TOKENS

为了选择配额值，了解您的工作负载向模型发送了多少文本是有帮助的。AI.COUNT_TOKENS 函数可以帮助实现这一点。

AI.COUNT_TOKENS 返回模型分词器为文本字符串生成的令牌数量，而无需进行可计费的生成调用。在列上运行它以测量输入数据：

加载中...

-- 为每个产品评论计算输入文本令牌数 SELECT SUM( AI.COUNT_TOKENS( CONCAT('将此评论的情感分类为积极、消极或中性：', review_text), endpoint => 'gemini-3.1-flash-lite').result) AS total_input_tokens FROM my_project.my_dataset.product_reviews;

该计数是输入令牌的下限。它不包括输出或思考令牌、每个 AI 函数在输入周围添加的指令，或图像等非文本输入。可用于：

• 在启动工作负载之前评估工作负载的输入侧。

• 与测量实际输入和输出使用情况的小样本运行一起合理设置配额。

• 使用Gemini平台公布的模型定价将token转换为美元。

从token到预算：实例说明

假设您希望使用Gemini 3.1 Flash-Lite模型将项目每日AI支出控制在约100美元。根据当前公布的定价（BigQuery批量处理提供50%折扣）：

• 输入token：每百万个token 0.125美元
• 输出token（响应+推理）：每百万个token 0.75美元

如果小样本运行显示平均输入与输出token比例为100:1，可通过以下公式计算每日预算： 成本：0.125 × I + 0.75 × O = 100（I、O单位为百万token） 比例：I = 100 × O

解得每日约需7.54亿输入token和754万输出token。将每日AI输入token和输出token设为这些数值，可使项目支出保持在约100美元/天。如果项目使用不同价格的模型，请按模型单独设置预算或混合计费。

AI成本管理最佳实践

• 从按用户配额开始。它们可以防止单个用户或失控的实验耗尽项目预算。
• 扩展前先测量。使用AI.COUNT_TOKENS估算输入规模，然后在设置限制前通过使用情况图表检查小样本运行。
• 注意输出端。输出token成本更高。当函数支持max_output_tokens参数时，设置该参数以限制生成长度。
• 持续监控并迭代。根据实际使用情况和预算变化调整限制。

入门指南

基于token的成本管理功能现已开放。开始操作步骤如下：

• 在Google Cloud Console中打开IAM & Admin → Quotas & System Limits，通过BigQuery API筛选配额。
• 查看四个与AI相关的token配额，设置与预算匹配的限制。
• 使用AI.COUNT_TOKENS估算输入数据规模。

如需完整细节，请参阅控制生成式AI成本的文档。

通过设置基于token的防护措施，您的团队可以在BigQuery中使用生成式AI，实现组织所需的成本可预测性。

发布分类：

• 数据分析
• AI与机器学习
• BigQuery