Zero-shot predictions in Pandas using the new BigQuery Accessor
TL;DR · AI 摘要
Google Cloud推出BigQuery Accessor,允许在Pandas中直接调用AI函数进行零样本预测,无需本地训练模型。
核心要点
- 使用.bigquery accessor可跳过本地训练流程,直接在BigQuery执行AI预测
- ai.predict()函数支持通过两个DataFrame进行回归任务,简化ML流程
- TabFM等基础模型在BigQuery基础设施上原生执行,返回标准DataFrame结果
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- BigQuery Accessor
- 核心功能
- 零样本预测
- AI函数调用
- 工作原理
- Pandas操作转换
- BigQuery SQL执行
- 优势
- 无需本地训练
- 云基础设施
金句 / Highlights
值得收藏与分享的关键句。
ai.predict()函数能直接在两个DataFrame上执行回归任务,简化整个ML流程
传统方法需要本地训练模型,而新方法完全跳过本地流程
TabFM等基础模型在BigQuery基础设施上原生执行,返回标准DataFrame
BigQuery AI 函数在 Pandas 中的应用 | Google Cloud 博客
数据分析
使用新的 BigQuery 访问器在 Pandas 中实现零样本预测
2026年11月7日
##### 蔡沈阳
高级软件工程师
##### Data Cloud 按需服务
观看我们的产品负责人为您构建智能体未来。
立即加入
想象一下,无需离开熟悉的 pandas DataFrame,即可运行高级机器学习工作流——从预测和分类到高维嵌入生成。借助 BigQuery DataFrames(BigFrames)的新 .bigquery 访问器,这一愿景现已成为现实。您可以在 pandas 中无缝调用 BigQuery 的企业级 AI 函数,在云基础设施上扩展数据科学和 ML 管道。
以线性回归为例。传统上,需要运行回归的 pandas 用户必须本地提取数据,手动选择特征,并像这样训练自定义的 scikit-learn 模型:
加载中...
import pandas as pd from sklearn.linear_model import LinearRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline # 从 CSV 加载历史训练数据 train_df = pd.read_csv('historical_data.csv') # 分离特征 (X) 和目标 (y) X_train = train_df[['feature_1', 'feature_2']] y_train = train_df['target_metric'] # 构建和训练建模管道 # StandardScaler 确保不同尺度的特征不会偏置模型 model_pipeline = make_pipeline(StandardScaler(), LinearRegression()) model_pipeline.fit(X_train, y_train) # 从另一个 CSV 加载用于推断的新数据 new_data_df = pd.read_csv('new_data.csv') X_new = new_data_df[['feature_1', 'feature_2']] # 进行预测 # (管道在预测前会自动对新数据进行缩放) new_data_df['predictions'] = model_pipeline.predict(X_new) print(new_data_df.head())
现在,通过 .bigquery 访问器,您可以完全跳过本地训练过程,直接在 BigQuery 中使用强大的 ai.predict() 函数:
import pandas as pd import bigframes.pandas as bpd # 启用 bigquery 访问器 # 设置使用 AI 函数的 GCP 项目。 bpd.options.bigquery.project = 'my-project' train_df = pd.read_csv('historical_data.csv') new_data_df = pd.read_csv('new_data.csv') # 使用 TabFM 进行预测 predictions = train_df.bigquery.ai.predict(new_data_df, label_col='target_metric') print(predictions)
如您所见,ai.predict() 能够通过单个函数调用直接在两个 pandas 数据帧上执行回归任务,这大大简化了整个 ML 流程。
BigQuery 访问器的工作原理
在底层,.bigquery 访问器使用 BigQuery DataFrames 库将您的计算透明地推送到 Google Cloud。当您调用类似 .ai.predict() 的 AI 方法时,它不会在本地计算回归。相反,它将 pandas 操作转换为 Google 标准 SQL,在 BigQuery 的基础设施上原生执行相应的基础模型(如 TabFM),并无缝地将结果作为标准 pandas DataFrame 返回。这使您能够轻松处理本地数据集,并利用 BigQuery 独有的强大功能。
以下部分详细介绍了其他可执行的代码示例。您也可以在本笔记本中找到所有示例。
环境设置
在执行本文中的代码示例之前,请确保您拥有一个具有以下角色的 Google Cloud 项目(有关 AI 函数的权限详情请参阅此处):
- 运行查询任务:BigQuery 作业用户 (roles/bigquery.jobUser)
- 访问 Gemini 企业代理平台中的基础模型:代理平台用户 (roles/aiplatform.user)
接下来,在 Jupyter 环境中安装 pandas 和 bigframes。要启用 AI 访问器,只需导入 bigframes 库并指定 Google Cloud 项目 ID。这将确保所有后续 AI 函数调用都通过您的授权项目进行路由:
import bigframes.pandas as bpd # 将项目 ID 替换为您的项目 bpd.options.bigquery.project = "my-project"
配置完成后,您可以直接在标准 pandas 对象上调用 BigQuery AI 函数。
pandas series 上的函数
附加到 pandas Series 的 AI 函数接受单列输入序列。
示例:AI.EMBED
生成向量嵌入是许多现代自然语言处理和语义搜索流程中的关键步骤。通过使用 ai.embed() 函数,您可以使用简洁的表达式为整个文本列计算嵌入。
import pandas as pd animals = pd.Series(['dog', 'fish']) animals.bigquery.ai.embed(endpoint='text-embedding-005') # 0 {'result': array([ 1.78243860e-03, -1.10658340... # 1 {'result': array([-7.29714287e-03, 1.04725976... # dtype: struct<result: list<item: double>, status: string>[pyarrow]
在后台,BigFrames 会将 pandas Series 转换为 BigQuery 处理格式,并将输出转换回原生 pandas Series。从开发者的角度来看,整个工作流程完全保持在 pandas 环境中。
result = animals.bigquery.ai.embed(endpoint='text-embedding-005') type(result) # pandas.Series
请注意,此操作的输出是一个原生 pandas Series,包含生成的嵌入列表。BigFrames 处理临时的 BigQuery 转换、模型执行和最终数据格式化,确保您无需离开熟悉的 pandas 接口。
示例:AI.SIMILARITY
当需要计算语义相似度时,ai.similarity() 函数会计算您的系列元素与目标之间的余弦相似度分数。该目标可以是标量字面字符串或另一个系列。以下是如何将 pandas Series 与标量字符串进行比较以查找匹配概念的方法:
import pandas as pd animals = pd.Series(['dog', 'fish']) animals.bigquery.ai.similarity('shrimp', endpoint='text-embedding-005') # 0 0.629751 # 1 0.768028 # dtype: Float64
同样,您可以对两个不同的 pandas Series 对象进行成对比较,以在不同数据集中查找语义相关性:
import pandas as pd animals = pd.Series(['dog', 'fish']) random_stuff = pd.Series(['smart phone', 'salmon']) animals.bigquery.ai.similarity(random_stuff, endpoint='text-embedding-005') # 0 0.651206 # 1 0.835251 # dtype: Float64
在这两种情况下,返回的对象都是带有浮点相似度分数的标准 pandas Series,可立即与下游 pandas 方法(如过滤或排序)兼容。
pandas DataFrame 上的函数
DataFrame AI 函数处理多列结构化表格或处理涉及多个数据输入的复杂提示。
示例:AI.FORECAST
时间序列预测通常需要大量重复代码来处理时间戳、分组实体和训练模型。ai.forecast() 函数通过简单且高级的参数,对分组后的结构化数据执行时间序列预测。为了演示这一点,首先准备表示历史销售数据的输入示例 DataFrame:
import pandas as pd
dates = pd.date_range("2025-01-01", periods=14, freq="D")
df = pd.DataFrame({
"date": dates.tolist() * 2,
"item_id": ["item_1"] * 14 + ["item_2"] * 14,
"sales": [100, 105, 110, 115, 120, 125, 130, 135, 140, 145, 150, 155, 160, 165, 50, 52, 55, 58, 60, 62, 65, 68, 70, 72, 75, 78, 80, 85],
})
df.sample(5)# date item_id sales
# 15 2025-01-02 item_2 52
# 10 2025-01-11 item_1 150
# 24 2025-01-11 item_2 75
# 26 2025-01-13 item_2 80
# 7 2025-01-08 item_1 135数据准备完成后,可以直接在 DataFrame 上调用 ai.forecast()。此处指定目标指标、时间戳列、分组键以及 3 天的预测范围:
df.bigquery.ai.forecast(
data_col="sales",
timestamp_col="date",
id_cols=["item_id"],
horizon=3
)# item_id forecast_timestamp forecast_value confidence_level \
# 0 item_1 2025-01-16 00:00:00+00:00 174.257492 0.95
# 1 item_1 2025-01-15 00:00:00+00:00 167.466003 0.95
# 2 item_1 2025-01-17 00:00:00+00:00 180.491333 0.95
# 3 item_2 2025-01-17 00:00:00+00:00 91.997520 0.95
# 4 item_2 2025-01-15 00:00:00+00:00 87.950104 0.95
# 5 item_2 2025-01-16 00:00:00+00:00 90.050346 0.95
# prediction_interval_lower_bound prediction_interval_upper_bound \
# 0 175.728216 177.857420
# 1 169.347890 169.553343
# 2 178.587954 185.040092
# 3 79.145413 100.786089
# 4 82.876698 92.470649
# 5 81.460533 96.463373
# ai_forecast_status
# 0
# 1
# 2
# 3
# 4
# 5返回的 DataFrame 提供完整的预测值以及统计参数(如置信水平和预测区间)。内部会触发一个 TimesFM 模型执行趋势分析,并将结构清晰的结果以 pandas DataFrame 形式返回到本地环境。您也可以通过 model 参数选择模型版本。例如,传递 model="TimesFM 3.0" 可使用最新版 TimesFM 模型(目前在 BigQuery 中处于预览状态),该模型在 GIFT-Eval、FEV-Bench 和 TIME 预测基准测试中排名第一。
示例:AI.IF
基于自然语言条件过滤行是生成式 AI 最常见的任务之一。ai.if_() 函数会评估由字面字符串和 DataFrame 列构建的提示,并为每一行返回 True 或 False:
import pandas as pd
df = pd.DataFrame({
"animal": ["cougar", "fish"],
"habitat": ["mountain", "grassland"]
})
prompt = (df["animal"], " lives in the ", df["habitat"])
df.bigquery.ai.if_(prompt)# 0 True
# 1 False
# dtype: boolean由于 ai.if_() 返回布尔 Series,因此可以直接作为 pandas 过滤掩码使用,例如 df[df.bigquery.ai.if_(prompt)]。默认情况下,ai.if_() 以优化模式运行(optimization_mode="minimize_cost"):本地蒸馏模型处理大部分行,其余行发送至 Gemini,这可减少大型数据集的成本和延迟。若要将所有行发送至 LLM,请将 optimization_mode 设置为 "maximize_quality"。
入门
通过 bigquery 访问器提供的 AI 函数,您可以在本机数据结构中直接使用高级机器学习工具,无需离开已熟悉的 Python 生态系统即可解决复杂的 AI 问题。
当前支持的 AI 功能包括以下内容(详见文档获取完整信息):
Pandas Series
- embed():为单列生成向量嵌入。
- generate_embedding():为表生成向量嵌入。
- generate_table():执行自然语言任务并生成结构化输出。
- generate_text():执行自然语言任务并生成自由格式文本。
- similarity():计算条目之间的语义相似度(余弦相似度)。
Pandas DataFrame
- classify():执行零样本分类。
- forecast():使用 TimesFM 在分组数据上运行时间序列预测,包括新版本 TimesFM 3.0。
- generate():跨多列评估动态提示以生成文本响应。
- generate_bool():评估自然语言条件并返回布尔值(True/False)。
- generate_double():评估提示并返回浮点数。
- generate_int():评估提示并返回整数。
- if_():基于自然语言条件过滤行,默认使用优化模式以降低成本和延迟。
- predict():使用 TabFM 运行预测建模(如回归分析)。
- score():根据您定义的评分体系对输入进行评分。
无论您是想生成嵌入向量还是运行完整的时间序列预测,BigQuery AI 函数都能让在 pandas 中扩展机器学习变得轻而易举。立即尝试,让数据为您完成繁重工作!
发布于
- 数据分析