Agentic data science with the Data Agent Kit

为数据代理工具包助力 | Google Cloud 博客

数据分析

智能体数据科学与数据代理工具包

2026年10月13日

##### Jeff Nelson

Google 开发者关系工程师

##### 11月4日：智能体数据云活动

与我们的产品负责人共同规划您的智能体未来

注册

假设您的合规团队发现支付清算时间比预期更长。他们怀疑存在欺诈行为，而您作为数据科学家需要协助确定优先调查哪些交易。要生成这份待调查交易清单，需要完成以下步骤：导入并清理原始交易日志、基于历史欺诈数据训练模型、对新记录进行评分，并安排流水线每日运行。以下将展示如何通过 Antigravity IDE 中的数据代理工具包，使用智能体构建完整的端到端工作流。

数据代理工具包简介

数据代理工具包通过代码代理插件或基于 Visual Studio Code 的 IDE 扩展，帮助您与 Google Cloud 数据进行交互。它为工作流带来两大重要改进：

• 智能体辅助功能：MCP 工具将智能体连接到数据服务。技能以 Markdown 文件形式提供，包含操作数据栈的指令和最佳实践

• IDE 内置工具：无需离开编辑器即可使用 Google 智能体数据云功能，从数据库查询到部署 Airflow 流水线均可完成

数据加载

让我们从 Google Cloud Storage 中的原始交易日志开始。您可以要求智能体创建一个笔记本，使用 Spark 将其加载到 BigQuery 中：

加载中...

创建 PySpark 笔记本，从 gs://financials-clearing-raw/ 加载 JSON 交易日志到 BigQuery 表 transactions.raw_transactions。

智能体会生成一个 Jupyter 笔记本，将 JSON 日志加载到名为 raw_transactions 的 BigQuery 表中。您可以打开笔记本，查看代码，并通过 IDE 中预配置的 Spark 无服务器运行时执行。

运行生成的 PySpark 笔记本

笔记本运行完成后，您可以使用数据代理工具包打开 raw_transactions 表。该扩展允许您直接在 IDE 中浏览表并检查其元数据。

在 IDE 中检查 BigQuery 表

现在数据已进入 BigQuery，但尚未准备好进行模型训练。首先需要处理重复和不完整的记录，然后将剩余记录与支付发送方和接收方信息进行关联。

数据清理

让我们将清理逻辑放入 dbt 项目中，以便对每一批新数据运行。我们还将测试每笔交易是否唯一。向智能体发出指令：

在 dbt_project/ 中为 BigQuery 数据集 transactions 创建一个 dbt 项目。在暂存区通过 transaction_id 去重 raw_transactions。将 ID 为空的记录分离到 invalid_transactions。将有效记录与 dim_payers 和 dim_payees 关联，生成 enriched_transactions，保留 is_fraud 标签。添加交易唯一性测试。

智能体会生成包含 SQL 模型的 dbt 项目，用于数据清理和丰富。查看生成的代码，检查其如何处理重复项和关联参考表。然后在终端运行 dbt build。这将在 BigQuery 中构建暂存和丰富表，以及一个单独的表用于存储缺少交易 ID 的记录。dbt 还会运行唯一性测试。

在集成终端中验证 dbt 模型

我们保留 is_fraud 列，该列用于标识过去的交易是否为欺诈交易。我们将使用已知标签的记录训练模型，并用它对新交易进行评分，这些交易目前尚不清楚是否发生欺诈。

构建审核队列

数据准备就绪后，让我们请代理创建一个使用 Spark Serverless 上运行的随机森林分类器的训练笔记本。

创建一个 PySpark 笔记本，在表 transactions.enriched_transactions 上训练 RandomForestClassifier。仅使用标签不为空的记录进行预测，对分类特征进行编码，对金额进行标准化，并使用 ROC AUC 评估模型。将评估后的模型保存到 gs://models/fraud_model。

审阅并运行该笔记本，然后检查其评估输出，查看模型在区分欺诈交易和合法交易方面的表现。你也可以使用 Data Agent Kit 扩展来验证训练后的模型工件是否已保存到 Google Cloud Storage。

在 Google Cloud Storage 中验证训练后的模型工件

现在我们可以使用保存的模型对尚未具有 is_fraud 值的交易进行评分：

创建一个批量推理笔记本，从 gs://my_models/fraud_model 加载保存的模型，并对 transactions.enriched_transactions 中 is_fraud 为空的记录进行评分。将欺诈概率评分大于等于 0.50 的交易写入 Spanner 表 SparkEvalFraudReviewQueue，该表位于实例 cymbal-fraud 和数据库 fraud-db 中。

在这个示例中，推理笔记本在 BigQuery 中对未标记的交易进行评分，并将欺诈概率估计值达到 50% 或更高的交易发送到 Spanner 审核队列。标记的记录可以帮助团队决定需要调查的位置，但团队仍需确定是否发生了欺诈。

查看推理笔记本如何过滤和写入标记的记录，然后运行它。运行完成后，在 IDE 中查询 Spanner 表以检查结果。

在 Spanner 表中查询标记的交易

这张表就是我们最初要构建的列表。合规团队现在可以开始审核交易，我们已经建立了一个将原始日志记录到队列的工作流程。

到目前为止，我们都是手动启动每个步骤的。现在我们可以将它们连接起来，使工作流程每天自动运行。

明天再次运行

每天我们将加载最新的日志，应用 dbt 转换，并使用保存的模型对未标记的交易进行评分。我们将使用 Apache Airflow 的托管服务按顺序运行这些步骤。请向代理请求：

创建一个名为 fraud_analysis_pipeline 的编排流水线，按顺序运行数据摄入、dbt 项目和批量推理。每天午夜安排执行。使用 Spark Serverless 运行笔记本，包括用于推理的 Spanner 连接器，并使用 gs://YOUR_ARTIFACT_BUCKET 作为工件存储。

代理将生成 YAML 流水线定义和部署配置。流水线定义设置调度和步骤之间的依赖关系。同时，部署配置指定它将在哪个 Airflow 环境中运行。

Data Agent Kit 随后将定义转换为 Airflow DAG，你可以在 IDE 中以交互式图表的形式查看它。在“编排流水线”下打开流水线，点击任务以查看详细信息。对于笔记本任务，你可以直接通过链接返回到代码。

检查数据流水线

配置好 Airflow 环境后，在画布中点击“运行管道”。数据代理工具包会打包笔记本和 dbt 项目，部署 DAG 并触发运行。打开管道的执行历史记录可查看进度。你也可以选择单个任务，检查其状态、持续时间和日志。

启动 Airflow DAG 并查看日志

Airflow 将每天运行该管道，将新批次的原始日志数据传输到审核队列。现在合规团队可以专注于标记的交易，而你已将这些记录传递给他们的工作流程实现了自动化！

自行尝试

如果你准备亲自尝试，我们设计了一个代码实验室，逐步引导你完成完整设置，帮助你构建并运行此工作流。你也可以阅读我们的文档，或查看 GitHub 上开源仓库中的技能和工具。

##### 使用数据代理工具包的智能分析

数据代理工具包是一组 MCP 服务器和代理技能，帮助数据开发人员从 IDE 中运行数据工作流。它既支持 VS Code 分支（Antigravity IDE、Cursor）的扩展形式，也支持其他工具（Antigravity 2.0、Antigravity CLI、Claude Code、Codex）的插件形式。

By Jeff Nelson • 6 分钟阅读

发布于

• 数据分析