BigQuery ObjectRef now GA: Build multimodal data platforms for conversational analytics entirely in SQL

使用 ObjectRef 在 BigQuery 中分析非结构化数据 | Google Cloud Blog

数据分析

BigQuery ObjectRef 现已正式发布：通过 SQL 完全构建多模态数据分析平台

2026 年 10 月 22 日

##### Guarav Soni

工程经理

##### Jamy Su

产品经理

##### AI 基础设施的未来

11 月 9 日了解如何通过协同设计的开放系统扩展 AI

注册

对于数据科学、数据工程和机器学习团队而言，释放图像、视频、音频和文档等非结构化数据的价值，传统上意味着需要管理结构化数据和非结构化数据、分析和 AI/ML 用例的孤立数据管道。即使文件保留在 Cloud Storage 中，运行推理仍需要团队协调外部机器学习工作负载，最终面临将结构化推理输出重新拼接到数据仓库进行分析时的复杂且脆弱的挑战。这种事后数据拼接会引入显著的运营开销和数据库不一致。

ObjectRef 和 BigQuery 中的多模态数据分析现已正式发布（GA），确立了 BigQuery 作为全面的多模态智能数据平台的地位。

通过 ObjectRef，BigQuery 本地连接 Cloud Storage 与分析引擎。您可以将非结构化数据直接作为原生 ObjectRef 列，与传统关系型列并存。这相比独立模型 API 带来了巨大优势，使您能够通过单个 SQL 查询或自然语言查询，直接向 Gemini 模型传递多模态、多列输入。BigQuery AI 与 BigQuery 对话式分析、Gemini Enterprise 的 ObjectRef 集成，使您能够轻松地将 Cloud Storage 文件与丰富的结构化数据库上下文、元数据、时间戳和自定义代理指令结合。

现在您可以利用 BigQuery 的核心优势（完全无服务器计算、低总拥有成本、内置的大规模推理能力），构建、运行和治理强大的非结构化到结构化、非结构化到非结构化以及完全多模态到多模态的数据管道，而无需单独的计算集群。关键的是，通过将 ObjectRef 存储在相同行中，提取的特征和注释可以直接与非结构化对象本身结合。在对话式分析和 AI 代理中直接使用这种组合数据，可以避免客户将非结构化文件转换为纯结构化格式时通常发生的细微数据和上下文丢失。客户已开始使用此方法通过标准 SQL 为多模态向量搜索生成嵌入，使用 GenAI 进行大规模分类，并从大量文档和媒体档案中执行精确的数据和特征提取。

加载中...

SELECT AI.AGG(image_ref, "Summarize the major categories of pictures") FROM bigquery-public-data.cymbal_pets.products;

ObjectRef 为非结构化数据带来结构

ObjectRef 是 BigQuery 中内置的预定义 STRUCT 数据类型，指向 BigQuery 之外的对象。

-- ObjectRef 是 BigQuery 中的特殊 STRUCT struct { uri string, authorizer string, version string, details json { gcs_metadata json } }

通过将这些指针原生存储在标准的BigQuery表中并与传统列并存，BigQuery将非结构化文件视为一等公民数据。此外，这种架构支持独立的数据生命周期：您的GCS数据和BigQuery表可以相互独立地变更，而不会影响另一系统中的底层数据。

该方法通过提供强大的优势，满足多种数据使用场景的需求：

• 零拷贝架构：将高流量媒体文件安全地保留在Cloud Storage中，并通过BigQuery即时查询，遵循数据重力原则，避免昂贵的数据复制成本。

• SQL与Python互操作性：您可以使用标准SQL或BigQuery DataFrames查询非结构化数据。关键的是，您可以将ObjectRefs传递到BigQuery Python UDF中，从而直接将OpenCV等开源Python库带到数据旁，无需移动数据即可执行自定义逻辑。

• 独立生命周期与版本控制：ObjectRefs通过跟踪特定GCS生成编号确保可复现的推理。如果底层GCS文件变更，您的查询仍可引用写入行时存在的文件精确版本。

• 统一治理：您可以使用BigQuery现有的安全策略和IAM控制，对结构化列及其相关非结构化文件进行统一的安全防护、审计和访问共享。

使用SQL创建全保真ETL

自ObjectRef预览版发布以来，我们的用户中出现了一种强大且高效的应用模式：完全使用SQL构建全保真ETL流水线。

团队正在利用BigQuery的无服务器架构，将AI/ML直接集成到数据环境中，无需单独的计算集群处理数据传输和推理。将GCS中的非结构化数据作为标准BigQuery列进行管理，使用户能够直接对图像、视频、音频和文档应用核心数据工程最佳实践，例如构建幂等流水线、确保可复现性以及执行无缝回填。

当数据经过充分准备后，团队会使用Gemini在BigQuery中执行全保真ETL。他们通过提取特征并标注非结构化数据，同时保持原始ObjectRef锚定在相同行中，实现双层分析。结构化输出支持快速过滤、报告和BI仪表板，而附加的非结构化对象则可用于深度、上下文丰富的推理。例如，您可能从客户通话录音档案中提取情感评分和主题标签，在BI仪表板上快速标记高风险账户（结构化层）。同时，评估升级流程的对话式分析代理可以无缝回退到原始音频文件，分析来电者与客服代表的互动，避免非结构化到结构化ETL流水线中通常出现的关键细节丢失问题。

行业领先企业的已验证应用场景

“在Snap，社区安全始终是我们的首要任务，我们致力于减少用户接触到违反社区准则内容的暴露风险。我们定期审查公开帖子的样本，通过结合使用ObjectRef与BigQuery AI，我们从简单的随机抽样过渡到分层抽样。这一转变提高了人工审核流程的效率，使我们能够将释放出的资源重新投入新的扩展工作流，进一步增强我们检测和应对潜在有害内容的能力。” - Carlos Ortiz，Snap数据科学家

在预览阶段，我们看到了多种关键工作负载的采用情况。客户已成功将这些实验性管道迁移至生产环境，将非结构化数据转化为可操作的结构化洞察：

• 内容审核：在线平台利用BigQuery将多媒体资产与标准遥测数据集成到单一管道中，从根本上提升审核和安全结果。
• 主动威胁检测：企业安全团队使用BigQuery分析视觉和结构化网页组件与网络日志，推动主动威胁识别的关键进展。
• 库存合规性：在线零售商直接从庞大的图像库中提取文本和上下文，以大规模自动标记监管或品牌合规问题。
• 客户体验：以服务为导向的企业使用BigQuery AI分析客服代理与客户之间的音频互动，评估客户情绪并改进服务交付。

GA版本新特性

我们优化了通用可用性（GA）版本的开发者体验，重点支持多种客户使用场景：

• 灵活的身份验证：
• 在GA版本中，我们为ObjectRefs引入了终端用户凭证（EUC）支持。用户现在可以使用个人IAM身份直接快速查询和探索非结构化数据，进行即席分析。
• 在预览阶段，查询非结构化文件需要为ObjectRefs显式设置BigQuery连接。虽然这些连接仍完全受支持，并且是构建稳健服务账号驱动生产管道的推荐最佳实践，但我们认识到它们需要额外的配置步骤。
• 统一支持云存储元数据：我们深知您的非结构化数据元数据分布在Google Cloud的多个位置。ObjectRef现在原生支持这些来源的完整范围。无论您的元数据当前存储在BigQuery对象表、Cloud Storage洞察数据集，还是作为标准BigQuery表中的原始字符串URI，您都可以无缝创建和管理ObjectRefs以分析底层数据。
• 数组支持用于对比分析：我们引入了原生处理数组中ObjectRefs的功能。这使全新类型的工作负载成为可能，例如比较多个文档、分析图像序列或在单个语义调用中批量处理项目。

实际应用：端到端多模态分析

为了展示这些GA更新的强大功能，让我们看看如何使用我们优化的SQL操作符构建现实世界的多模态管道。

#### 1. 高保真ETL：呼叫中心语音分析

分析客户服务中心通话记录时，传统方式需要将音频文件转移到专用的转录和自然语言处理集群。使用ObjectRef后，您可以直接解析音频文件，提取结构化商业情报，并将其作为标准关系型列添加。

使用GA的OBJ.MAKE_REF()函数，可自动从原始字符串URI中检测音频格式，并结合BigQuery的托管AI函数处理常见使用场景。例如，您可以使用AI.CLASSIFY()对客户通话类型进行分类。默认情况下，BigQuery为AI函数启用优化模式以减少消耗的令牌数量。

CREATE OR REPLACE TABLE call_center.annotated_call_logs AS SELECT customer_id, call_date, OBJ.MAKE_REF(audio_uri) as ref, AI.CLASSIFY( OBJ.MAKE_REF(audio_uri), [ "Lost or stolen card", "Declined card payment", "Activate my card", "Order physical card", "Cancel transfer", "Password or pin forgotten", "Virtual card not working", "Card swallowed by ATM", "Balance not updated after bank transfer", "Balance not updated after check or cash deposit", "Extra charge on statement", "Transfer fee charged" ] ) AS customer_issue_type, FROM call_center.raw_call_logs;

该表可作为BigQuery对话式分析代理的多模态数据源。当需要额外信息时，代理会使用BigQuery AI函数将自然语言查询转换为SQL以分析音频文件。

#### 2. 大规模生成式AI过滤：产品合规性

数据工程师经常需要根据图像或文档内容过滤海量数据集。现在您可以直接在WHERE子句的标准SQL中使用声明式AI.IF()运算符，无需运行重型生成式查询或解析文本输出。默认的

优化模式

可进一步减少消耗的令牌数量以优化工作负载。

SELECT product_id, seller_id, FROM ecommerce.vendor_uploads WHERE upload_date >= CURRENT_DATE() - 1 AND AI.IF(("Does this product image contain a restricted item or policy violation?", OBJ.MAKE_REF(image_uri))

#### 3. 多对象推理：主动威胁检测

借助GA原生的数组支持，现在可以将ObjectRefs数组传递给单个Gemini调用，通过Gemini同时分析多个文件。

这使复杂比较逻辑可以直接在SQL中实现。例如，安全团队可以同时向Gemini传递官方登录页面截图和新发现的可疑网页截图，以大规模检测钓鱼攻击：

SELECT log_id, suspect_domain, assessment.is_phishing, assessment.visual_discrepancies FROM ( SELECT log_id, suspect_domain, AI.GENERATE( ( "Compare these two web UI screenshots. The first is our official, trusted login page. The second is a suspected spoofed page. Identify any visual discrepancies, missing logos, or fake elements, and determine if it is a phishing attempt.", [OBJ.MAKE_REF(trusted_ui_uri),OBJ.MAKE_REF(suspect_ui_uri)] ), output_schema => 'is_phishing BOOLEAN, visual_discrepancies STRING' ) AS assessment FROM cybersecurity.network_ui_logs );

立即开始分析

BigQuery ObjectRef现已在所有BigQuery版本和按需计费层级上正式发布。

如果你目前正通过管理复杂且碎片化的基础设施来对 Cloud Storage 文件执行机器学习推理，现在是时候进行整合了。将人工智能直接引入你的存储。立即利用现有的数据工程实践，在 BigQuery 中构建强大、可扩展且安全的多模态分析流水线。

要开始使用 ObjectRef 和多模态分析，请查看以下资源：

• 通过我们的实践教程，使用合成数据生成图像标题并分配产品类别。
• 观看 Cloud Next 的实时演示，了解如何统一非结构化和结构化数据，使用大语言模型生成文本并执行向量搜索。
• 在 BigQuery 文档中学习如何使用 ObjectRef。

发布于

• 数据分析
• BigQuery