Databricks

Read, don't copy: replacing file feeds with OpenSharing - Part 2 (How to Implement)

7.1内容质量

TL;DR · AI 摘要

Read, don't copy: replacing file feeds with OpenSharing - Part 2 How to Implement Databricks Blog Skip to main content E...

核心要点

  • 主题聚焦:Read, don't copy: replacing file feeds with Open
  • 来源:Databricks,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算#产品
打开原文

读取而非复制:用 OpenSharing 取代文件馈送 - 第 2 部分(如何实现) | Databricks 博客

跳至主要内容

工程

2026 年 11 月 6 日

读取而非复制:用 OpenSharing 取代文件馈送 - 第 2 部分(如何实现)

接收方对共享表的实际操作

Jordan Soldo 和 Nikhil Tallam 撰写

摘要

  • OpenSharing 通过开放协议暴露 Delta 表,使接收方能够实时读取,而非从定时文件或 API 导出中摄入数据。
  • 它消除了文件和 API 馈送所需的每个接收方导出任务、文件跟踪和对账流程。
  • 接收方将共享表作为带有检查点的增量流读取,通过变更数据馈送接收行级插入、更新和删除操作。

许多数据共享架构都始于一个熟悉的模式:

  • 提供方按计划导出文件。
  • 文件存储在存储桶中或通过 SFTP 端点传输。
  • 接收方检测到新文件后加载、去重,并跟踪已处理内容。
  • 更新和删除需要额外的约定或对账任务。

本文第 1 部分解释了为什么共享表可以作为定期文件或 API 馈送的更好替代方案。现在让我们看看接收方实际上如何使用该表。

本指南重点介绍 Databricks 到 Databricks(D2D)共享。接收方拥有启用 Unity Catalog 的 Databricks 工作区,并通过共享目录访问共享表。提供方共享包含历史记录的表,使接收方能够将其作为结构化流源使用。我们将在后续内容中讨论 Databricks 到 Open(D2O)共享。

OpenSharing 如何取代馈送

Delta 表保留了对其所有更改的有序历史记录。OpenSharing 通过开放协议暴露该表而无需复制。数据保留在提供方的存储中,接收方可以实时读取。

在接收方侧,您只需将结构化流读取器指向共享表。Spark 会记录已读取的位置,因此每次运行只会获取自上次运行以来的更改。跟踪“自上次查看以来的新内容”成为引擎的任务,在保留血缘关系和访问控制的治理数据上运行。

设置共享(双方都需要)

让我们以一个例子说明:一家零售商维护一个实时订单表,并与运行 Databricks 的外部接收方共享该表。接收方无需接收每日 CSV 文件,而是可以直接查询共享的订单表。如果接收方需要本地副本用于分析或下游工作负载,它可以将数据增量式物化为 Delta 表。设置只需进行一次,并在提供方和接收方之间分配。

提供方

创建启用变更数据馈送的源表,然后通过 WITH HISTORY 在共享中发布该表。历史记录使该表成为增量源。没有它,接收方只能获取静态快照。对于下面的主要增量读取,启用变更数据馈送(delta.enableChangeDataFeed)是可选的。仅在计划后续使用更新和删除路径时才启用。如果您使用的是 Databricks Runtime 19 或更高版本,可以跳过该属性,依赖于自动变更数据馈送,它会在查询时为启用了行跟踪的表计算行级更改,并与 Databricks 到 Databricks 的 OpenSharing 兼容。

$

/$

通过共享标识符注册接收方,然后授予共享权限:

请注意,CREATE SHARE 和 CREATE RECIPIENT 需要元数据存储级别的权限,而不仅仅是工作区管理员权限。

接收者

现在该共享内容会以提供者身份显示在您的元数据存储中。将其挂载为目录后,您可以像读取其他表一样读取它。

读取数据流

将共享内容挂载为 shared_in 后,读取操作由结构化流处理。

Trigger.AvailableNow 会使用一个或多个微批次处理当前可用的未处理数据,然后终止。这使其非常适合定时增量作业。除了固定计划外,您还可以通过在共享表上配置表更新触发器来设置作业,这样作业仅在提供者提交新数据时运行。建议将检查点存储在 UC Volumes 等耐用的云存储中。

注意:此示例通过 Delta Sharing 读取共享表,因此使用 ignoreChanges。如果您直接从常规 Delta 表进行流式处理,较新的 Databricks 运行时会使用 skipChangeCommits 进行仅追加处理。

为了验证其确实为增量处理,首先针对初始数据集运行一次流。在提供者有新数据后再次运行。目标表的提交历史将显示两次流式写入:

版本 | 操作 | 操作指标 --- | --- | --- 2 | STREAMING UPDATE | numRemovedFiles: 0, numOutputRows: 200, numOutputBytes: 2307, numAddedFiles: 1 1 | STREAMING UPDATE | numRemovedFiles: 0, numOutputRows: 1000, numOutputBytes: 4958, numAddedFiles: 1 0 | CREATE TABLE | {}

第二次运行写入了 200 行而非 1200 行。检查点跟踪了最后一次读取的版本,因此运行时仅获取了新数据。

ignoreChanges 适用于这种增量落地模式,但它可能会重新发出行数据且不传播删除操作。如果下游消费者需要插入、更新和删除操作,请改而读取共享表的变更数据源(Change Data Feed):

操作层面的变化

当新增客户时,提供者无需创建新的 SFTP 端点或实现新的导出作业。提供者只需授予接收者对共享的访问权限。接收者使用相同的通用模式,同时保持其自身的目标表和下游业务逻辑独立。这种操作差异具有重要意义:

  • 提供者管理单个受控源表,而非单独的导出表。
  • 通过共享进行访问控制:D2D 接收者使用共享 Unity Catalog 的权限,而 D2O 接收者使用适用的 OpenSharing 凭据流程。
  • 接收者从表历史中获取数据,而非通过自定义文件或时间戳进行跟踪。
  • 补数据可通过历史表版本实现,无需提供者重新生成旧文件。
  • 当需要相关行为时,变更数据源会向接收者明确提供插入、更新和删除事件。
  • 双方有更清晰的边界:提供者拥有共享数据产品,接收者拥有其下游处理逻辑。

非 Databricks 接收者(D2O)

以上所有功能之所以可行,是因为接收者在 Databricks 上运行 Spark,这使得检查点流和 CDF 成为可能。其他接收者(如 pandas、BI 工具、Snowflake)则通过 OpenSharing 使用凭据文件而非元数据存储共享 ID 进行连接。

如果他们运行的是 OSS Spark,读取操作与通过 delta-sharing 连接器的 spark.readStream 代码相同。没有 Spark 的情况下无法实现持续流,因此他们通过版本范围拉取变更:

使用 OpenSharing 开始数据摄取

一个有用的初始项目无需解决所有共享场景。从一个常规的Delta表和一个接收方开始。

在实现数据流之前,请先回答以下问题:

  • 接收方是D2D还是D2O?
  • 接收方需要快照、增量读取,还是行级CDC?
  • 共享内容是否包含历史数据?
  • 如果必须传播更新和删除操作,是否启用了CDF?
  • 接收方将使用哪个版本的Databricks Runtime或OpenSharing连接器?
  • 接收方如何处理重试、重复数据、删除操作和模式变更?
  • 共享进入生产环境后,谁负责监控和维护?

在明确这些问题的答案后,验证最小的端到端流程:创建共享、读取初始快照、写入新行、更新行、删除行,并确认接收方能看到预期结果。

这就是OpenSharing使能的实用转变。您无需为每个客户构建新的传输和摄入工作流,而是可以建立一个受控的数据共享协议,让每个接收方通过适合其平台的路径消费数据。

参考资料

  • 读取使用Databricks到Databricks OpenSharing共享的数据
  • 使用Apache Spark DataFrames读取OpenSharing共享表
  • 什么是OpenSharing?
  • 为OpenSharing创建共享
  • 在Databricks上使用变更数据馈送
  • Delta Lake表的流式读取和写入

刚接触OpenSharing?请从《什么是OpenSharing?》和《为OpenSharing创建共享》开始,然后针对一个表和一个接收方实施上述最小的端到端流程。

相关标签:

教程

订阅以获取最新文章

订阅我们的博客,将最新文章直接发送到您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"