Connect Amazon S3 data to Databricks with Delegated IAM Permissions

通过委托的 IAM 权限将 Amazon S3 数据连接到 Databricks | Databricks 博客

跳至主要内容

产品

2026年7月23日

通过委托的 IAM 权限将 Amazon S3 数据连接到 Databricks

通过新的外部位置创建流程，几分钟内即可建立安全的 S3 连接

作者：Gordon Wang

摘要

• 为什么更简单的 S3 连接很重要
• AWS IAM 临时委托如何为 S3 工作
• 如何通过新流程设置外部位置

更简单 S3 连接的重要性

连接 Amazon S3 是从 Databricks 中获取价值最重要的设置步骤之一。外部位置在您的 S3 存储桶和 Unity Catalog 之间提供受控连接，使 Databricks 能够安全地读写数据。这种设置是常见工作流的基础，从数据摄入和流水线到分析和治理都不可或缺。随着越来越多用户采用 LTAP（Lake 事务/分析处理），一种旨在统一事务和分析数据的新架构，这种连接的重要性也在增加，该架构在单一受控基础之上统一事务和分析数据，无需传统流水线、副本和 ETL 的开销。

目前，客户通过创建外部位置来授权 S3 连接，外部位置是 Unity Catalog 中的一个对象，将存储路径与存储凭证结合，用于授权对 S3 存储桶的读写访问。

直到现在，连接到 S3 通常是 Databricks 入门过程中最痛苦的部分之一。自动设置帮助客户减少管理云基础设施的时间，将更多时间用于构建数据智能。

自动化 S3 连接的工作原理

将 Amazon S3 存储桶连接到 Databricks 需要创建一个外部位置，这是在 Unity Catalog 中注册的连接，用于管理 Databricks 如何读写您的数据。之前，这意味着需要编写 140 行的 IAM 信任策略，配置 S3 存储桶权限，部署 CloudFormation 模板，并在 AWS 控制台和 Databricks 之间来回切换以正确注册所有内容。

现在，我们只需几步简单的点击即可完成：

底层发生了什么？

这个新流程由 AWS IAM 临时委托驱动。在您指定 S3 存储桶和访问级别后，系统会提示您登录 AWS 以验证权限。如果您拥有足够权限，即可授予 Databricks 临时的、有时限的授权，代表您创建所需资源。对于缺乏足够 AWS 权限的用户，可以在流程中直接向 AWS 管理员请求权限。

有了这种委托，Databricks 会自动处理其余步骤：

• 存储凭证：创建一个具有最小权限的 IAM 角色，并正确配置跨账户信任策略。
• 外部位置：在 Unity Catalog 中注册一个完全配置的外部位置，映射到您指定的存储桶。自动加载器和文件事件会自动启用。设置完成后，授权会自动过期。Databricks 从不保留对您的 AWS 账户的持续访问权限，所有预配期间的操作都会在 AWS CloudTrail 中记录。

手动配置工作现在可以在 Databricks 工作区的单个会话中原生完成，此前这些操作需要在多个控制台中进行。自动化配置消除了最常见的故障模式，如信任策略错误、存储桶权限缺失、ARN 配置错误，同时确保创建的每个 IAM 角色都遵循符合企业安全标准的最小权限原则。

随着越来越多用户采用 LTAP 架构，更简单的 S3 连接通过提供一个受控的云存储目标，消除了关键的基础设施障碍。操作数据可以在此目标中被分析引擎即时查询，无需单独的管道。

了解更多

在您的工作区中，导航至 Catalog Explorer → External Locations → Create（路径：/explore/locations/create），即可自动连接您的 S3 存储桶并完成自动配置。

更多信息：

• 了解外部位置的配置选项
• 从单体架构到 Lakebase 到 LTAP：重新思考从存储层开始的数据库设计
• 了解 AWS IAM 临时委托机制

订阅最新博客动态

订阅我们的博客，获取最新文章直接发送至您的邮箱。

立即订阅

查看所有博客

slice-start id="_gatsby-scripts-1"

slice-end id="_gatsby-scripts-1"