Netflix Bridges AWS IAM and Internal Identity with Workload Attestation

TL;DR · AI 摘要
Netflix Bridges AWS IAM and Internal Identity with Workload Attestation - InfoQ InfoQ Homepage News Netflix Bridges AWS...
核心要点
- 主题聚焦:Netflix Bridges AWS IAM and Internal Identity wi
- 来源:InfoQ,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
Netflix 通过工作负载认证桥接 AWS IAM 和内部身份 - InfoQ
InfoQ 首页 News Netflix 通过工作负载认证桥接 AWS IAM 和内部身份
架构与设计
扩展 OpenTelemetry:管理收集器、配置和成本(网络研讨会 11 月 19 日)
Netflix 通过工作负载认证桥接 AWS IAM 和内部身份
2026 年 10 月 21 日 2 分钟阅读
作者:
- Leela Kumili
#### 关注我们
Youtube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 点赞
Bluesky
收听本文 -
0:00
音频准备播放
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
Netflix 开发了一种工作负载认证机制,使运行在 Amazon EMR 上的 Apache Spark 作业能够将其 AWS 执行身份交换为短期的内部工作负载身份。该方案将 AWS IAM 与 Netflix 内部的 Metatron PKI 进行对接,使受管理的计算工作负载能够无需手动注入凭据即可向内部服务进行身份验证。
Netflix 大数据平台工程师 Dhruv Pratap 在 LinkedIn 帖文中描述该设计时提到:
在您自行构建的基础设施上,您可以按照自己喜欢的方式引导自己的身份。
Netflix 运行着两个身份系统。AWS 通过 IAM 执行角色为受管理的工作负载提供身份,而内部服务使用 Metatron——一个私有 PKI,用于颁发用于相互 TLS 的短期 X.509 证书。Netflix 还使用 Data Projects 作为数据访问的所有权和身份边界。因此,运行在 EMR 上的 Spark 作业需要确认其 AWS 身份与关联 Data Project 的内部身份相匹配。
该设计将每个 Data Project 映射到一个专用的 IAM 角色。由于 Netflix 预计 Data Projects 将达到数万个,这些角色在多个专用 AWS 账户池中确定性分布,而不是集中在单一账户中。
Netflix 工作负载认证流程(来源:Netflix 博客文章)
当作业提交时,Netflix 的控制平面会验证请求,解析 Data Project 的 IAM 角色,并创建一个签名的工作负载元数据负载以标识目标工作负载。控制平面是唯一被授权创建这些声明的服务。
Spark 驱动程序使用与其执行角色关联的凭据,向 AWS 安全令牌服务 GetCallerIdentity 端点创建预签名请求。Netflix 的身份服务从 AWS STS 获取请求以确定哪个 IAM 角色对其进行了签名,从而提供一个可独立验证的工作负载 AWS 身份声明。
身份服务随后将 AWS 响应与控制平面的签名元数据进行比对。AWS 响应证明了预期 IAM 角色的持有,而签名元数据标识了目标工作负载。它们的交集使服务能够颁发 Metatron 证书。
该架构还解决了 Spark 执行器的扇出问题。Netflix 不是对数千个执行器进行独立认证,而是让驱动程序进行一次认证后,通过认证且加密的 Spark RPC 分发凭证。这避免了与执行器数量成比例的认证流量,同时将驱动程序作为额外的凭证分发信任边界。
Netflix 基于驱动程序的 Spark 执行器凭证分发(来源:Netflix 博客文章)
凭证续订与初始引导过程是分开处理的。驱动程序会在其短期证书即将过期前定期重新认证,而执行器不会独立续订凭证。Netflix指出,对于长期运行的工作负载而言,可重复的认证过程非常重要。该模式将内部工作负载身份与托管计算提供方分离,同时保留提供方的身份作为加密证明。Netflix表示,这种方法也可应用于其他托管环境,这些环境中的工作负载会获得云身份,但需要建立独立的组织身份。
main wrapper for authors section
关于作者
section title
main wrapper for each author
#### Leela Kumili
显示更多
显示更少
#### 本内容属于AWS主题
##### 相关主题:
- 开发
- 架构与设计
- DevOps
- 亚马逊
- Netflix
- MapReduce
- 认证
- 服务识别
- 安全
- 分布式系统
- AWS
- 身份管理
- 相关编辑内容
- 相关赞助商
- 相关赞助商 2026年12月15–16日。探讨资深从业者如何在生产环境中运行代理、评估、模型服务和AI辅助工程,包括哪些失败了以及发生了哪些变化。立即注册。
InfoQ 新闻通讯
每周二发送上周InfoQ内容的汇总。加入超过25万名资深开发者的社区。查看示例
我们保护您的隐私。 /think