InfoQ

AWS Introduces Specification Driven Composition for Flexible Data Workflows

8.5内容质量
AWS Introduces Specification Driven Composition for Flexible Data Workflows

TL;DR · AI 摘要

AWS推出基于规范驱动的组合模式，通过分层架构和AWS服务实现灵活数据工作流，提升可维护性和可追溯性。

核心要点

  • 三层架构分离意图与逻辑，减少代码重复达60%以上
  • JSON/YAML规范定义数据映射，无需实现细节
  • Lambda+Step Functions实现无服务器可扩展架构

结构提纲

按章节快速跳转。

  1. §引言

    AWS推出规范驱动组合模式解决数据流水线维护难题

  2. ·核心机制

    三层架构分离意图、组合与处理逻辑

  3. ›实现方式

    基于Lambda/Step Functions/S3/OpenSearch的无服务器实现

  4. ·优势分析

    减少代码重复并提升监管环境下的可追溯性

  5. ›实际应用

    S3事件触发Lambda composer生成状态机

  6. ·专家观点

    LinkedIn评论强调规范驱动提升可追溯性

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 规范驱动的数据工作流
    • 三层架构
      • 意图层
      • 组合层
      • 处理层
    • AWS服务
      • Lambda
      • Step Functions
      • S3
      • OpenSearch
    • 优势
      • 减少代码重复
      • 提升可追溯性
      • 无服务器扩展

金句 / Highlights

值得收藏与分享的关键句。

#AWS#数据工程#无服务器架构#规范驱动#数据流水线
打开原文

AWS 推出基于规范的组合模式，实现灵活的数据工作流 - InfoQ

InfoQ 首页 News AWS 推出基于规范的组合模式，实现灵活的数据工作流

架构与设计

在线 InfoQ 架构师认证（9月14日）：架构的社会技术层面。

AWS 推出基于规范的组合模式，实现灵活的数据工作流

2026年8月26日 2分钟阅读

作者：

  • Leela Kumili

#### 关注我们

Youtube

232K 粉丝

Linkedin

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 点赞

Bluesky

收听本文 -

0:00

音频准备就绪

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

AWS 提出了一种基于规范的组合模式，用于构建灵活的数据转换工作流，将工作流意图与处理逻辑分离，以减少管道代码的重复并简化验证和治理。该方法使用结构化规范动态组装可重用的处理能力，基于 AWS Lambda、AWS Step Functions、Amazon S3 和 Amazon OpenSearch Service 的无服务器实现。

该模式针对随着组织添加数据集和工作流变体而变得难以维护的数据管道。AWS 指出，基于脚本的实现通常会将编排、转换和验证逻辑组合在一起，当引入新数据集时，需要进行代码更改和重新部署。由此产生的重复还可能使工作流行为更难追踪，尤其是在受监管的环境中。

基于规范的组合将工作流分为三层：包含规范的意图层、验证规范并组装管道的组合层，以及执行转换步骤的处理层。

三层基于规范的组合架构（来源：AWS 博客文章）

Rajat Shrivastav 在 LinkedIn 上评论 AWS 对该模式的描述时写道，

通过将意图编码为声明式规范，您可以确保可追溯性不是事后考虑的事情；它是管道的核心。

规范通常以 JSON 或 YAML 表示，描述源和目标数据集、字段映射和转换，而无需定义这些转换的实现方式。组合器验证规范，检查引用的能力，并生成可运行的工作流。能力注册表维护可重用转换函数的元数据，包括标识符、输入和输出格式、调用细节、权限和版本。

AWS 示例将工作流规范存储在 Amazon S3 中。S3 事件会触发基于 Lambda 的组合器，该组合器验证规范并查询 Amazon OpenSearch Service 以获取能力元数据。然后，组合器创建并启动一个 AWS Step Functions 状态机，该状态机会调用基于 Lambda 的单个能力处理器。处理器将跟踪信息发送到 Amazon CloudWatch Logs。

AWS 对基于规范的组合的实现（来源：AWS 博客文章）

注册表还支持通过元数据（如描述、模式和标签）实现能力发现。规范可以按意图引用可重用的转换，而无需作者了解具体的实现标识符。AWS还描述了版本化能力引用，以支持可重复的工作流执行，并对新能力进行独立的验证和审批。

该模式可以将数据分类纳入规范。敏感字段可以标记，而能力则声明它们对敏感性的影响。编排器可以利用这些定义来验证最终的分类，并为下游消费者生成脱敏工件。

AWS将该模式定位在受监管的报告、多源集成以及可重复使用的ETL工作流中，这些场景中可追溯性和预执行验证非常重要。该公司还指出，规范驱动的组合方式可能会为简单转换或仅包含少量工作流的环境引入不必要的复杂性，因此随着工作流变体和治理需求的增加，该方法的应用场景会更加明显。

作者部分主容器

关于作者

章节标题

每个作者的主容器

#### Leela Kumili

显示更多

显示更少

#### 此内容属于数据管道主题

##### 相关主题：

  • 开发
  • 架构与设计
  • 数据
  • AWS Lambda
  • 无服务器
  • 声明式编程
  • S3
  • 软件工程
  • 数据治理
  • Amazon CloudWatch
  • 自动化
  • 架构
  • 工作流基础
  • OpenSearch
  • ETL
  • 数据管道
  • 编排
  • 相关编辑
  • 相关赞助商 设计容错：如何在云中断期间保证数据访问
  • 相关赞助商 用于备份、数据湖和AI的智能云基础设施。SoFi、Red Bull和Structured Web的团队使用Eon来简化备份，缩短恢复时间，并将数据转换为实时可搜索的资产，同时将备份成本降低高达50%。立即了解更多 >

InfoQ新闻通讯

每周内容精选，每周二发送。加入25万多名高级开发者的社区。查看示例

我们保护您的隐私。