How Natera designed an agentic AI system for lab ops with Amazon Bedrock AgentCore

TL;DR · AI 摘要
Natera通过Amazon Bedrock AgentCore构建SWARM系统,使实验室设备故障响应速度提升130倍,自动化覆盖率超96%。
核心要点
- SWARM系统实现130倍的故障响应速度提升
- Amazon Bedrock AgentCore提供内置安全与可观测性
- 自动化覆盖率达96.2%的运维工单处理
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- SWARM系统架构
- 核心挑战
- 知识传承断层
- 高工单压力
- 技术选型
- Amazon Bedrock AgentCore
- DynamoDB集成
- SQS工单队列
- 系统成效
- 130x响应加速
- 96.2%自动化
金句 / Highlights
值得收藏与分享的关键句。
SWARM实现130倍响应速度提升和96.2%自动化覆盖率
AgentCore内置IAM集成和分布式追踪,无需自建基础设施
知识库构建覆盖65个设备家族的故障模式和解决方案
Natera如何利用Amazon Bedrock AgentCore设计用于实验室运营的自主AI系统 | 人工智能
Natera如何利用Amazon Bedrock AgentCore设计用于实验室运营的自主AI系统
作为无细胞DNA(cfDNA)检测领域的领导者,Natera深知保持实验室设备正常运行至关重要,因为设备停机会影响样本处理。由Ariel Jirau领导的Natera实验室工程团队与AWS合作,构建了SWARM(系统化工作流分析与解决方案管理器),这是一个用于实验室运营的自主AI系统。
本文将详细介绍Natera团队如何利用Amazon Bedrock AgentCore构建实验室运营的自主AI系统,该系统能够大规模捕获和部署机构知识。文章将描述完整的架构,从知识库构建到自动化系统部署和评估,帮助您将相同的模式应用于自己的运营工作流。
SWARM使支持工单的首次响应时间加快了130倍,自动化覆盖率达到了96.2%,工程师可在工单到达的瞬间立即获取机构知识。
挑战:知识延续性
Natera的实验室运营依赖于多种设备家族的精密仪器,每种设备都有其独特的故障模式、供应商文档和解决方案模式。负责维护该基础设施的服务工程团队围绕深度个人专业知识组织,而非标准化的操作手册。当一位拥有多年诊断特定设备家族经验的高级技术人员离职时,其携带的机构知识实际上被丢失了。当时没有系统能够大规模捕获、组织和部署这些专业知识。
每天在三个Jira队列中处理超过65个工单,平均首次响应时间为17.4小时,设备停机导致实验室样本和患者报告延迟。增加工程师数量也无法跟上需求。SWARM必须在数分钟内响应,跨多种设备类型提供准确诊断,并通过结构化评估循环持续改进。
为什么Natera选择Amazon Bedrock AgentCore
Natera团队选择基于Amazon Bedrock AgentCore构建SWARM,这是AWS提供的一个全托管、可扩展的服务,旨在大规模构建、部署、连接、保护和运营AI代理。三个核心需求推动了这一决策:
- 在无人干预的情况下自主处理大量支持工单。
- 与现有运营工具(如Jira和Confluence)深度集成。
- 内置安全性和可观测性(加密、AWS Identity and Access Management(IAM)集成和分布式追踪),无需团队构建和维护自定义基础设施。
“我们需要一个托管运行时环境,让我们能够专注于诊断准确性,而不是基础设施配置——AgentCore提供了这一点,同时还内置了身份管理功能,并允许我们在不重写代理逻辑的情况下切换模型,”Jirau表示。
AgentCore与包括Amazon DynamoDB(全托管的NoSQL数据库服务)、Amazon Simple Queue Service(Amazon SQS)和AWS X-Ray(Amazon CloudWatch的一项功能)在内的服务原生集成。
SWARM的工作原理:两个代理,一个技能库
SWARM 使用两个互补的运行时,共享同一个技能库。在工程师打开工单之前,swarm-agent 会自动生成结构化诊断报告,而工程师则使用 swarm-hive 进行实时交互、上传图片并探索其他故障排除路径。
“该系统不会取代工程师——它在工单到达时立即为工程师提供机构知识的完整深度访问,”Jirau 表示。
架构通过四层连接:
- 事件层通过 Amazon EventBridge 和 Amazon SQS 路由 Jira 工单。
- 代理层托管 swarm-agent、swarm-hive 和技能库,并将诊断报告回传给工程师。
- 上下文层结合供应商手册、历史工单和运营数据。
- 可观测性与交付层捕获追踪信息、日志和指标。
图1:Natera 的 SWARM 在 Amazon Bedrock AgentCore 上的架构
安全架构
Natera 团队的第一个架构决策是确定代理的运行位置。团队需要一个托管运行时环境,能够处理容器编排、扩展和安全,而无需维护自定义基础设施。他们选择了 AgentCore 运行时(Amazon Bedrock AgentCore 的一项功能),因为它在安全的托管环境中托管 swarm-agent 和 swarm-hive,具备内置的身份管理和监控功能,避免了构建和运营自定义代理执行层的需求。无论选择何种框架,都可以采用这种模式。
团队选择了无密钥部署模型,因为 SWARM 运行在临床环境中,凭证泄露是不可接受的。OpenID Connect (OIDC) 和 AWS Security Token Service (AWS STS) 会为每个部署生成临时凭证,管道中不存在长期密钥。AWS Identity and Access Management (IAM) 在组件级别实施最小权限原则。通过带有私有子网和 VPC 端点的 Amazon Virtual Private Cloud (Amazon VPC),确保流量不经过公共互联网。AWS Secrets Manager 会自动在 30 天周期内轮换管道中少量存在的凭证。
GitLab CI runner 通过向账户中配置的 IAM 身份提供商出示 OIDC 令牌来认证 AWS。AWS STS 将令牌转换为针对部署角色的短期凭证(管道中不存储长期访问密钥)。有关设置详情,请参阅 IAM OIDC 提供商文档。
以下示例说明了这种模式:GitLab CI 的 IAM OIDC 信任策略采用以下结构:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/gitlab.com"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"gitlab.com:sub": "project_path:YOUR_PROJECT:ref_type:branch:ref:main"
}
}
}
]
}这些基础设施级别的安全控制与 SWARM 的数据治理策略协同工作。它们共同构成了在受监管的临床环境中运营人工智能系统所需的完整合规性立场。
合规性与数据治理
SWARM 在符合 HIPAA 标准的 AWS 服务上运行,并通过业务关联协议(BAA)进行合规,体现了 Natera 作为临床实验室运营商的义务。每次代理调用都会被记录在审计日志中(可搜索的记录,满足数据访问可追溯性要求)。患者的可识别信息不会接触向量索引或语言模型。工单中仅包含设备和工作流元数据。在 HIPAA 或类似监管框架下构建团队时,应在设计知识库流水线前确认 BAA 覆盖范围和数据隔离要求。
知识库与文档流水线构建
早期使用通用检索而不包含设备特定元数据的原型产生了不一致的结果,因此 Natera 团队构建了定制的文档处理流水线,专门针对技术设备文档。Amazon Titan Text Embeddings 为语义搜索生成向量表示,Amazon Bedrock Knowledge Bases 提供完全托管的检索增强生成(RAG),将文档转换为批量存储的嵌入向量(每批 100 个),该大小选择平衡了索引吞吐量与 API 速率限制。对于包含表格和图表的结构化源文档,投资构建自定义解析流水线而非依赖默认分块,可使所有诊断的准确性提升。
Amazon Bedrock 服务(包括 Amazon Titan Text Embeddings)和 Amazon Bedrock AgentCore 在多个 AWS 区域可用。有关最新信息,请参阅 Amazon Bedrock 支持的区域 和 Amazon Bedrock AgentCore 支持的区域。
Natera 团队使用 tiktoken 分词器与 cl100k_base 编码来衡量分块边界。以下示例说明了模式,分块配置遵循标准结构:
# 文档分块配置
chunk_size = 1000 # tokens
chunk_overlap = 150 # tokens
encoding = tiktoken.get_encoding("cl100k_base")
batch_size = 100 # 每次嵌入 API 调用的文档数有关批量摄入模式的更多信息,请参阅 Amazon Bedrock Knowledge Bases 文档。
“诊断准确性首先是一个数据质量问题,”Jirau 说道。“为最低评分的仪器家族补充缺失的厂商手册,使准确性从 71% 提升至 75%,而无需修改模型。”
这塑造了 Natera 团队的改进方法:当准确性达到平台期时,团队会先检查数据覆盖率,而不是直接调整模型,因为厂商文档的缺失是漏诊的最常见原因。流水线会重新处理新文档或更新的文档,并刷新向量索引,而不会干扰正在进行的操作。
技能库架构
Natera 团队面临一个关键的架构选择:将逻辑直接嵌入代理提示中,还是构建一个独立的、版本化的技能库。Natera 选择了后者,因为这使 SWARM 可审计且可改进。
“当诊断错误时,我们需要指向特定技能,而不是调试整个系统——这就是我们从一开始就构建版本化技能库的原因,”Jirau 说道。
该库包含 33 项技能:24 项针对 Natera 支持的设备家族的仪器特定技能,以及 9 项跨领域的流程技能,适用于各种工单类型。每项技能都有明确定义的接口,可独立测试,并按照与整体系统相同的标准进行评估,被视为生产软件,而非嵌入式提示逻辑。
技能架构采用清晰的分工:Python 负责处理确定性任务,例如解析 Jira 字段或格式化 HTML 报告,而大语言模型(LLM)技能则负责语言推理任务,例如解读症状、匹配厂商文档和生成诊断叙事。对于构建多技能代理的团队而言,确定性 Python 技能与 LLM 推理技能之间的这种分工是最重要的决策之一。
代理运行时部署
Natera 将诊断工作拆分为两个独立的运行时环境,因为自主背景分析与交互式工程协作在延迟和上下文需求方面存在本质差异。Swarm-agent 专注于吞吐量:它根据设备类型和症状选择技能,查询知识库,并生成包含主要原因假设、分级的故障排除步骤和置信度标签的结构化 HTML 报告。该报告可在数分钟内上传至 Amazon Simple Storage Service(Amazon S3),并链接到 Jira 工单。Swarm-hive 则专注于深度:工程师可以进行交互式后续操作、上传图像并探索替代路径,而 AgentCore 内存(Amazon Bedrock AgentCore 的一项功能)可跨会话保留每位工程师的对话上下文。
由于 Swarm-hive 接受自由形式的工程师输入,提示信息会通过 Amazon Bedrock Guardrails 进行内容过滤。
事件驱动的 Jira 集成
SWARM 通过 Amazon EventBridge Scheduler 和一个轮询的 AWS Lambda 函数与 Jira 集成,AWS Lambda 是一种无服务器计算服务,可在事件触发时运行代码,从而避免了 Webhook 配置。经过验证的工单会进入 Amazon SQS 队列以确保可靠传递。DynamoDB 使用工单 ID 作为分区键,并结合基于生存时间(TTL)的过期机制处理重复数据删除,同时存储每次运行的元数据(如状态、成本和令牌使用情况)以支持评估循环。这种 EventBridge 到 SQS 的模式将代理运行时与工单系统的可用性解耦。
以下示例说明了该模式。去重表使用基于 TTL 的过期机制的最小化架构:
dynamodb.create_table(
TableName='swarm-deduplication',
KeySchema=[
{'AttributeName': 'ticket_id', 'KeyType': 'HASH'}
],
AttributeDefinitions=[
{'AttributeName': 'ticket_id', 'AttributeType': 'S'}
],
TimeToLiveSpecification={
'Enabled': True,
'AttributeName': 'ttl'
}
)可观测性设计
对于包含许多交互组件的智能代理系统,如果没有每次调用的追踪信息,调试将非常困难,因此 Natera 团队在 SWARM 的首次生产部署之前就内置了可观测性功能。如果你正在生产环境中运行代理,每次调用的追踪是不可协商的:没有它,调试错误诊断将意味着猜测哪个技能出现了问题。
在临床实验室环境中,仪器停机时间直接影响患者报告,能够追踪、警报并审计每个代理操作不是“可有可无”的功能,而是法规和运营的强制性要求。
SWARM的可观测性堆栈使用Amazon CloudWatch来捕获每次运行的可搜索日志,提供清晰的操作健康记录。AWS X-Ray追踪每个运行流程从工单受理到诊断报告的全过程,记录每个工具调用的时间和成本,使团队能够精准定位导致运行缓慢或成本高昂的具体技能,而非猜测。Amazon Simple Notification Service通过电子邮件发送故障警报,而Slack跟踪器则为整个团队提供代理活动的实时可见性。
持续评估方法论
SWARM采用持续评估循环而非部署时一次性测试,这对处理动态文档或演变工作流程的系统尤为重要。在处理每个工单时,代理会提供一个主要原因假设、分级的故障排除步骤以及自我评估的置信度标签。工程师记录发现并修复的问题,评估者根据仪器家族分类将每个响应评定为准确、部分正确或错误。评估结果用于识别代理表现不佳的领域,实施修复(通常通过更新知识库),然后重新运行评估集以确认改进效果。
SWARM的自我评估置信度标签与实际准确率存在方向性关联。标记为高置信度的工单在154个评估案例中达到74%的准确率,而中等和低置信度工单分别在78和37个案例中达到65%的准确率。需注意当前中等和低置信度的准确率相同。低置信度样本量仅为37个案例,不足以得出统计学上有意义的结论,Natera团队预计随着评估数据集扩大,这两个层级的准确率将出现分化。
高置信度与其他层级的区分,为工程师在阅读诊断报告时判断每个诊断的权重提供了有用信号。
SWARM性能
Natera团队通过评估524个支持工单建立了性能基准。在评估集的524个工单中,269个工单获得了高、中或低置信度标签,并有对应的工程师验证解决方案可供比较。其余工单在分析时要么未标注,要么缺乏验证解决方案。
平均首次响应时间从17.4小时降至约8分钟(快约130倍)。这些数据来自90天生产评估期间Jira工单元数据。覆盖率同样重要:96.2%的工单能获得自动化首次响应,无需工程师启动诊断流程。覆盖率定义为在工程师审查前收到SWARM生成诊断报告的入站工单占比。
生产环境中构建智能体AI的经验教训
SWARM的多个架构决策可直接应用于构建类似系统的团队。
- 将块大小和重叠部分视为可调节参数。合适值取决于源文档的结构方式。
- 从一开始就将可追溯性构建到技能库中。当诊断错误时,应能定位到具体技能而非调试整个系统。
- 如果工作负载混合批量处理与交互式查询,应将其分离到不同的运行时环境中。
入门指南
尝试通过 AgentCore 示例代码库、在 AWS 上构建自主代理系统 或 部署 Amazon Bedrock AgentCore 入门指南,亲自体验这些模式。在机构知识流失、高容量运营工作流或临床合规要求方面面临类似挑战的医疗健康和生命科学组织将发现,Natera 与 SWARM 共同开发的架构模式为在 AWS 上构建自主 AI 系统提供了可复用且经过生产验证的基础。
关于作者
'\"