在 Amazon Bedrock 上规模化构建自驱动 AI 运营

AWS Machine Learning Blog

AWS Machine Learning Blog2026年6月3日

在 Amazon Bedrock 上规模化构建自驱动 AI 运营

8.7Score

TL;DR · AI 摘要

通过 Amazon Bedrock Ops Alert 构建自驱动 AI 运营，提供多层主动监控、动态阈值、分类与自动工单、去重与上下文通知，显著降低运维开销并提升故障响应。

核心要点

使用 Amazon Bedrock Ops Alert 减少 70%+ 手动运维并提升故障响应速度。
全球跨区域推理较地理方案节省约 10% 成本，吞吐提升约 10%。
Prompt 缓存可将延迟降低 85%、成本降低 90%，在重复上下文场景效果显著。

结构提纲

按章节快速跳转。

§引言
介绍在 Amazon Bedrock 上构建自驱动 AI 运营的必要性与总体目标。
·核心机制
阐述三层次自动监控、动态阈值与分类、自动工单与去重、上下文通知的完整闭环。
·扩展能力
说明服务配额管理与通过优化替代扩容的策略转变。
·全球推理
介绍全球跨区域推理架构与成本性能优势（约 10% 成本节省）。
·Prompt 缓存
解释缓存策略在重复上下文场景下的高成本与低延迟收益（成本-90%、延迟-85%）。
·部署实践
提供在自有环境部署Bedrock Ops Alert的架构与步骤概览。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）

Amazon Bedrock 自驱动运营
- 核心机制
  - 三层次监控与动态阈值
  - 自动工单与分类
  - 去重与上下文通知
- 扩展能力
  - 配额管理与优化优先
  - 跨区域推理替代扩容
- 全球推理
  - 全球路由与资源池
  - 性能与成本收益
- Prompt 缓存
  - 缓存策略与适用场景
  - 延迟与成本量化
- 部署实践
  - 架构概览
  - 部署步骤

金句 / Highlights

值得收藏与分享的关键句。

Bedrock Ops Alert 通过三层次监控与动态阈值，将运维开销降低 70%+，并加速故障响应（MTTR 减少）。
— 核心机制
⬇︎ 下载 PNG 𝕏 分享到 X
全球跨区域推理可将模型吞吐提升约 10%，较地理方案节省约 10% 成本，无需频繁配额提升。
— 全球推理
⬇︎ 下载 PNG 𝕏 分享到 X
Prompt 缓存将延迟降低 85%、成本降低 90%，在长上下文与重复查询场景效果显著。
— Prompt 缓存
⬇︎ 下载 PNG 𝕏 分享到 X
自动工单与去重机制减少 50%+ 无效支持请求，使 AI SRE 团队聚焦高优先级问题。
— 核心机制
⬇︎ 下载 PNG 𝕏 分享到 X

#Amazon Bedrock#Ops Alert#AI SRE#全球跨区域推理#Prompt 缓存

打开原文

如何在 Amazon Bedrock 上大规模构建自动驾驶 AI 操作 | 亚马逊云科技

URL 源：https://aws.amazon.com/blogs/machine-learning/how-to-build-self-driving-ai-operations-on-amazon-bedrock-at-scale/

发布时间：2026-06-03T12:14:16-08:00

Markdown 内容： Amazon Bedrock 推动全球超过 10 万家组织的生成式 AI 发展，从初创企业到各行各业的跨国企业。它提供了可靠的基础设施和全面的能力，帮助您自信地构建应用程序和代理，这些应用程序可以在生产环境中运行，并具有您所需的灵活性、企业级安全性和验证过的可扩展性，以大胆创新并交付推动实际业务影响的 AI。随着组织在其多个基础模型和生产工作负载上使用 Amazon Bedrock 支持的生成式 AI 应用程序规模化运营，主动管理变得至关重要，以维持创新速度。

随着团队采用生成式 AI，组织可以从专为生成式 AI 工作负载而设计的目的性运营监控解决方案中受益，该解决方案提供：1）多层的主动监控，跟踪使用模式以预测随着采用增长的需求，并加速由 Amazon Bedrock 支持的生成式 AI 工作负载的运营问题处理；2）上下文感知支持案例自动化，通过装备 AWS 支持工程师所需的信息来加速平均修复时间（MTTR），从而提高生成式 AI 工作负载的效率；3）防止重复案例，当存在未解决的同一警报类别案例时抑制新案例创建，避免调查中的干扰；4）情境化通知，使 AI SRE 团队能够快速行动；5）减少手动操作开销，继续关注创新。本篇博客介绍 Amazon Bedrock Ops Alert，一个三层自动监控解决方案，主动检测运营问题，动态调整警报阈值，按类别分类警报，自动生成上下文相关的支持案例，当存在未解决的相同警报类别案例时自动创建，避免对活跃调查的干扰；4）情境化的通知，使 AI SRE 团队能够迅速行动；5）通过减少手动操作负担，持续关注创新。

Amazon Bedrock 提供务器资源分配的服务配额（RPM

Reactive operations: AI SRE 团队通常只有在业务用户报告影响时才知道运营问题。这迫使团队处于被动应对状态，在问题升级之前有有限的时间进行调查和响应。
丰富案例背景信息的机会：当配额问题出现时，支持案例可以从更丰富的上下文中受益，将简单的配额增加与需要深入调查的问题区分开来，从而帮助支持工程师更快地解决案例。
倍增运营努力：随着组织为不同用例采用新的基础模型，每个新模型都需要自己的监控设置和配额增加请求。这种缺乏区分的繁重工作量会随着模型组合线性增长。
移动的目标阈值：每次批准的配额增加都要求 AI SRE 团队手动重新计算并更新 CloudWatch 报警阈值，从而增加运营负担，并存在配置漂移的风险。

解决方案概览

Amazon Bedrock Ops Alert 是一个基于 AWS CloudFormation 的解决方案，通过三个互补检测层实现全面的生成式 AI 可观测性。每个层提供不同的可见性，从即时的运营问题检测到预测异常识别。

该解决方案使用 Amazon CloudWatch 报警、AWS Lambda 函数、Amazon Simple Notification Service (Amazon SNS)、Service Quotas API 和 AWS Support API。以实施综合生成式 AI 可观测性。每个批准的配额增加都会使 AI SRE 团队必须手动重新计算和更新 CloudWatch 报警阈值，从而增加操作开销。每批准一次配额增加，AI SRE 团队必须手动重新计算并更新 CloudWatch 报警阈值，从而增加操作开销。每个新模型需要自己的监控设置和配额增加请求。此未分化的繁重工作随模型组合而成。增长线性地。

ClientErrors alarm: 监控 InvocationClientErrors 指标，以识别由于客户端问题（如超出配额限制、验证错误或无效参数）而被拒绝的请求。
ServerErrors alarm: 监控 InvocationServerErrors 指标，以识别可能需要调查的服务端错误。
Throttles alarm: 监控 InvocationThrottles 指标，以识别在达到速率限制时显式被限流的请求。

这些警报使用可配置的阈值和评估周期。将错误阈值设置为 0 并使用单个评估周期触发立即警报，当发生错误时，从而立即触发警报；较高的值提供对瞬时问题的容错能力。

第二层：使用率监控

第二层监控使用指标与动态计算的阈值进行比较，在达到配额限制之前提供主动通知：

HighInvocationRate alarm: 监控 Invocations 指标，并在 API 请求速率突破配置的 RPM 配额百分比阈值时触发。

。

HighTPMQuotaUsage alarm: 监控 [EstimatedTPMQuotaUsage](https://aws.amazon.com/about-aws/whats-new/2026/03/amazon-bedrock-observability-ttft-quota/，并触发当 API 请求速率突破配置的配置 RPM 配额百分比时。
HighInvocationRate alarm: 监控 Invocations 指标，并在 API 请求速率突破配置的 RPM 配额百分比时触发。
HighTPMQuotaUsage alarm: 监控 EstimatedTPMQuotaUsageId 和当估算每分钟配额消费突破配置的 TPM 配额百分比时触发。
HighLatency alarm: 监控 InvocationLatency 指标，并在响应时间突破配置的延迟阈值时触发。

该解决方案自动计算警报阈值通过查询 Service Quotas API 并应用可配置的百分比。例如，对于 80% 阈值和 100 RPM 配额，RPM alarm 在 80 请求每分钟时触发。

HighLatency alarm: 监控估计 tokens per minute 配额消耗突破配置的 TPM 配额百分比时触发。

该解方案自动计算警报阈值通过查询 service Quotas API 并应用配置的百分比。例如，对于 80% 阈值和 100 RPM 配额，触发当配额百分比时触发。

HighLatency alarm: Monitors the InvocationLatency 指标，并在当前 metrics 越预计的 TPM 配额百分比时触发。

**Layer 3: 异常检测

第三层使用 CloudWatch 异常检测作为阈值类型，以识别跨指标的不寻常模式：

InvocationAnomaly alarm: Monitors the Invocations 指标，并触发当配额时触发。

CloudWatch 机器学习分析历史数据来建立正常行为基线，然后当当前 metics 过上界值时触发。

自动化阈值管理

该解决方案动态适应配额变化通自动化阈值再算：

Initial calculation: 部署，一个 Lambda 函数查询服务 Quotas API 并应用配置的百分比。

**Layer 3: 异常检测

该解方程用异常模式。

该解方案只务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器务器

该系统将告警分为两类，并确定相应的响应。

与配额相关的告警会触发一个“配额请求”支持案例，包含验证过的使用内容：

RPM特定的告警（HighInvocationRate, InvocationAnomaly）仅请求RPM配额增加。
TPM特定的告警（HighTPMQuotaUsage, InputTokenAnomaly, OutputTokenAnomaly）仅请求TPM配额增加。

无法确定的配额告警（Throttles, ClientErrors）同时请求RPM和TPM配额增加，提供上下文以帮助识别哪个限制被触及。

非配额告警（ServerErrors, HighLatency, LatencyAnomaly）会触发一个“调查请求”支持案例，提供告警上下文和使用数据以协助根本原因分析，但不包括配额增加详情。

以下表格总结了告警分类和配额路由。

FieldValue Alarm{CustomerName}-Bedrock-Throttles-Critical-{ModelName} Metric InvocationThrottles (Sum per minute) Classification Undetermined quota alarm → Both RPM and TPM quota increases Severity CRITICAL RPM quota 10,000 RPM threshold 8,000 (80% of quota) Peak RPM 9,500 TPM quota 6,250,000 TPM threshold 5,000,000 (80% of quota) Peak TPM 3,000,000 Decision peak_rpm (9,500) >= rpm_threshold (8,000) → high_usage Result Quota Request. Both RPM and TPM increase details included. “Expedited processing”

HighTPMQuotaUsage 触发：

FieldValue Alarm{CustomerName}-Bedrock-HighTPMQuotaUsage-Warning-{ModelName} Metric EstimatedTPMQuotaUsage (Sum per minute) Classification TPM-specific alarm → only TPM quota increase RPM quota 200 RPM threshold 160 (80% of quota) Peak RPM 150 TPM quota 200,000 TPM threshold 160,000 (80% of quota) Peak TPM 210,000 Decision peak_tpm (210,000) >= tpm_threshold (160,000) → high_usage Result Quota Request. TPM increase details included

低使用量（峰值低于阈值）：触发了一个与配额相关的警报，但过去14天的RPM峰值低于RPM阈值且14天的TPM峰值低于TPM阈值。由于使用指标表明这是一次瞬时事件而非持续的配额消耗趋势，解决方案会发送一封电子邮件通知给AI SRE团队进行原因调查，并视情况与支持工程师协作。支持案例中仅包含配额增加详情作为参考。

FieldDetail Case type 配额请求 Alarms 任何之一 ClientErrors-Critical、Throttles-Critical、HighInvocationRate-Warning、HighTPMQuotaUsage-Warning、InvocationAnomaly-Warning、InputTokenAnomaly-Warning、OutputTokenAnomaly-Warning Rationale 使用指标显示为瞬时事件而非持续使用趋势，因此先发送邮件通知给AI SRE团队进行原因分析，必要时再与支持工程师合作。支持案例包括配额增加详情作为参考。

FieldDetail Case type 配额请求 Quota requested RPM-specific alarms → RPM only (as reference). TPM-specific alarms → TPM only (as reference). undetermined quota alarms (Throttles、ClientErrors等 → Both RPM和TPM (as reference)。Rationale使用 metrics suggest a transient event rather than sustained usage trends. Quota details are provided as reference in case the investigation confirms the need.