Unlocking AI flexibility in Europe: A guide to cross-region inference for EU data processing and model access

在欧洲释放 AI 灵活性：面向欧盟数据处理和模型访问的跨区域推理指南 | 人工智能

在对最新生成式 AI 模型和高性能加速计算需求日益增长的背景下，AWS 客户需要工具来利用多个 AWS 区域中的模型可用性和容量，同时满足其安全和隐私要求。Amazon Bedrock 的跨区域推理（CRIS）通过在预定义的地理边界内自动将请求路由到多个 AWS 区域，满足了这些需求。这使得生成式 AI 应用程序能够在该地理区域内使用广泛的容量，帮助客户构建更具弹性的应用程序，以反映其地理复杂性。

在本文中，我们将深入探讨跨区域推理（CRIS），并解释欧洲客户如何从中受益。我们重点介绍 AWS 为客户提供的功能、服务和资源，以帮助他们符合本地数据保护和处理要求。这包括在使用 CRIS 时可能适用于其活动的《通用数据保护条例》（GDPR）。

跨区域推理配置文件

跨区域推理（CRIS）是 Amazon Bedrock 中的一项托管功能，它在支持的 AWS 区域内路由模型推理请求。推理配置文件是 Amazon Bedrock 中的一种资源，用于定义可以将请求路由到的区域。这些配置文件将请求路由到特定的区域集合。CRIS 路由旨在以最低的延迟开销优化模型吞吐量。

Amazon Bedrock 引入了系统定义的推理配置文件。这些推理配置文件以模型名称和它们支持的地理区域命名。这些配置文件帮助 Amazon Bedrock 用户利用 AWS 全球规模的足迹来构建生成式 AI 解决方案。要了解跨区域推理配置文件如何处理推理请求，了解以下关键概念非常重要：

源区域 – 发起 API 请求的区域，该请求指定了推理配置文件。

目标区域 – Amazon Bedrock 服务可以从源区域将请求路由到的区域。

系统定义的 CRIS 配置文件具有全局或地理范围。在接下来的部分中，我们将解释全局和欧盟地理范围，并说明客户如何使用不同的配置文件来帮助满足其监管和合规义务。

全局推理

全局推理配置文件将模型推理请求路由到任何支持的 AWS 商业区域。输入提示被传输到目标区域以提供模型推理，模型输出在目标区域生成并返回到源区域。跨区域推理期间传输的数据是加密的，并且保留在安全的 AWS 网络中。目标区域会自动选择以优化可用模型容量，并以最小的开销返回响应。

通过使用所有可用的支持区域，使用全球推理配置文件的生成式 AI 应用程序在高峰时段或其他区域模型可用性问题时，对潜在的容量短缺更具弹性。此外，通过全球 CRIS，一些模型的价格相比直接在区域或地理 CRIS 中调用时有折扣，这使得全球推理更加具有吸引力。

基于欧盟地理的推理

地理 CRIS（Geo CRIS）是系统定义的推理配置文件，与全球推理配置文件不同。这些配置文件将模型与地理区域绑定，从配置文件中定义的不同区域提供相同模型的副本。亚马逊 Bedrock 客户可以根据其需求选择不同的 Geo CRIS 配置文件。在本节中，我们重点介绍欧盟特定的推理配置文件（EU CRIS）。

EU CRIS 配置文件的创建是为了帮助客户处理欧盟居住相关的问题。CRIS 只能优化一组目标区域内的流量。对于 EU CRIS，所有目标区域都位于欧洲联盟内。来自欧盟以外的请求也可以通过 EU CRIS 进行优化。这些请求的源区域位于欧洲联盟之外。对于这些请求，CRIS 除了在源区域进行推理优化外，还会在欧盟区域进行推理优化。使用 EU CRIS 配置文件的客户将产生以下效果：

• 来自位于欧盟内的源区域的请求只能路由到其他位于欧洲联盟内的 AWS 区域。

• 在使用 EU CRIS 时，来自欧盟源区域的请求不能路由到非欧盟区域。例如，苏黎世和伦敦不被视为这些请求的目标区域。

• 来自伦敦区域的请求只能在可用的欧盟区域和伦敦区域之间路由。

• 来自苏黎世区域的请求只能在可用的欧盟区域和苏黎世区域之间路由。

• 对于来自欧盟以外的请求，使用 EU CRIS：优化仅考虑源区域和欧盟区域。

跨区域推理的安全性和控制

在 AWS，客户数据的安全性是我们的首要任务，这一点也体现在 Amazon Bedrock 跨区域推理的设计中。

AWS 到 AWS 的流量（例如区域到区域（包括边缘位置和 AWS Direct Connect 路径））始终通过 AWS 操作的骨干网络传输。跨区域操作期间传输的数据始终保留在 AWS 网络中，不会经过公共互联网。AWS 会在 AWS 区域之间对传输中的数据进行加密。消费者应用程序在调用模型进行跨区域推理时，必须在代码中明确指定，通过提供 CRIS 配置文件 ID 来代替普通的模型 ID。例如，以下代码片段展示了对 Amazon Nova Lite 模型的两次调用，一次使用 EU CRIS，一次使用全球 CRIS：

import boto3
import json

from botocore.exceptions import ClientError
bedrock_runtime = boto3.client("bedrock-runtime", region_name="eu-south-1") # 源区域：米兰

model_id = "eu.amazon.nova-2-lite-v1:0" 
# Amazon Nova Lite EU CRIS 配置文件 ID
# 请求可以在 EU CRIS 中可用的目标区域中进行处理

response = bedrock_runtime.converse(modelId=model_id, messages=[...], additionalModelRequestFields={...}) 

model_id = "global.amazon.nova-2-lite-v1:0" 
# Amazon Nova Lite 全球 CRIS 配置文件 ID
# 请求可以由任何 AWS 商业区域进行处理

response = bedrock_runtime.converse(modelId=model_id, messages=[...], additionalModelRequestFields={...})

地理推断配置文件，包括欧盟推断配置文件，是静态的。这意味着 AWS 不会将更多的区域添加到该配置文件中。如果需要将新的目标区域添加到特定地理的配置文件中，包括欧盟 CRIS，Amazon Bedrock 将发布一个新的特定地理配置文件，并分配一个新的推断配置文件 ID。

“设计中的数据保护”是《通用数据保护条例》（GDPR）中引入的一个关键概念。通过 AWS 身份和访问管理（AWS IAM），客户可以安全地控制对 AWS 资源和数据的访问，包括哪些应用程序被允许访问数据或在 Amazon Bedrock 上调用不同的基础模型或 CRIS 配置文件。IAM 可以通过仅允许授权的管理员、用户和应用程序访问 AWS 资源和数据，帮助客户满足这一要求。IAM 有助于实施最小权限原则，以控制哪些人可以在源区域访问您的数据。这有助于防止客户不希望在目标区域进行处理的内容包含在输入提示中。有关如何保护 Amazon Bedrock 跨区域推断的更多详细信息，请参阅配置地理和全局配置文件以及 IAM 的相关内容。

透明度和可审计性

许多数据处理法规要求控制者或消费者保留数据处理活动的记录。全局和地理特定的 CRIS 都可以实现这一点。

通过 AWS CloudTrail，客户可以持续监控 AWS 账户活动。CloudTrail 记录客户账户的 AWS API 调用历史，包括通过 AWS 管理控制台、AWS SDK、命令行工具和更高层次的 AWS 服务进行的 API 调用。具体到 Amazon Bedrock，每个被计为管理事件的 API 调用的元数据默认都会被记录下来。这包括 Converse 和 InvokeModel 等模型调用 API，但仅记录其元数据，而不是实际的有效负载。这些日志可以在过去 90 天内通过在事件历史中筛选事件源“bedrock.amazonaws.com”进行访问。如需持续记录事件，可以配置 CloudTrail 以存储更长时间的事件。

在查看 CloudTrail 中的相关事件时，客户可以看到模型调用的源区域和目标区域，其中 additionalEventData 部分的 inferenceRegion 字段会显示请求实际处理的位置。

可选地，客户可以选择启用模型调用日志记录。此功能会收集有关账户源区域中每个调用的详细信息，包括完整的请求、响应和元数据。客户可以将日志发送到 Amazon CloudWatch Logs 或 Amazon Simple Storage Service（Amazon S3）。模型调用日志记录默认是关闭的，如果需要，客户必须显式启用它。

在使用跨区域推断时，Amazon CloudWatch、AWS CloudTrail 和模型调用日志记录仅在客户 AWS 账户请求发起的源区域中记录日志条目。这种设计简化了监控和日志管理，并通过将日志存储在源位置，无论哪个目标区域实际处理请求，都可满足本地数据处理要求。

我如何查看可用的 CRIS 配置文件？

有兴趣查看可用系统配置文件的客户有以下几种选择：

• 请使用此官方文档页面，该页面列出了所有系统定义的推理配置文件及其对应的源和目标区域。

• 要查看某个源区域的可用推理配置文件，请导航到 AWS 控制台的跨区域推理页面。下图展示了伦敦（eu-west-2）的控制台页面。

Amazon Bedrock > 跨区域推理

• 使用 AWS SDK（如 Boto3），如下代码片段所示：

# pip install boto3
import boto3
region = "eu-central-1" # 法兰克福区域
bedrock = boto3.client('bedrock', region_name=region)
system_response = bedrock.list_inference_profiles(typeEquals='SYSTEM_DEFINED')
#https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/list_inference_profiles.html

推理配置文件和本地数据处理

许多客户有本地数据处理的需求，并希望了解其数据的处理位置。这一点同样适用于全球推理配置文件和地理推理配置文件。

AWS 客户可以使用 AWS 服务来处理上传到其 AWS 账户下的 AWS 服务中的个人数据（根据 GDPR 的定义），并符合 GDPR 的规定。

Amazon Bedrock 是众多符合 CISPE 数据保护行为准则的服务之一。这为我们的客户提供了独立的验证，并增加了我们云服务可以符合《通用数据保护条例》（GDPR）的保障。CISPE 准则是欧洲首个针对云基础设施服务提供商的数据保护行为准则。2021 年 5 月，CISPE 准则获得了欧洲数据保护委员会（EDPB）的批准，EDPB 代表欧洲 27 个数据保护机构行事。2021 年 6 月，该准则被 CNIL 正式采纳，CNIL 作为主要监管机构。

AWS 客户可以继续使用 AWS 服务，将客户数据从欧洲经济区（EEA）传输到未获得欧盟委员会充分性决定的非欧洲经济区国家（包括美国），并符合 GDPR 的规定。虽然全球和地理 CRIS 配置文件可以帮助客户使用模型推理，但它们也为客户在推理合规要求和风险立场方面提供了选择。

在 AWS，我们最优先考虑的是保护客户数据，无论客户选择了哪个 AWS 区域，我们都实施严格的组织和技术措施，以确保数据的机密性、完整性和可用性。我们知道透明度对我们的客户很重要。我们在隐私功能网页上列出了涉及客户数据传输的 AWS 服务。

随着监管和立法环境的演变，我们致力于帮助客户继续享受 AWS 服务带来的好处，无论他们在哪里运营。有关更多信息，请参阅我们关于欧盟-美国隐私盾和 AWS 数据处理附加条款补充附件的客户更新以及我们的相关博客文章。

结论

跨区域推理（CRIS）使生成式 AI 应用能够访问其主要 AWS 区域中可能不可用的模型。它提高了对意外流量激增或区域特定容量短缺的恢复能力，同时保持最高水平的信任、隐私和安全性。

在本文中，我们展示了如何在遵守欧盟本地数据处理要求的前提下使用 CRIS。Amazon Bedrock 提供了灵活性，使客户可以根据其特定用例的需求，选择全球范围或地理限制的跨区域推理配置文件。这两种方法都符合 GDPR 等数据保护法规，但为客户在满足其工作负载需求和风险偏好方面提供了更大的灵活性。

AWS 致力于持续将新服务纳入其合规计划的范围，以帮助您满足架构和监管需求。AWS 团队将协助您评估风险并创建数据隐私影响评估。有关 AI 工作负载和跨区域推理的问题，请联系您的 AWS 账户团队。如需了解有关我们合规和安全计划的更多信息，请参阅 AWS 合规计划。

作者简介

'"`