AWS Machine Learning Blog

Introducing Anthropic models on Amazon Bedrock for in-region inference in Seoul and Singapore

6.9内容质量
Introducing Anthropic models on Amazon Bedrock for in-region inference in Seoul and Singapore

TL;DR · AI 摘要

Introducing Anthropic models on Amazon Bedrock for in-region inference in Seoul and Singapore Artificial Intelligence In...

核心要点

  • 主题聚焦：Introducing Anthropic models on Amazon Bedrock f
  • 来源：AWS Machine Learning Blog，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#后端#云计算#安全
打开原文

在首尔和新加坡推出 Anthropic 模型用于 Amazon Bedrock 区域内推理 | 人工智能

在首尔和新加坡推出 Anthropic 模型用于 Amazon Bedrock 区域内推理

Amazon Bedrock 现在支持 Anthropic Claude 模型：在首尔地区提供 Claude Opus 5 和 Claude Sonnet 5 模型，在新加坡地区提供 Claude Sonnet 5 模型，通过 bedrock-runtime 端点实现区域内部推理。如果您在韩国或新加坡有本地数据处理需求（例如金融服务业、医疗保健和公共部门），现在可以大规模使用这些 Anthropic 模型。Amazon Bedrock 在您调用的区域内部处理推理请求和数据，处理过程不会离开该区域。

在本文中，我们将演示如何通过 bedrock-runtime 端点，从亚太（首尔）区域（ap-northeast-2）和亚太（新加坡）区域（ap-southeast-1）使用区域内部推理功能。我们还将展示如何通过 Amazon Bedrock 控制台和代码快速入门，使用 Amazon Bedrock Converse API、InvokeModel API 和 Anthropic Messages API 进行操作。

区域内部推理

为帮助您满足 AI 应用的严格数据驻留要求，Amazon Bedrock 提供区域内部推理功能。您的请求将在您指定的单一 AWS 区域内完全处理，且不会离开该区域。当您需要严格单一区域数据处理时，建议使用此功能。

与跨区域推理配置文件不同，区域内部推理没有路由层。您发送到首尔（ap-northeast-2）或新加坡（ap-southeast-1）区域的请求将仅由该区域处理。您的输入提示和输出结果在整个请求生命周期中都将保留在该区域内。作为交换，您的吞吐量将受该区域容量限制。请求将受每个区域的服务配额限制。计费遵循所调用区域的标准按需定价。配额消耗、Amazon CloudWatch 指标和 AWS CloudTrail 日志条目均限定在该区域。在监控时无需区分源区域和目标区域。bedrock-runtime 端点现已支持首尔地区的 Claude Sonnet 5 和 Claude Opus 5 模型，以及新加坡地区的 Claude Sonnet 5 模型。对于新应用，我们建议使用 bedrock-runtime 端点。您可以通过直接模型 ID 调用该端点，例如：anthropic.claude-opus-5 或 anthropic.claude-sonnet-5。该端点支持 Anthropic 的 Messages API 以及 Amazon Bedrock 的 InvokeModel 和 Converse API，并集成 Amazon Bedrock 的功能，如 Amazon Bedrock Guardrails 和智能提示路由。

通过 Amazon Bedrock 控制台访问 Claude 模型

您可以在 Amazon Bedrock 控制台的文本实验区中访问 Claude 模型，无需任何编码或 SDK 配置。您可以发送提示、调整推理参数并在不同模型变体之间切换，以体验每个模型的功能，然后再集成 API。

  • 在您希望用作源的区域中打开 Amazon Bedrock 控制台。
  • 在导航窗格中，选择 Test 下的 Playground。
  • 在页面中间选择 Select model。
  • 搜索 anthropic.claude-opus-5，在 Inference 下选择 On-Demand，然后点击 Apply。
  • 输入提示并点击 Run 以生成响应。

图 1：在 Amazon Bedrock 控制台实验区中选择的 Anthropic Opus 5 模型（启用区域内部推理）

使用 Anthropic Messages API 和 Amazon Bedrock InvokeModel/Converse API 调用 Claude 模型

你可以通过 Anthropic SDK 使用 Anthropic Messages API 在 bedrock-runtime 上通过 Seoul 地域推理访问 Anthropic 的 Claude Opus 5 或 Claude Sonnet 5，也可以继续通过 AWS 命令行界面（AWS CLI）和 AWS SDK 在 bedrock-runtime 上使用 Invoke 和 Converse API。

先决条件

  • 具有 Amazon Bedrock 访问权限的有效 AWS 账户。
  • 已安装并配置 AWS CLI。
  • Python 3.8+。
  • 已安装 Boto3：pip install boto3。
  • 已安装 Anthropic SDK：pip install anthropic。
  • 已安装用于 Amazon Bedrock 身份验证的 Amazon Bedrock Token Generator：pip install aws_bedrock_token_generator。

以下是一个使用 Python 的 AWS SDK（Boto3）和 InvokeModel API 的快速示例：

code
import boto3
import json

# 在新加坡创建具有地域内推理的 Bedrock Runtime 客户端
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="ap-southeast-1")

# 调用 Claude Sonnet 5
response = bedrock_runtime.invoke_model(
    modelId="anthropic.claude-sonnet-5",
    contentType="application/json",
    accept="application/json",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": 4096,
        "messages": [
            {
                "role": "user",
                "content": " Can you explain the features of Amazon Bedrock? "
            }
        ]
    })
)

result = json.loads(response["body"].read())
print(result["content"][0]["text"])

你也可以使用 Amazon Bedrock Converse API 获得统一的多模型体验：

code
import boto3

# 在 Seoul 创建具有地域内推理的 Bedrock Runtime 客户端
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="ap-northeast-2"
)

# 调用 Claude Opus 5
response = bedrock_runtime.converse(
    modelId="anthropic.claude-opus-5",
    messages=[
        { "role": "user",
          "content": [
              { "text": " Can you explain the features of Amazon Bedrock?"
              }
          ]
        }
    ],
    inferenceConfig={
        "maxTokens": 4096
    }
)

if 'output' in response:
    blocks = response['output']['message']['content']
    print('\n'.join(b.get('text', '') for b in blocks if 'text' in b))

你也可以通过 anthropic SDK 包中的 Anthropic Messages API 获得更流畅的体验：

code
from anthropic import Anthropic
from aws_bedrock_token_generator import provide_token

token = provide_token(region="ap-northeast-2")

client = Anthropic(
    base_url="https://bedrock-runtime.ap-northeast-2.amazonaws.com/anthropic",
    api_key=token,
)

response = client.messages.create(
    model="anthropic.claude-sonnet-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}],
)

print(response)

你可以通过 CloudWatch 和 AWS Cost Explorer 监控使用情况、性能和成本，从而根据需求增长扩展应用程序。

结论

随着Anthropic的Claude Opus 5和Claude Sonnet 5在Amazon Bedrock上正式发布，并支持首尔地区的本地化推理，以及新加坡地区支持Claude Sonnet 5的本地化推理，您现在可以构建符合严格数据驻留要求的生成式AI应用。这种本地化推理能力可确保推理过程完全保留在您指定的区域内。我们对此次发布感到非常兴奋，并期待看到您如何利用这些功能加速创新，为整个区域带来具有影响力的AI驱动体验。如需了解每个区域模型可用性的最新信息，请参阅《Amazon Bedrock用户指南》中的“按区域划分的模型可用性”部分。

About the authors