AWS Machine Learning Blog

Amazon Bedrock expands Claude model availability to in-country inferencing in India

6.9内容质量
Amazon Bedrock expands Claude model availability to in-country inferencing in India

TL;DR · AI 摘要

Amazon Bedrock expands Claude model availability to in-country inferencing in India Artificial Intelligence Amazon Bedro...

核心要点

  • 主题聚焦:Amazon Bedrock expands Claude model availability
  • 来源:AWS Machine Learning Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算#安全
打开原文

Amazon Bedrock 在印度推出 Claude 模型本地推理服务 | 人工智能

Amazon Bedrock 在印度推出 Claude 模型本地推理服务

我们很高兴宣布 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5 现已可在印度使用。印度区域端点通过地理跨区域推理服务进行部署。印度客户现在可以通过 Amazon Bedrock 访问这些模型,同时支持在印度区域和已有的全球跨区域推理服务中处理数据。当客户需要满足在特定地理区域本地处理数据的要求时,这项功能将非常有用。

在本文中,我们将探讨如何在 Amazon Bedrock 的 Mumbai 和 Hyderabad 区域通过地理跨区域推理服务使用 Anthropic Claude 模型。我们还将演示如何从 Amazon Bedrock 控制台以及通过代码开始使用,包括使用 Anthropic 的 Messages API、Amazon Bedrock InvokeModel API 和 Converse API。

印度推理服务

为帮助您实现 AI 应用的规模化,Amazon Bedrock 提供了跨区域推理配置文件功能,您可以通过该功能在多个 AWS 区域之间分配推理任务,而无需在每个区域单独管理容量。请求从您发起 API 调用的源区域发出,并自动路由到推理配置文件中定义的目的区域之一。印度地理配置文件将推理限制在印度境内。请求仅在 ap-south-1 和 ap-south-2 之间路由。您的输入提示和输出结果可能会在这两个区域之间传输。与仅依赖单个区域的容量相比,您的请求可以利用更广泛的计算资源池。这有助于在流量高峰期间保持吞吐量和稳定的性能。跨区域推理通过安全的 AWS 网络运行,传输中的数据采用端到端加密。使用跨区域推理时,客户数据不会存储在目标区域,而是始终保留在源区域。Amazon Bedrock 采用零数据保留(ZDR)数据安全模型。这意味着默认情况下,Amazon Bedrock 不会存储模型输入或输出。然而,某些模型在自动安全分类器标记内容时,可能需要 AWS 进行人工审核。有关详细信息,请参阅《Amazon Bedrock 用户指南》中的数据保留部分。计费和配额消耗始终针对源区域的账户进行跟踪,无论哪个后端区域处理了请求。Amazon CloudWatch 和 AWS CloudTrail 仅在源区域记录日志条目,因此您的监控信息始终集中在一个位置。地理跨区域推理功能可通过 bedrock-runtime 端点使用,支持 Anthropic 的 Messages API 以及 Amazon Bedrock 原生的 InvokeModel 和 Converse API,同时还支持 Amazon Bedrock 的 Guardrails 和智能提示路由等功能。

通过 Amazon Bedrock 控制台访问 Claude 模型

您可以在 Amazon Bedrock 控制台的文本游乐场直接访问 Claude 模型,无需任何编码或 SDK 设置。您可以发送提示、调整推理参数并在不同模型变体之间切换,以体验每个模型的特点,然后再集成 API。

  • 在您要使用的源区域打开 Amazon Bedrock 控制台。
  • 在导航窗格中,选择 Test 下的 Playground。
  • 选择页面中间的 Select 模型。
  • 搜索 Anthropic Claude Opus 5,选择 IN Anthropic Claude Opus 5 作为推理配置文件,然后点击应用。
  • 输入提示信息并选择运行以生成响应。

图1:在 Amazon Bedrock 控制台游乐场中选择的 Claude Opus 5 模型

使用 Anthropic Messages API 和 Amazon Bedrock InvokeModel/Converse API 调用 Claude 模型

您可以通过 Anthropic SDK 在 bedrock-runtime 上使用印度地理推理配置文件 ID,通过 Anthropic Messages API 访问 Anthropic 的 Claude Opus 5、Claude Sonnet 5 或 Claude Haiku 4.5 模型。您也可以继续通过 AWS 命令行界面 (AWS CLI) 和 AWS SDK 在 bedrock-runtime 上使用 InvokeModel 和 Converse API。

先决条件

  • 具有 Amazon Bedrock 访问权限的有效 AWS 账户。
  • 已安装并配置 AWS CLI。
  • Python 3.8+。
  • 已安装 Boto3:pip install boto3。
  • 已安装 Anthropic SDK:pip install anthropic。
  • 已安装 Amazon Bedrock 模型推理认证的 Bedrock Token Generator:pip install aws_bedrock_token_generator。
  • AWS 身份和访问管理 (IAM) 角色或用户具有使用地理跨区域推理配置文件调用 Amazon Bedrock 模型的必要权限。

以下是一个使用 AWS SDK for Python (Boto3) 和 InvokeModel API 的快速示例:

code
import boto3
import json

# 创建 Bedrock Runtime 客户端
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="ap-south-1"
)

# 调用 Claude Sonnet 5
response = bedrock_runtime.invoke_model(
    modelId="in.anthropic.claude-sonnet-5",
    contentType="application/json",
    accept="application/json",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": 4096,
        "messages": [
            {
                "role": "user",
                "content": " Can you explain the features of Amazon Bedrock? "
            }
        ]
    })
)

result = json.loads(response["body"].read())
print(result["content"][0]["text"])

您也可以使用 Amazon Bedrock Converse API 获得统一的多模型体验:

code
import boto3

# 创建 Bedrock Runtime 客户端
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="ap-south-1"
)

# 调用 Claude Opus 5
response = bedrock_runtime.converse(
    modelId="in.anthropic.claude-opus-5",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "text": " Can you explain the features of Amazon Bedrock?"
                }
            ]
        }
    ],
    inferenceConfig={
        "maxTokens": 4096
    }
)

if 'output' in response:
    blocks = response['output']['message']['content']
    print('\n'.join(b.get('text', '') for b in blocks if 'text' in b))

您还可以通过 anthropic SDK 包使用 Anthropic Messages API 获得更流畅的体验:

code
from anthropic import Anthropic
from aws_bedrock_token_generator import provide_token

token = provide_token(region="ap-south-1")

client = Anthropic(
    base_url="https://bedrock-runtime.ap-south-1.amazonaws.com/anthropic",
    api_key=token,
)

response = client.messages.create(
    model="in. anthropic.claude-haiku-4-5-20251001-v1:0",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}],
)

print(response)

You can monitor usage, performance, and costs through CloudWatch and AWS Cost Explorer to scale your applications as demand grows.

Conclusion

With the launch of Anthropic’s Claude Opus 5, Claude Sonnet 5, and Claude Haiku 4.5 using Amazon Bedrock with India geographic cross-Region inference, you can now build highly scalable, resilient generative AI applications while keeping inference within the country. To get started, access Anthropic’s Claude models in the Amazon Bedrock console , or call them with the API using the India geographic inference profile ID. For the most current information about model availability in each Region, see Regional availability by models in the Amazon Bedrock User Guide.

About the authors

'"`