AWS Machine Learning Blog

Introducing Kimi K3.1 Pro on Amazon Bedrock

8.5内容质量
Introducing Kimi K3.1 Pro on Amazon Bedrock

TL;DR · AI 摘要

Kimi K3.1 Pro Highspeed模型在Amazon Bedrock上线,提供更高的生成速度和专业任务优化。

核心要点

  • Kimi K3.1 Pro Highspeed生成速度是原版的2-3倍
  • 支持金融建模、游戏引擎编码等专业场景
  • 数据在AWS内处理且不共享给Moonshot AI

结构提纲

按章节快速跳转。

  1. 宣布Kimi K3.1 Pro Highspeed在Amazon Bedrock上线

  2. 通过额外训练实现2-3倍生成速度提升

  3. 优化金融建模、游戏开发、CAD脚本等专业任务

  4. 数据在AWS边界内处理且不用于训练

  5. 支持OpenAI兼容API和Bedrock原生接口

  6. 提供控制台和代码调用两种接入方式

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Kimi K3.1 Pro Highspeed on Amazon Bedrock
    • 模型特性
      • 3T参数量/100万token上下文窗口
      • 2-3倍生成速度提升
    • 安全机制
      • AWS数据边界处理
      • 零数据保留策略
    • 应用场景
      • 金融建模
      • 游戏引擎开发
      • CAD脚本生成

金句 / Highlights

值得收藏与分享的关键句。

#Amazon Bedrock#Kimi K3.1 Pro#AI模型#AWS
打开原文

在 Amazon Bedrock 上推出 Kimi K3.1 Pro | 人工智能

在 Amazon Bedrock 上推出 Kimi K3.1 Pro

Moonshot AI 推出的 Kimi K3.1 Pro Highspeed 现已上线 Amazon Bedrock。作为 Moonshot AI 新一代 K3.1 系列的一部分,这是 Kimi K3 的微调版本,采用相同的 3T 级开源权重架构和 100 万 token 上下文窗口,但经过大幅增加的微调计算训练。据 Moonshot AI 介绍,额外训练重点优化了长期代理任务并减少事实性错误。该模型在财务建模、办公文档处理、游戏引擎编程、3D 场景构建和计算机辅助设计(CAD)脚本等专业任务上表现更优。Kimi K3.1 Pro Highspeed 的输出 token 生成速度更快,Moonshot AI 报告其速度达到 Kimi K3.1 Pro 的 2-3 倍。

Kimi K3.1 Pro Highspeed 在 Amazon Bedrock 上与 Kimi K3 使用相同的接口、API 和功能。如果您已基于 Kimi K3 开发应用,只需在现有代码中修改模型 ID 即可尝试新版本。

Kimi K3.1 Pro Highspeed 支持工具调用、结构化输出、可配置推理、图像输入和流式传输。您无需改变现有安全策略即可采用该模型。您的数据在 AWS 数据边界内处理,不会与 Moonshot AI 共享,也不会用于模型训练。所有推理请求默认启用零数据留存,且 AWS 操作人员无法访问您的提示词和生成内容。

本文将指导您如何在 Amazon Bedrock 上使用 Kimi K3.1 Pro Highspeed。我们还将介绍如何通过 Flex 级别降低成本、使用显式提示缓存处理重复上下文,以及如何在 OpenCode 中将该模型作为代码助手使用。

在 Amazon Bedrock 上使用 Kimi K3.1 Pro Highspeed 入门

无需编写代码即可尝试该模型,打开 Amazon Bedrock 控制台,选择 Test > Playground,然后选择 Kimi K3.1。

通过代码访问时,Kimi K3.1 Pro Highspeed 通过 bedrock-runtime 接口提供服务,支持 OpenAI 兼容的 Chat Completions 和 Responses API,以及 Amazon Bedrock 的 Converse 和 Invoke API。我们推荐使用 Chat Completions API。您可通过跨区域推理配置访问模型:

  • global.moonshotai.kimi-k3.1 将请求路由到任意支持的商业 AWS 区域,每 token 成本低于地理区域配置。我们推荐用于大多数工作负载。
  • us.moonshotai.kimi-k3.1 保持处理在 US 区域,in.moonshotai.kimi-k3.1 保持处理在印度区域,适用于有数据驻留要求的工作负载。

先决条件

要运行示例,您需要:

  • 具有 Amazon Bedrock 访问权限的 AWS 账户。
  • Python 3.11 或更高版本,已安装 OpenAI SDK、aws-bedrock-token-generator 和 boto3(通过 pip install -U openai aws-bedrock-token-generator boto3 安装)。
  • 具有调用 Kimi K3.1 Pro Highspeed 推理配置中 bedrock:InvokeModel 和 bedrock:InvokeModelWithResponseStream 权限的 AWS IAM 身份。如果使用 bearer token 认证,还需添加 bedrock:CallWithBearerToken 权限。

使用 Chat Completions API 调用 Kimi K3.1 Pro Highspeed

如果您的应用已使用 OpenAI SDK,只需指向 Amazon Bedrock 接口并修改模型名称即可。以下示例从 AWS 凭证生成短期 bearer token 并发送请求:

python
from openai import OpenAI
from aws_bedrock_token_generator import provide_token

REGION = "us-west-2" MODEL_ID = "global.moonshotai.kimi-k3.1"

该令牌由您的 AWS 凭据派生,因此代码中不会存储长期有效的密钥

client = OpenAI( base_url=f"https://bedrock-runtime.{REGION}.amazonaws.com/openai/v1", api_key=provide_token(region=REGION), )

completion = client.chat.completions.create( model=MODEL_ID, messages=[ {"role": "system", "content": "你是一位简洁的高级工程师。"}, {"role": "user", "content": "在什么情况下应该优先使用队列而不是流?"}, ], reasoning_effort="high", ) print(completion.choices[0].message.content)

code

Kimi K3.1 Pro Highspeed 总是在回答前进行推理。通过 reasoning_effort 参数,您可以控制推理的程度:low(低)、high(高)或 max(最大)。如果不设置该参数,模型将默认使用 max,因此对于简单任务,设置较低值可以最直接地降低延迟和输出 token 数量。

### 使用 Responses API 调用 Kimi K3.1 Pro Highspeed

相同的客户端可以与 Responses API 配合使用,该 API 使用 reasoning.effort 实现相同的功能设置:

response = client.responses.create( model=MODEL_ID, input="总结乐观锁和悲观锁之间的权衡。", reasoning={"effort": "low"}, ) print(response.output_text)

code

### 使用 Converse API 调用 Kimi K3.1 Pro Highspeed

如果您已经在使用 Amazon Bedrock Converse API,只需更改模型 ID 即可:

import boto3

bedrock = boto3.client("bedrock-runtime", region_name="us-west-2") response = bedrock.converse( modelId="global.moonshotai.kimi-k3.1", messages=[{"role": "user", "content": [{"text": "用两句话解释幂等性键。"}]}], )

模型在回答前可能返回推理块,因此选择文本块

content = response["output"]["message"]["content"] print(next(block["text"] for block in content if "text" in block))

code

## 使用 Flex 级别降低成本

Flex 级别以标准价格一半的成本提供 Kimi K3.1 Pro Highspeed,但可能需要更长的响应时间。它非常适合将成本效率优先于响应时间的工作负载,例如模型评估、内容摘要和代理工作流中的后台任务。由于您可以为每个请求选择级别,一个应用程序可以混合使用不同级别。例如,同一应用程序可以对延迟敏感的请求使用 Priority 级别,对日常流量使用 Standard 级别,对成本敏感的工作使用 Flex 级别。您的按需配额在 Standard、Priority 和 Flex 级别之间共享。

要使用 Flex 级别,请将 service_tier 设置为 flex。以下示例重用了前面的 Chat Completions 客户端:

completion = client.chat.completions.create( model=MODEL_ID, messages=[{"role": "user", "content": "列出需要测试的函数边缘情况,该函数解析 ISO 8601 日期。"}], service_tier="flex", ) print(completion.choices[0].message.content) print(completion.service_tier) # 服务请求的级别

code

在 Converse API 中,将 serviceTier 设置为 {"type": "flex"}。要查看每个级别处理了多少流量,请使用 Amazon CloudWatch 中的 ServiceTier 和 ResolvedServiceTier 维度。我们建议从少量流量开始使用 Flex,比较延迟和成本后再逐步增加。

## 通过显式提示缓存优化推理

代理和代码助手在每次交互中都会重复发送相同的大型前缀:系统指令、工具定义、仓库规范和参考文档。Kimi K3.1 Pro Highspeed 可自动缓存重复的前缀,通过显式提示缓存功能,您可以标记稳定前缀的结束位置以提高缓存命中率。后续请求将复用该前缀而非重新处理,从而降低长重复上下文的延迟和输入成本。

适用规则如下:

- 显式缓存功能适用于 Chat Completions、Responses 和 Invoke API,但不适用于 Converse。
- prompt_cache_breakpoint 必须跟在至少 256 个 token 的稳定内容之后。
- 缓存内容保留时间不少于 30 分钟。
- 缓存写入的计费速率高于标准输入,缓存读取按折扣费率计费且不计入每分钟输入 token 额度。

以下示例缓存了长系统提示,并在用户内容后添加了第二个断点,使同一文档的后续问题可复用两层缓存:

from pathlib import Path

LONG_STATIC_PROMPT = Path("repo_guidelines.md").read_text() # 稳定内容,至少 256 token QUESTION = "Which of these guidelines apply to database migrations?"

def cached_text(text):

标记可缓存前缀的结束位置

return {"type": "input_text", "text": text, "prompt_cache_breakpoint": {"mode": "explicit"}}

response = client.responses.create( model=MODEL_ID, extra_body={"prompt_cache_options": {"mode": "explicit"}}, input=[ {"type": "message", "role": "system", "content": [cached_text(LONG_STATIC_PROMPT)]}, {"type": "message", "role": "user", "content": [cached_text(QUESTION)]}, ], ) details = response.usage.input_tokens_details print(f"Cache read: {details.cached_tokens} tokens") # 缓存命中时大于 0

code

更多信息请参阅 [Prompt caching for faster model inference](#)。

## Kimi K3.1 Pro Highspeed 实践:与 OpenCode 集成编程

OpenCode 是一个开源的、模型无关的终端代码代理。您可通过 Amazon Bedrock Chat Completions API 将其连接到 Kimi K3.1 Pro Highspeed,使用 OpenCode 的 OpenAI 兼容提供程序和 Amazon Bedrock API 密钥。要创建密钥,请在设置的 AWS Region 中打开 Amazon Bedrock 控制台,然后选择 API keys。短期密钥最多持续 12 小时,仅在生成密钥的 Region 内有效,建议用于生产环境。长期密钥用于探索性用途。

将以下内容添加到 `~/.config/opencode/opencode.json`,将 baseURL 中的 Region 替换为您的 Region:

{ "$schema": "https://opencode.ai/config.json", "providers": { "amazon-bedrock-chat-completions": { "name": "Amazon Bedrock (Chat Completions)", "package": "@opencode/ai/providers/openai-compatible", "settings": { "baseURL": "https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1" }, "models": { "global.moonshotai.kimi-k3.1": { "name": "Kimi K3.1 Pro Highspeed", "capabilities": { "reasoning": { "supported": true, "effort": ["low", "high", "max"] } } } } } }, "model": "amazon-bedrock-chat-completions/global.moonshotai.kimi-k3.1" }

code

在项目目录中启动 OpenCode,进入 /connect,选择 Amazon Bedrock(Chat Completions),然后按照图 1 所示粘贴您的 API 密钥。OpenCode 会存储该密钥,因此每个密钥只需连接一次。在会话中切换 Kimi K3.1 Pro Highspeed 和其他模型时,输入 /models。

图 1:将 OpenCode 连接到 Amazon Bedrock(Chat Completions)服务提供商

配置中的 capabilities 条目列出了模型支持的推理努力级别,因此 OpenCode 提供 low、high 和 max 作为模型的变体,如图 2 所示:

图 2:OpenCode 中 Kimi K3.1 Pro Highspeed 的推理努力变体

在代理式编码中,输出速度最为关键。为了完成单一任务,编码代理需要连续进行多次模型调用。它会读取文件、规划变更、编辑代码、运行测试并修复失败部分。每次调用必须在下一次开始前完成,而大量时间都花在生成推理和代码上。更高的输出令牌率会缩短每个步骤,从而使整个编辑-测试-修复循环更快完成,减少迭代之间的等待时间。

## 可用性

Kimi K3.1 Pro Highspeed 通过 global.moonshotai.kimi-k3.1、us.moonshotai.kimi-k3.1 和 in.moonshotai.kimi-k3.1 跨区域推理配置文件在 Amazon Bedrock 上提供。有关支持的区域和模型详情,请参阅 Kimi K3.1 Pro Highspeed 模型卡片和区域可用性。有关定价信息,请参阅 Amazon Bedrock 定价。

立即开始,通过 Amazon Bedrock 控制台体验 Kimi K3.1 Pro Highspeed。如需与 Amazon Bedrock 团队讨论您的使用场景,请与我们联系。

## 作者简介

'"`