Deploy frontier AI models on AWS Trainium with SGLang-Neuron

TL;DR · AI 摘要
AWS推出SGLang-Neuron插件,支持在Trainium芯片上高效部署前沿AI模型,结合PyTorch和Neuron技术提升性能。
核心要点
- SGLang-Neuron通过PyTorch和NKI内核实现Trainium芯片的高效模型执行
- 部署流程包含容器启动、服务端初始化和API调用三阶段
- 支持PD分拆架构,利用EFA实现跨服务器KV缓存传输
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- SGLang-Neuron架构
- 核心组件
- PyTorch集成
- NKI内核优化
- 部署流程
- 容器启动
- 服务初始化
- API调用
- 扩展特性
- PD分拆架构
- EFA网络传输
金句 / Highlights
值得收藏与分享的关键句。
SGLang-Neuron使用标准PyTorch操作并结合NKI内核提升性能
通过torch.compile将操作和内核编译为可执行程序
PD分拆架构利用EFA实现跨服务器KV缓存传输
在 AWS Trainium 上使用 SGLang-Neuron 部署前沿 AI 模型 | 人工智能
在 AWS Trainium 上使用 SGLang-Neuron 部署前沿 AI 模型
今天,亚马逊宣布 SGLang-Neuron 已正式公开发布,可通过 RadixArk 与 Annapurna Labs 联合推出的 AWS 深度学习容器进行访问。借助 SGLang-Neuron,您可以通过与当前相同的 SGLang 接口,在 AWS Trainium 上使用 SGLang 服务模型并生成强化学习(RL)的 rollouts。Trainium 是 AWS AI 芯片系列,为大规模 AI 训练和推理提供强大的经济性。现在,在 Trainium 上运行 SGLang 遵循您已熟悉的 SGLang 工作流程:您通过 SGLang 的服务器接口启动模型,并使用相同的生成 API 调用端点。在接口之下,SGLang-Neuron 基于原生 PyTorch 运行。凭借其树外插件设计,Trainium 支持与 SGLang 核心可以独立开发并更快迭代。
SGLang 如何在 Trainium 上运行
SGLang-Neuron 是一个树外插件,用于将 SGLang 与 AWS Trainium 连接。安装该插件后,会通过 SGLang 的插件入口点注册 neuron 平台,启动服务器时设置 SGLANG_PLATFORM=neuron 即可选择该平台。SGLang 核心继续提供 API 服务器、请求生命周期、RadixAttention 和前缀缓存管理。该插件实现了 Trainium 特有的模型、注意力机制、专家混合(MoE)以及图执行器。
图 1:AWS Trainium 上的 SGLang-Neuron
TorchNeuron 将 Trainium 注册为原生 PyTorch 设备。SGLang-Neuron 使用标准 PyTorch 操作执行模型路径,并通过 Neuron 内核接口(NKI)编写内核以实现高性能。它使用 torch.compile 将这些操作和内核编译成可执行程序,图执行器在服务期间准备并执行这些程序。
SGLang-Neuron 还支持 PD 分离架构。在此配置中,预填充服务器通过 Elastic Fabric Adapter(EFA)上的 NIXL 计算提示 KV 缓存并将其传输到解码服务器。解码服务器随后生成剩余的标记。每个服务器仍使用 SGLang 的调度器和请求生命周期,而插件管理 Trainium 执行和 KV 缓存传输路径。
使用 SGLang-Neuron 在 AWS Trainium 上部署模型
要按照本指南操作,您需要使用带有 pytorch-inference-sglang-neuronx 容器的 Trainium3 Amazon 弹性计算云(Amazon EC2)实例。以下是步骤:
- 启动容器。
docker run --rm -it \
--privileged --ipc=host \
-v /path/to/work:/work \
public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 \
/bin/bash- 在容器内启动 SGLang 模型服务器。
SGLANG_PLATFORM=neuron \
python -m sglang.launch_server \
--model-path openai/gpt-oss-120b \
--tp-size 8 \
--ep-size 8 \
--kv-cache-dtype fp8_e4m3 \
--context-length 10240 \
--chunked-prefill-size 8192 \
--max-running-requests 64 \
--max-total-tokens 655360 \
--mem-fraction-static 0.8 \
--host 127.0.0.1 \
--port 30000- 向模型服务器发送请求。
curl -s http://127.0.0.1:30000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "openai/gpt-oss-120b",
"messages": [{"role": "user", "content": "Explain why the sky appears blue."}],
"temperature": 0,
"max_tokens": 128
}'如需了解更多详细信息,请参阅 SGLang-Neuron 入门指南以获取设置说明,并查看仓库文档了解支持的模型、功能和经过验证的配置。
结论
SGLang-Neuron 通过原生 PyTorch 将 SGLang 熟悉的服务工作流程引入 AWS Trainium。您可以通过启动 SGLang-Neuron 容器并按照快速入门指南来服务支持的模型,从而快速上手。请使用您的工作负载进行尝试,通过项目仓库提交贡献,并分享反馈以帮助塑造未来模型和功能的支持方向。
作者简介
'"`