Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS

在 Amazon EKS 和 SageMaker HyperPod EKS 上使用 NVIDIA Nemotron 模型加速智能体 AI | 人工智能

在 Amazon EKS 和 SageMaker HyperPod EKS 上使用 NVIDIA Nemotron 模型加速智能体 AI

NVIDIA Nemotron 3.5 Super VL 加入 AWS 上已提供的 NVIDIA Nemotron 3 Nano、Nano Omni、Super、Ultra 和 Nemotron 3.5 Lightning 模型系列。这是一个包含 1200 亿参数的专家混合模型（MoE），每个 token 激活 120 亿参数。该模型结合了推理和工具使用能力，能够同时理解文本、图像、文档和视频，因此一个模型即可完成文本和视觉任务。本文将探讨其架构和用例，然后展示如何在 Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon EKS Auto Mode 和 Amazon SageMaker HyperPod EKS 上部署该模型。

关于 Nemotron 3.5 Super VL

NVIDIA Nemotron 3.5 Super VL 是一个从 Nemotron 3 Ultra 模型提炼出的开源多模态模型。NVIDIA 发布了模型权重、训练数据集和后训练方案，因此您可以根据特定领域的工作负载自定义该模型，并在您控制的基础设施上运行。模型详情：

• 总参数量 1200 亿，每个 token 激活 120 亿参数。
• 混合 Mamba-2、MoE 和注意力层，配备 RADIO 视觉编码器。
• 上下文长度最高可达 100 万 tokens。
• 输入：文本、图像、文档和视频。
• 输出：文本。
• BF16 和 NVFP4 检查点。

NVIDIA 在 Hermes Bench 上报告了 63.44% 的性能，在 LangChain 智能体评估中达到 87.05%，在 CharXiv 图表推理基准测试中达到 80.8%。（技术报告）

模型架构

Nemotron 3.5 Super VL 采用混合 Mamba-Transformer MoE 架构，交替使用 Mamba-2、注意力和专家层。每个 token 通过稀疏路由激活 120 亿参数中的 120 亿，因此每个 token 的计算量与更小的模型相当，而 GPU 内存仍可存储完整权重。Mamba-2 层在生成过程中保持恒定大小的状态，因此其内存不会像 KV 缓存那样随序列长度增长，从而保持长上下文的可负担性。递归共享的多 token 预测（MTP）头支持原生推测解码。

应用场景

Nemotron 3.5 Super VL 支持结合推理与视觉理解的智能体工作流：

• 编码：测试和验证代码，分析错误，推荐修复方案。
• 网络研究：交叉验证并确认搜索工具返回的来源。
• 文档智能：读取表格、图表和页面布局以生成摘要。
• 网络安全：识别漏洞并分类威胁。
• 视频理解：搜索、内容分析、审查和事件分析。

Nemotron 3.5 Super VL 通过 NVIDIA 参考实现、配方和 NVIDIA Agent Toolkit 与主要开源智能体框架和编排系统集成。有关支持框架的完整列表，请参阅 NVIDIA 开发者博客。

最低 GPU 配置

vLLM（GPU 型号 / 最小数量）

BF16

NVFP4

B200/GB200

8

2

B300/GB300

4

1

H200

H100

16

参考实现运行在标准的 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上。使用 EKS Auto Mode 时，AWS 会代为管理集群的扩展、GPU 和 EFA 支持。模型部署的 Kubernetes 清单文件对每种编排选项都是一致的。每个集群包含一个托管 Kubernetes API 的控制平面，以及由 CPU 和 GPU 节点组成的数据平面。CPU 节点运行系统和测试 Pod，而 GPU 节点运行模型。Amazon 弹性容器注册表（Amazon ECR）存储容器镜像，共享的 Amazon FSx for Lustre 卷保存模型权重，Elastic Fabric Adapter（EFA）连接 GPU 节点。下图展示了标准的 Amazon EKS 集群架构。

图 1：用于部署 NVIDIA Nemotron 模型的标准 Amazon EKS 集群架构

NVIDIA Dynamo 可在单个节点上聚合服务模型，也可将预填充和解码过程分散到不同节点上。对于视觉-语言模型，图像/视频编码阶段还可以在独立节点上进一步分散执行。

验证与性能

该架构已在 p6-b200.48xlarge（8 x NVIDIA B200 GPU）和 p5en.48xlarge（8 x NVIDIA H200 GPU）实例上验证。您可以使用 NVIDIA 集体通信库（NCCL）的 all-reduce 微基准测试验证集群及其网络性能。

图 2：NCCL all-reduce 验证测试期间的 GPU 和 EFA 利用率

在 NCCL 测试运行期间观察到所有 GPU 的利用率和所有 EFA 适配器的流量，可验证集群按预期工作。

您可以使用 NVIDIA aiperf 工具测量集群上部署模型的性能。

图 3：已部署模型的 aiperf 性能指标

左上角面板的 aiperf 输出显示关键性能指标（KPI），如首个令牌生成时间（TTFT）、令牌间延迟（ITL）和每秒令牌吞吐量（TPS）。通过在不同并发级别获取这些指标，我们可以研究延迟和吞吐量如何依赖于并发请求数量。这些信息对于合理规划容量和模型部署拓扑至关重要。aws-do-eks 容器提供自动化功能，可通过单条命令可视化 GPU 和 EFA 利用率，并运行 aiperf 和并发扫描。

图 4：聚合部署与分散部署的并发扫描对比

上述并发扫描图表明，Nemotron 3.5 Super VL 在两个节点上聚合部署与分散部署之间的 TTFT 差异较小，ITL 基本相当。

这种图表在部署决策时非常有用。例如，可以将延迟预算作为水平线绘制，如 TTFT 低于 600 毫秒（约 1 秒）和每个令牌 ITL 低于 100 毫秒。两条线以下最右侧的点表示该拓扑结构单个副本在服务等级目标（SLO，此处为 c32）内可提供的吞吐量，即约 320 个令牌/秒。规划容量时，将目标令牌/秒数除以每个副本的吞吐量，即可确定需要部署的预填充-解码对数量。在更改（精度、TP/PP 形状、聚合与分散部署、新 Dynamo 或 vLLM 版本）后重新运行相同扫描，可立即显示权衡效果。向右下方移动的曲线是性能提升。由于 TTFT 和 ITL 分开绘制，它还能告诉您需要扩展哪一侧：ITL 上升表示需要增加解码能力，TTFT 上升表示需要增加预填充能力。

This post covers the architecture and performance evaluation patterns for serving NVIDIA Nemotron models on Amazon EKS, EKS Auto Mode, and SageMaker HyperPod EKS with NVIDIA Dynamo and vLLM. To get started, deploy Nemotron 3.5 Super VL in your own account, using the reference implementation . More inference blueprints are also available in the AI on EKS project. To get further hands-on experience with inference on EKS, register for our upcoming workshops .

Acknowledgements

The authors would like to convey special thanks to everyone involved in developing, validating, reviewing, and publishing this content, including but not limited to: Eliuth Triana, Jiahong Liu, Kshitiz Gupta, Abhijeet Patil, Mike Stefaniak, Chris Splinter, Sheetal Joshi, Aditya Ramakrishnan, Natarajan Kumar, Anish Maddipoti.

About the authors

'"`