Prime Intellect 发布推理平台 Prime Inference，已上线 GLM-5.3 端点

Prime Intellect 发布推理平台 Prime Inference，已上线 GLM-5.3 端点 · AIHOT

Prime Intellect

·

2026-10-03 04:37

2 小时前

精选

AI 评分

61

Prime Intellect 发布推理平台 Prime Inference，已上线 GLM-5.3 端点

Prime Inference: Fast, Reliable Serving for Frontier Open Models

AI 导读

Prime Intellect 发布推理平台 Prime Inference，提供 serverless ç«¯ç‚¹ä¸Žé¢„ç•™å®¹é‡ï¼Œè·¨æ•°æ®ä¸­å¿ƒæœåŠ¡å‰æ²¿å¼€æºæ¨¡åž‹ï¼Œå† éƒ¨æ¯å¤©å¤„ç†è¿‘ä¸€ä¸‡äº¿ token。

推荐理由

官方详解了推理平台在 GB200 NVL72 上服务 GLM-5.3 çš„æž¶æž„ä¸Žå† æ ¸ä¼˜åŒ–ï¼Œå·¥ç¨‹ç»†èŠ‚å¯ç›´æŽ¥å‚è€ƒã€‚

正文 · AI 翻译

Prime Inferenceï¼šä¸ºå‰æ²¿å¼€æ”¾æ¨¡åž‹æä¾›å¿«é€Ÿã€å¯é çš„æœåŠ¡

Prime çš„ä½¿å‘½æ˜¯æž„å»ºå‰æ²¿å¼€æ”¾æ¨¡åž‹å’Œå¼€æ”¾è¶ çº§æ™ºèƒ½æ ˆï¼Œä»¥æŒç»­æ”¹è¿›æ™ºèƒ½ä½“ã€‚æˆ‘ä»¬å·²æä¾›ç«¯åˆ°ç«¯çš„åŽè®­ç»ƒåŸºç¡€è®¾æ–½ï¼Œä»Ž prime-rl 和 verifiers 到沙箱和 RL çŽ¯å¢ƒã€‚ä½†æŒç»­å­¦ä¹ å¾ªçŽ¯åªæœ‰åœ¨è®­ç»ƒå¥½çš„æ¨¡åž‹èƒ½å¤ŸæœåŠ¡çœŸå®žç”¨æˆ·ã€ç”Ÿæˆæ–°ç»éªŒï¼Œå¹¶å°†è¿™äº›ç”Ÿäº§è½¨è¿¹åé¦ˆåˆ°è®­ç»ƒä¸­æ—¶æ‰ç®—å®Œæ•´ã€‚

æˆ‘ä»¬å¾ˆé«˜å ´ä»Šå¤©å‘å¸ƒ Prime Inferenceã€‚å®ƒæ¶µç›–æ— æœåŠ¡å™¨ç«¯ç‚¹å’Œé¢„ç•™å®¹é‡ï¼Œå¹¶åœ¨æˆ‘ä»¬æ¨ªè·¨å¤šä¸ªæ•°æ®ä¸­å¿ƒçš„ GPU 基础设施上提供前沿开源模型的弹性服务。

Prime Inference æœ€åˆæ˜¯æˆ‘ä»¬è‡ªå·±éœ€è¦çš„æœåŠ¡å¹³å°ã€‚æ—©åœ¨å ¬å¼€å‘å¸ƒä¹‹å‰ï¼Œå®ƒå°±æ”¯æ’‘ç€å¤§è§„æ¨¡ RL æŽ¨æ¼”ã€åˆæˆæ•°æ®ç”Ÿæˆã€è¯„ä¼°å’Œé•¿æ—¶é—´è¿è¡Œçš„ç¼–ç æ™ºèƒ½ä½“ï¼Œä» å† éƒ¨æ¯å¤©å°±å¤„ç†è¿‘ä¸€ä¸‡äº¿ä¸ª tokenã€‚è¿™ç§è§„æ¨¡æŽ¨åŠ¨æˆ‘ä»¬é’ˆå¯¹æŒç»­æ€§èƒ½ã€è´¨é‡å’Œå¯é æ€§è¿›è¡Œä¼˜åŒ–ï¼Œè€Œä¸ä» ä» æ˜¯åŸºå‡†æµ‹è¯•é€Ÿåº¦ã€‚

æˆ‘ä»¬çš„é¦–ä¸ªå ¬å¼€éƒ¨ç½² GLM-5.3 于 9 月 22 日在 OpenRouter 上线。它目前位列 OpenRouter 上最快的 GLM-5.3 ç«¯ç‚¹ä¹‹ä¸€ï¼Œå·¥å ·è°ƒç”¨é”™è¯¯çŽ‡æŽ¥è¿‘é›¶ï¼Œè‡ªä¸Šçº¿ä»¥æ¥æ­£å¸¸è¿è¡Œæ—¶é—´è¾¾ 100%。

Prime Inference 概览

• 低延迟、实时服务： 我们在 OpenRouter 上的 GLM-5.3 ç«¯ç‚¹æŒç»­æŽ¥å—è´¨é‡è¯„ä¼°ï¼Œä»Žä¸€å¼€å§‹å°±å† ç½®ç”Ÿäº§çº§ SLAã€å®‰å ¨æ€§å’Œéšç§ä¿æŠ¤ã€‚

• 跨数据中心的高端基础设施： Prime 托管的模型目前运行在 NVIDIA Blackwell 上，Vera Rubin 即将推出。

• 正常运行时间： è·¨æ•°æ®ä¸­å¿ƒçš„è‡ªåŠ¨æ• éšœè½¬ç§»å¯å°†æµé‡æŒç»­å¯¼å‘å¥åº·çš„éƒ¨ç½²ã€‚

• å ¼å®¹ OpenAI： 使用 Prime 端点和 API å¯†é’¥è¿žæŽ¥æ‚¨çŽ°æœ‰çš„å·¥å ·å’Œ SDK。

• 扩展性： æ— æœåŠ¡å™¨ç«¯ç‚¹åº”å¯¹å¯å˜éœ€æ±‚ï¼Œé¢„ç•™å®¹é‡æ”¯æŒæŒç»­å·¥ä½œè´Ÿè½½ã€‚

• 成本： 跨模型的统一计费和团队级用量跟踪，让推理支出更易于管理。

• 强大的开源基础设施： æˆ‘ä»¬çš„æŠ€æœ¯æ ˆç»“åˆäº† NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，与 Inferact 和 NVIDIA 密切合作开发，并将改进贡献回上游。

开始使用

æˆ–è€ å°†ä»»ä½• OpenAI SDK 指向 https://api.pinference.ai/api/v1 。完整 API å‚è€ƒè¯·å‚é˜ æ–‡æ¡£ 。

为生产级 SLA 而构建

Prime Inference å°†å ¬å ± API ä¸Žæ¨¡åž‹é›†ç¾¤åˆ†ç¦»ï¼Œå› æ­¤å®¹é‡å¯ä»¥è¿ç§»ã€æ• éšœæˆ–æ‰©å±•ï¼Œè€Œæ— éœ€æ›´æ”¹å®¢æˆ·ç«¯ç«¯ç‚¹ã€‚

æˆ‘ä»¬çš„å ±äº«æ–­è·¯å™¨è®©æ¯ä¸ªç½‘å ³å‰¯æœ¬å¯¹æ• éšœåšå‡ºä¸€è‡´ååº”ï¼Œè€ŒåŸºäºŽç§Ÿçº¦çš„å‡†å ¥æŽ§åˆ¶å¯é˜²æ­¢è¿‡è½½ï¼Œå¹¶åœ¨è¿›ç¨‹æ¶ˆå¤±æ—¶è‡ªåŠ¨æ¢å¤å®¹é‡ã€‚

åœ¨è½¯ä»¶å±‚ä¹‹ä¸‹ï¼Œæ¯ä¸ªé›†ç¾¤éƒ½å—åˆ°æŒç»­ç›‘æŽ§ï¼Œå¥åº·æ£€æŸ¥ä¸€ç›´æ·±å ¥åˆ° NVLink 和 InfiniBand。警报会发送给 24/7 å¾ å‘½çš„å›¢é˜Ÿï¼Œå› æ­¤ GPU æ• éšœèƒ½è¢«å¿«é€Ÿå‘çŽ°å’Œä¿®å¤ï¼Œè€Œä¸æ˜¯è®©æœåŠ¡ç¼“æ ¢é™çº§ã€‚è€Œä¸”ç”±äºŽ Prime 保有大量溢出容量，我们可以在需要更多容量时重新路由流量并启动新部署。

è¿™äº›ä¿éšœæŽªæ–½å ±åŒç»´æŒäº†æœåŠ¡çš„å¯ç”¨æ€§ã€‚æŽ¥ä¸‹æ¥çš„ç« èŠ‚å°†é€šè¿‡æˆ‘ä»¬åœ¨ GB200 NVL72 上服务 GLM-5.3 çš„å·¥ä½œï¼Œæ·±å ¥æŽ¢è®¨ä¸€ä¸ªç”Ÿäº§éƒ¨ç½²çš„å† éƒ¨æƒ å†µã€‚

我们如何服务生产级智能体流量

工作负载

ä¸€ä¸ªå ¸åž‹çš„ agent 轮次会向 140K token çš„æç¤ºä¸­å¢žåŠ çº¦ 6K token，并复用大部分对话历史。在负载下，这些返回的会话会与带有长且未缓存提示的新请求一起运行。

我们用 SemiAnalysis 的 AgentX 对这一混合负载进行基准测试，它会重放多轮 agent ä¼šè¯ã€‚æˆ‘ä»¬çš„åŸºå‡†æµ‹è¯•æ¡†æž¶è¿˜ä¼šæ³¨å ¥å¸¦æœ‰é•¿æç¤ºçš„å†·å¯åŠ¨è¯·æ±‚ã€‚æˆ‘ä»¬æµ‹é‡æ¯ç”¨æˆ·ç«¯åˆ°ç«¯æ¯ç§’ token 数（用于交互性）和每 GPU 每秒输出 token 数（用于效率）。

预填å /è§£ç åˆ†ç¦»

åœ¨å ±äº« GPU 上，处理长提示可能会中断现有会话的 token 生成。分块预填å 限制了这些中断，但两种工作负载仍会争抢 GPU 时间。

我们在独立的 GPU 组上分别运行预填å å’Œè§£ç ã€‚NVIDIA Dynamo 负责路由和编排，而 vLLM 在每个组上运行模型。预填å å®ŒæˆåŽï¼Œè§£ç å™¨é€šè¿‡ NIXL 拉取已计算的 KVï¼Œå¹¶å°†è¯·æ±‚åŠ å ¥å ¶æ‰¹æ¬¡ã€‚

å ±äº« GPU 上的分块预填å 与独立的预填å å’Œè§£ç å·¥ä½œè¿›ç¨‹å¯¹æ¯”ã€‚

借助 Dynamo 协调独立的预填å å’Œè§£ç æ± ï¼Œæˆ‘ä»¬åœ¨æµ‹è¯•ä¸­å°† p90 令牌间延迟降低了近 40%。

缓存与路由

Dynamo 的 KV æ„ŸçŸ¥è·¯ç”±å™¨ä¼šæ ¹æ®é¢„å¡«å å·¥ä½œè¿›ç¨‹å·²ç¼“å­˜å¤šå°‘æç¤ºä»¥åŠå ¶é˜Ÿåˆ—ä¸­æœ‰å¤šå°‘å·¥ä½œï¼Œæ¥é€‰æ‹©é¢„å¡«å å·¥ä½œè¿›ç¨‹ã€‚å·¥ä½œè¿›ç¨‹ä¼šå‘å¸ƒç¼“å­˜æ›´æ–°ï¼Œä»¥ä¾¿è·¯ç”±å™¨è·Ÿè¸ªå‰ç¼€åœ¨ä½•å¤„å¯ç”¨ã€‚æˆ‘ä»¬è¿˜ä¼šåœ¨è½®æ¬¡ä¹‹é—´å°†ä¼šè¯ä¿æŒåœ¨åŒä¸€ä¸ªè§£ç å™¨ä¸Šï¼Œä»¥æ”¯æŒ KV 复用。

Mooncake 在主机 DRAM 中提供第二层缓存。从 GPU å† å­˜ä¸­å¸è½½çš„å‰ç¼€å¯ä»¥è¢«æ£€ç´¢ï¼Œè€Œæ— éœ€é‡æ–°è®¡ç®—ï¼Œä»Žè€Œä½¿æˆ‘ä»¬èƒ½å¤Ÿä¿ç•™æ›´å¤šå¯¹è¯åŽ†å²ã€‚

è·¯ç”±å™¨åœ¨ç¼“å­˜å‰ç¼€é‡å ä¸ŽæŽ’é˜Ÿå·¥ä½œä¹‹é—´è¿›è¡Œå¹³è¡¡ã€‚Mooncake 将缓存的 KV 保存在 GPU å† å­˜ä¹‹å¤–ï¼Œä»¥ä¾¿å·¥ä½œè¿›ç¨‹åœ¨éœ€è¦æ—¶æ£€ç´¢ã€‚

有了这一架构，我们在 GB200 NVL72 ä¸Šé’ˆå¯¹ä¸‰ä¸ªç›®æ ‡åŒæ—¶è°ƒä¼˜ GLM-5.3：交互速度、模型质量和并发性。

性能：GB200 NVL72 上的 GLM-5.3

长上下文 agent æœåŠ¡æ—¢æ˜¯ä¸€ä¸ªè®¡ç®—é—®é¢˜ï¼Œä¹Ÿæ˜¯ä¸€ä¸ªç¼“å­˜ç®¡ç†é—®é¢˜ã€‚å› æ­¤ï¼Œæ€§èƒ½å–å†³äºŽä¿ç•™è¯¥åŽ†å²ã€åŠæ—¶è°ƒåº¦æ–°å·¥ä½œï¼Œä»¥åŠåœ¨ä¸ä¸­æ–­æ­£åœ¨è¿›è¡Œçš„ç”Ÿæˆçš„æƒ å†µä¸‹ç§»åŠ¨ç¼“å­˜çŠ¶æ€ã€‚

æˆ‘ä»¬çš„äº¤äº’æ€§ç›®æ ‡æ˜¯æ¯ç”¨æˆ·æ¯ç§’ 100 个端到端 token。我们针对在该速度下可支持的并发会话数量进行调优。

我们分别优化了这些路径：预填å 拓扑和调度以减少首 token 时间；压缩 KV å’Œèžåˆæ³¨æ„åŠ›å† æ ¸ä»¥æ”¯æŒä½Žå»¶è¿Ÿè§£ç ï¼›ä»¥åŠä¾¿äºŽä¼ è¾“çš„ç¼“å­˜å¸ƒå±€ä»¥å‡å°‘åœ¨å·¥ä½œè¿›ç¨‹ä¹‹é—´ç§»åŠ¨ KV 的开销。

在 100 tok/s/ç”¨æˆ·çš„æ ‡å‡†ä¸‹ï¼Œ1:4 的 P/D 比例服务能力最强： 每个预填å 组 66 个会话，达到 101 tok/s/用户和每 GPU 100 输出 tok/s。

æŠ€æœ¯æ·±å ¥æŽ¢è®¨

å¯¹äºŽæƒ³è¦äº†è§£å·¥ç¨‹ç»†èŠ‚çš„è¯»è€ ï¼Œæœ¬æ–‡ä½™ä¸‹éƒ¨åˆ†å°†æ·±å ¥ä»‹ç»æ¯ä¸€é¡¹ä¼˜åŒ–ï¼ŒéšåŽæ˜¯æˆ‘ä»¬å ³äºŽå¯é å·¥å ·è°ƒç”¨çš„å·¥ä½œã€‚

以下各节涵盖我们在拓扑、调度、压缩注意力和 KV ä¼ è¾“æ–¹é¢çš„å·¥ä½œï¼š

• 为预填å å’Œè§£ç é€‰æ‹©æ­£ç¡®çš„æ‹“æ‰‘

• 减少预填å 上的调度器气泡

• 在 FlashInfer 上进行 NVFP4 KV 压缩

• 使用 BLHNC 布局在 NVLink 上实现更快的 NIXL ä¼ è¾“

预填å ：首 token 时间

首 token æ—¶é—´ä¸ä» å–å†³äºŽå¯¹æç¤ºè¯çš„å¤„ç†ã€‚ä¸€ä¸ªè¯·æ±‚å¯èƒ½éœ€è¦æ£€ç´¢ç¼“å­˜åŽ†å²ã€ç­‰å¾ å‡†å ¥ã€è®¡ç®—æ–° token，并将 KV ä¼ è¾“åˆ°è§£ç å™¨ã€‚æˆ‘ä»¬è°ƒæŸ¥äº†è¿™æ¡è·¯å¾„ä¸Šçš„å»¶è¿Ÿï¼Œä»Žç¼“å­˜å®¹é‡å’Œè°ƒåº¦å¼€å§‹ã€‚

选择正确的拓扑

我们选择了 DEP8ï¼šå «ä¸ªæ•°æ®å¹¶è¡Œæ³¨æ„åŠ› rankï¼Œå¹¶åœ¨æ•´ä¸ªç»„å† è¿›è¡Œä¸“å®¶å¹¶è¡Œã€‚DEP8 å°†è¯·æ±‚åˆ†é åˆ°å «ä¸ªæ³¨æ„åŠ› worker ä¸Šï¼ŒåŒæ—¶åœ¨ç»„å† å ±äº«æ¨¡åž‹çš„ä¸“å®¶ã€‚åœ¨æˆ‘ä»¬ä½¿ç”¨çš„ MLA 缓存布局下，TEP8 会将每个请求的 KV å¤åˆ¶åˆ°å ¨éƒ¨å «ä¸ª rank 上，而 DEP8 则让各 rank ç¼“å­˜ä¸åŒçš„è¯·æ±‚ã€‚å³ä½¿è€ƒè™‘åˆ°è¿™éœ€è¦é¢å¤–çš„æƒé‡å† å­˜ï¼Œåœ¨ç›¸åŒç¡¬ä»¶ä¸Šï¼Œæˆ‘ä»¬çš„å¯ç”¨å‰ç¼€ç¼“å­˜å®¹é‡å¤§çº¦æ˜¯åŒæ‹“æ‰‘ TEP8 的五倍，TEP8 也经过了基准测试。

DEP8 的缺点是 DP rank 同步：每个 DP rank 处理不同的请求，但在每个 MoE å±‚éƒ½è¦åŠ å ¥ç›¸åŒçš„ all-to-all é€šä¿¡ï¼Œå› æ­¤å³ä½¿æŸä¸ª rank ç©ºé—²ï¼Œä¹Ÿå¯èƒ½éœ€è¦è¿è¡Œå‰å‘ä¼ æ’­ä»¥è·Ÿä¸Šå ¶ä»– rank。

DEP8 rank 预填å æ‰§è¡Œä¸­çš„æ—¶é—´åˆ†è§£ã€‚å®ƒè‡ªèº«çš„å‰å‘ä¼ æ’­è€—æ—¶ 408 ms，随后是大约 245 ms çš„ç©ºé—²å·¥ä½œï¼Œç­‰å¾ å ¶ä»– rank 完成。

随着 EP è§„æ¨¡æ‰©å¤§ï¼Œåˆ†å‘å¼€é”€ä¼šè¿›ä¸€æ­¥å¢žåŠ ã€‚æˆ‘ä»¬å‘çŽ° 1 个 DEP16 比两个 DEP8 组耗时多 17.9%ï¼Œå ¶ä¸­ combine 和 finalization 增长最多。

调度器气泡与 token 预算

缓存容量并不能消除调度延迟。我们发现，一个请求的缓存 KV å¯èƒ½å·²ç»å¯ç”¨ï¼Œä½†è¯¥è¯·æ±‚ä»åœ¨ç­‰å¾ è¿›å ¥è¿è¡Œæ‰¹æ¬¡ã€‚

Worker åœ¨å‰å‘ä¼ æ’­ä¹‹é—´æ£€æŸ¥å·²å®Œæˆçš„åŠ è½½ã€‚ç»“æžœéšåŽç»è¿‡æ‰¹å¤„ç†é˜Ÿåˆ—å’Œè°ƒåº¦å™¨ï¼Œæ­¤æ—¶ä¸€ä¸ªå°±ç»ªçš„è¯·æ±‚å¯èƒ½é”™è¿‡å½“å‰å†³ç­–ï¼Œå†ç­‰å¾ ä¸€æ­¥ã€‚åœ¨è´Ÿè½½ä¸‹ï¼Œå·²åœ¨è¿›è¡Œçš„è¯·æ±‚å¯èƒ½å¡«æ»¡ä¸‹ä¸€ä¸ªé¢„å¡«å æ‰¹æ¬¡ï¼Œå³ä½¿ç¼“å­˜åŽ†å²å·²å°±ç»ªï¼Œä¹Ÿä¼šå»¶è¿Ÿå‡†å ¥ã€‚è¿™ä¼šäº§ç”Ÿè°ƒåº¦å™¨æ°”æ³¡ã€‚

为了减少这个气泡，我们将每个预填å 步骤处理的提示词 token 数量减半，从每 GPU 8K 降至 4Kã€‚æ›´çŸ­çš„æ­¥éª¤è®©ç­‰å¾ çš„è¯·æ±‚å¯ä»¥æ›´æ—©å¼€å§‹ã€‚åœ¨æˆ‘ä»¬çš„é ç½®ä¸Šï¼Œä¸­ä½é˜Ÿåˆ—ç­‰å¾ æ—¶é—´ä»Ž 550ms 降至 110ms，使中位首 token 时间减少了约 20%。

ç¼“å­˜æ£€ç´¢å¯èƒ½åœ¨è¯·æ±‚è¿›å ¥è¿è¡Œæ‰¹æ¬¡ä¹‹å‰å¾ˆä¹ å°±å®Œæˆäº†ã€‚åœ¨å¦ä¸€æ¬¡è¿è¡Œä¸­ï¼Œå°†é¢„å¡«å é¢„ç®—å‡åŠä½¿ä¸­ä½é˜Ÿåˆ—ç­‰å¾ æ—¶é—´ä»Ž 550 ms 降至 110 ms。

æ›´å°çš„æ­¥éª¤ä¼šç»™é•¿ä¸”æœªç¼“å­˜çš„æç¤ºè¯å¢žåŠ å¼€é”€ï¼Œä½†è¿™ç§æƒè¡¡é€‚åˆæˆ‘ä»¬çš„å·¥ä½œè´Ÿè½½ï¼Œå› ä¸ºå¤§å¤šæ•°è½®æ¬¡éƒ½å¤ç”¨äº†å·²æœ‰çš„å‰ç¼€ã€‚

è§£ç ï¼šNVFP4 KV 压缩

åœ¨æˆ‘ä»¬çš„ç›®æ ‡è´Ÿè½½ä¸‹ï¼ŒTP4 åœ¨æˆ‘ä»¬æµ‹è¯•çš„é ç½®ä¸­ç»™å‡ºäº†æœ€ä½Žçš„ token 间延迟。在相同的 GPU é¢„ç®—ä¸‹ï¼Œæˆ‘ä»¬å¯ä»¥è¿è¡Œæ›´å¤šè§£ç å¼•æ“Žï¼Œæ¯ä¸ªå¼•æ“Žä¸Šè¿è¡Œçš„ä¼šè¯æ›´å°‘ã€‚

然而，TP 拓扑在 KV 容量上存在权衡。TP 将模型权重分布到各 GPU 上，但在我们使用的 MLA 缓存布局下，每个 rank 仍然持有请求潜在 KV çš„å®Œæ•´å‰¯æœ¬ï¼Œå› æ­¤ TP 会存储 KV å‰¯æœ¬ï¼Œè¿™ä¹Ÿå¢žåŠ äº† NIXL 从预填å ä¼ è¾“åˆ°è§£ç çš„æ•°æ®é‡ã€‚TP4 存储的 KV 副本比 TP8 少，但每个 GPU 也持有更大份额的模型权重。我们希望保持 TP4 的延迟优势，同时在每个 GPU å¯ç”¨å† å­˜ä¸­å®¹çº³æ›´å¤š KV。

DEP é€šè¿‡å°†è¯·æ±‚åˆ†é åˆ°ä¸åŒçš„æ³¨æ„åŠ›ç­‰çº§æ¥é¿å è¿™ç§å¤åˆ¶ï¼Œä»Žè€Œæä¾›æ›´å¤šå¯ç”¨çš„ KV 容量，但在测试时，我们发现 MoE 分发前 DP ç­‰çº§ä¹‹é—´çš„åŒæ­¥å¢žåŠ äº†è§£ç å»¶è¿Ÿã€‚

AgentX 在 64 个会话下。TP8 + DCP4 æ˜¯ä¸€æ¬¡ç‹¬ç«‹çš„è§£ç è¿è¡Œã€‚

æˆ‘ä»¬è¿˜æµ‹è¯•äº†è§£ç ä¸Šä¸‹æ–‡å¹¶è¡Œï¼ˆDCPï¼‰ï¼Œå®ƒå°†ç¼“å­˜çš„åºåˆ—åˆ†å¸ƒåˆ°å„ä¸ªç­‰çº§ä¸Šï¼ŒåŒæ—¶ä¸ºæ¨¡åž‹ä¿ç•™å¼ é‡å¹¶è¡Œã€‚è¿™å‡å°‘äº† KV é‡å¤ï¼Œä½†å¼•å ¥äº†é€šä¿¡æ¥æ”¶é›†æŸ¥è¯¢ã€åˆå¹¶å€™é€‰ç»“æžœå¹¶ç»„åˆéƒ¨åˆ†æ³¨æ„åŠ›è¾“å‡ºã€‚åœ¨ç¨€ç–æ³¨æ„åŠ›ä¸‹ï¼Œæ¯ä¸ªæŸ¥è¯¢æœ€å¤šè¯»å– 2,048 个缓存 tokenï¼Œå› æ­¤ä¸€å¼€å§‹å°±æ²¡æœ‰å¤ªå¤šæ³¨æ„åŠ›å·¥ä½œå¯ä»¥æ‹†åˆ†åˆ°å„ä¸ªç­‰çº§ä¸Šã€‚åœ¨æˆ‘ä»¬çš„æµ‹è¯•ä¸­ï¼Œå°†è¿™é¡¹å·¥ä½œåˆ†å¸ƒåˆ°å„ä¸ªç­‰çº§æ‰€èŠ‚çœçš„è®¡ç®—é‡å¤ªå°‘ï¼Œæ— æ³•æŠµæ¶ˆå¢žåŠ çš„é€šä¿¡å¼€é”€ã€‚å› æ­¤æˆ‘ä»¬ä¿ç•™äº† TP4，并寻找一种方法来容纳更多 KV。

ä¸ºä½Žå»¶è¿Ÿè§£ç è ¾å‡ºç©ºé—´

我们使用 NVFP4 压缩了 512 值的 MLA 潜在表示：每个值四位，每 16 个值一组使用一个 FP8 ç¼©æ”¾å› å­ã€‚64 值的位置分量保持 FP8ã€‚åŒ æ‹¬ç¼©æ”¾å› å­åœ¨å† ï¼Œæ¯è¡Œ MLA 缓存从 576 字节缩小到 352 字节。

åœ¨ç´¢å¼•å™¨å’Œå ¶ä»–çŠ¶æ€ä¸å˜çš„æƒ å†µä¸‹ï¼Œæ€»ç¼“å­˜å®¹é‡å¢žåŠ äº†çº¦ 50%ï¼Œåœ¨ç›¸åŒå† å­˜é¢„ç®—ä¸‹ï¼Œæ¯ä¸ªè§£ç å™¨ä»Ž 109 ä¸‡å¢žåŠ åˆ° 163 万个缓存 token。

原生 NVFP4 稀疏 MLA è§£ç å† æ ¸

æˆ‘ä»¬çš„ç¬¬ä¸€ä¸ªå®žçŽ°å°†é€‰å®šçš„è¡Œè§£åŒ åˆ° GPU å† å­˜ä¸­çš„ä¸´æ—¶ FP8 ç¼“å†²åŒºï¼Œç„¶åŽå†è°ƒç”¨çŽ°æœ‰çš„æ³¨æ„åŠ›å† æ ¸ã€‚è¿™å¸¦æ¥äº†å®¹é‡ä¼˜åŠ¿ï¼Œä½†æ¯ä¸€å±‚éƒ½è¦ä»˜å‡ºè½¬æ¢ä»¥åŠé€šè¿‡ GPU å† å­˜é¢å¤–å†™å ¥å’Œè¯»å–çš„ä»£ä»·ã€‚

我们构建了一个原生稀疏 MLA å† æ ¸æ¥æ¶ˆé™¤è¯¥ä¸­é—´ç¼“å†²åŒºã€‚å®ƒä½¿ç”¨ç¨€ç–ç´¢å¼•å™¨é€‰å®šçš„ä½ç½®ï¼ŒåŠ è½½åŽ‹ç¼©åŽçš„è¡Œï¼Œå¹¶åœ¨æ³¨æ„åŠ›éœ€è¦æ—¶åœ¨ç‰‡ä¸Šè§£åŒ ã€‚NVFP4 æ˜¯å­˜å‚¨æ ¼å¼ï¼›æ³¨æ„åŠ›è®¡ç®—ä½¿ç”¨ FP16 操作数和 FP32 ç´¯åŠ ã€‚

对于每个查询 token，一组协作的线程块划分选定的行。在 GB200 é ç½®ä¸­ï¼Œæ¯ä¸ªé›†ç¾¤è·¨è¶Šä¸‰åˆ°å «ä¸ª SMã€‚è¿™äº›å—é€šè¿‡åˆ†å¸ƒå¼å ±äº«å† å­˜åˆå¹¶å®ƒä»¬çš„éƒ¨åˆ†ç»“æžœï¼Œæ— éœ€ç¬¬äºŒæ¬¡å† æ ¸å¯åŠ¨ã€‚

在每个 SM å† éƒ¨ï¼Œä¸åŒçš„ warp ç»„åˆ†åˆ«è§£åŒ è¡Œã€è®¡ç®—æ³¨æ„åŠ›åˆ†æ•°å’Œ softmaxï¼Œå¹¶ç´¯åŠ è¾“å‡ºã€‚

一个查询 token 的选定行拆分到一个四 SM 集群上。在每个 SM å† ï¼Œè§£åŒ ã€è¯„åˆ†å’Œè¾“å‡ºç´¯åŠ ç›¸äº’é‡å ã€‚éƒ¨åˆ†ç»“æžœåœ¨åŒä¸€æ¬¡å† æ ¸å¯åŠ¨ä¸­åˆå¹¶ã€‚

有三项改动特别有用：

• é‡å é˜¶æ®µã€‚ ä¸€ä¸ªä¸‰æ§½ç¼“å†²åŒºè®©ä¸€ç»„è§£åŒ è¡Œï¼Œè€Œå ¶ä»–ç»„å¯¹æ›´æ—©çš„é˜¶æ®µè¿›è¡Œè¯„åˆ†å’Œç´¯åŠ ï¼Œä»Žè€Œå‡å°‘æ¯ç»„ç­‰å¾ æ•°æ®çš„æ—¶é—´ã€‚

• æ ¹æ®æ‰¹æ¬¡è°ƒæ•´é›†ç¾¤ã€‚ 较小的批次可以为每个 token 提供更多 SMï¼Œè€Œè¾ƒå¤§çš„æ‰¹æ¬¡éœ€è¦è¾ƒå°çš„é›†ç¾¤ä»¥é€‚é ä¸€æ¬¡æ‰§è¡Œæ³¢æ¬¡ã€‚åœ¨æ¯æ¬¡å¯åŠ¨ 20 个查询 token æ—¶ï¼Œè¿™å°†å† æ ¸æ—¶é—´ä»Žçº¦ 32 μs 减少到 14.8 μs。

• è·³è¿‡ç©ºæ§½çš„åŠ è½½ã€‚ 短上下文会在 2,048 位置列表中留下未使用的条目，用 -1 è¡¨ç¤ºã€‚æˆ‘ä»¬æœ€åˆçš„å¤„ç†å°†è¿™äº›æ¡ç›®æ˜ å°„åˆ°ç¬¬é›¶è¡Œï¼Œåå¤è¯»å–ä¸éœ€è¦çš„æ•°æ®ã€‚å°†å®ƒä»¬é›¶å¡«å 后，在引擎跟踪中，一次 35 token 的注意力启动从约 41 μs 减少到 20.6 μs。

在每次启动 15 个查询 token çš„æƒ å†µä¸‹ï¼Œä¼˜åŒ–åŽçš„ kernel 在 GB200 上耗时约 12.0 μs，而分阶段的 NVFP4 路径为 17.7 μs，FP8 attention 为 13.7 μs。这些是该工作负载下的结果，并非在所有 batch size 下都优于 FP8。

GB200 上连续多个 kernel 版本的性能，使用 CUDA graphs 测量，每次启动 15 个查询 token、2,048 个选中位置、每个 rank 16 个 head。

在 32 个并发会话下，attention çº¦å è§£ç æ­¥éª¤çš„ 8%ï¼Œå› æ­¤æ›´å¤§çš„å®žé™ æ”¶ç›Šæ¥è‡ªä¿ç•™æ›´å¤š KV。NVFP4 让我们的 KV-cache å®¹é‡å¢žåŠ äº†çº¦ 50%，同时在启用 decode prefix caching çš„æƒ å†µä¸‹ä¿æŒäº†ç›¸å½“çš„å•ç”¨æˆ·é€Ÿåº¦ã€‚

NVFP4 KV 精度

æˆ‘ä»¬è¿è¡Œäº†ä¸€å¥—ä¸¥æ ¼çš„è¯„ä¼°å¥—ä»¶ï¼Œç‰¹åˆ«ä¾§é‡äºŽé•¿ä¸Šä¸‹æ–‡ä»»åŠ¡ï¼Œä»¥ç¡®ä¿ NVFP4 KV 压缩不会降低精度。

我们正将原生 kernel 作为实验性操作贡献给 FlashInfer。

åŽ‹ç¼©æå‡äº†è§£ç å®¹é‡ï¼Œä½†åˆ†ç¦»å¼æž¶æž„å¼•å ¥äº†å¦ä¸€ä¸ªç“¶é¢ˆï¼šå¦‚ä½•é«˜æ•ˆåœ°å°† KV 从 prefill ä¼ è¾“åˆ° decode。

KV ä¼ è¾“ï¼šé™ä½Ž NVLink 上的拷贝开销

我们使用 vLLM 的 NIXL connector，让每个 decoder 通过多节点 NVLink 从 prefill worker 拉取 KV。在早期对比中，相对于 InfiniBand，NVLink é ç½®ä½¿é¦– token æ—¶é—´å¢žåŠ äº†çº¦ 292 ms。更快的互连并没有转化为更快的服务。

ç“¶é¢ˆåœ¨äºŽä¼ è¾“ç¢Žç‰‡åŒ–ã€‚åœ¨æˆ‘ä»¬åˆ†æžçš„è·¯å¾„ä¸­ï¼Œæ¯ä¸ªä¼ è¾“æè¿°ç¬¦éƒ½å˜æˆäº†ä¸€æ¬¡å°çš„è®¾å¤‡åˆ°è®¾å¤‡æ‹·è´ã€‚ä¸€ä¸ª 200K token 的请求到达单个 TP4 rank 时触发了 32K æ¬¡æ‹·è´ã€‚æäº¤å’Œå¤„ç†å¦‚æ­¤å¤šçš„å°æ“ä½œé™åˆ¶äº†ä¼ è¾“ï¼Œä½¿æˆ‘ä»¬æ— æ³•æœ‰æ•ˆåˆ©ç”¨ NVLink 的带宽。

改变布局以减少碎片化

最初的 layer-major KV 布局 LBHNC 将每一层的 cache åˆ†å¼€å­˜å‚¨ã€‚å› æ­¤ï¼Œè·¨æ¨¡åž‹ä¼ è¾“ä¸€ä¸ªé€»è¾‘å—æ—¶ï¼Œéœ€è¦ä¸ºå ¶åœ¨ä¸åŒå±‚ä¸­çš„æ•°æ®åˆ†åˆ«æä¾›æè¿°ç¬¦ã€‚

增大块大小有所帮助：使用 1,024 token çš„å—å‡å°‘äº†ä¼ è¾“æè¿°ç¬¦çš„æ•°é‡ã€‚ç„¶è€Œï¼Œæ›´å¤§çš„å—ä»ç„¶ä½¿æ•°æ®è·¨å±‚ç¢Žç‰‡åŒ–ï¼Œå¹¶ä¸”å¯èƒ½å› åœ¨éƒ¨åˆ†å¡«å 的块中浪费更多空间而降低 KV-cache 利用率。

随后我们测试了 BLHNC，这是 vLLM ç¤¾åŒºæœ€è¿‘å¼•å ¥çš„ä¸€ç§ block-major å¸ƒå±€ã€‚å®ƒå°†ä¸€ä¸ªå—ä¸­æ¥è‡ªå¤šä¸ªå±‚çš„æ•°æ®æ”¾åœ¨å† å­˜ä¸­ç›¸é‚»çš„ä½ç½®ï¼Œä½¿ NIXL èƒ½å¤Ÿä»¥æ›´å°‘ã€æ›´å¤§çš„æ‹·è´æ“ä½œä¼ è¾“è¿™äº›è¿žç»­åŒºåŸŸã€‚æˆ‘ä»¬æ„Ÿè°¢ vLLM 社区开发并分享这一布局。

Layer-major 与 block-major KV 布局。高亮条目属于同一个逻辑块。

在另一项 TP8 对比中，layer-major 布局（LBHNC）使用 1,024 token 的块 ，而 block-major 布局（BLHNC）使用 64 token 的块 。尽管块小了 16 倍，BLHNC 仍将描述符数量从 19,559 减少到约 1,940——约少 10 å€â€”â€”å¹¶å°†å¹³å‡ä¼ è¾“æ—¶é—´ä»Ž 146 ms 降低到 78 msï¼Œé™å¹ çº¦ 47%。BLHNC 布局让我们能够使用更细粒度的 KV å—ï¼ŒåŒæ—¶é™ä½Žä¼ è¾“å¼€é”€ã€‚

å¯é çš„å·¥å ·è°ƒç”¨

性能只是生产级 agent 服务的一部分。Agent è¿˜éœ€è¦å¯é çš„å·¥å ·è°ƒç”¨æ¥è¯»å–æ–‡ä»¶ã€è¿è¡Œå‘½ä»¤å’Œè¿›è¡Œç¼–è¾‘ã€‚å¦‚æžœæ¨¡åž‹è°ƒç”¨äº†é”™è¯¯çš„å·¥å ·æˆ–ç”Ÿæˆäº†ä¸å¯ç”¨çš„å‚æ•°ï¼Œagent å°±å¿ é¡»é‡è¯•æˆ–åœæ­¢ã€‚

åœ¨æˆ‘ä»¬çš„é ç½®ä¸­ï¼ŒDynamo å°†æ¨¡åž‹ç”Ÿæˆçš„å·¥å ·è°ƒç”¨è½¬æ¢ä¸ºæ™ºèƒ½ä½“æ”¶åˆ°çš„ API 响应。在大规模服务 GLM-5.3 æ—¶ï¼Œæˆ‘ä»¬å‘çŽ°äº†å‡ ä¸ªåå¤å‡ºçŽ°çš„æ• éšœæ¨¡å¼ã€‚æœ€åˆï¼Œæˆ‘ä»¬å‘çŽ°ç³»ç»Ÿå¯èƒ½ä¼šé™é»˜ä¸¢å¼ƒå¯¹æœªå£°æ˜Žå·¥å ·çš„è°ƒç”¨ï¼Œå¹¶è¿”å›žæ­£å¸¸çš„åœæ­¢ï¼Œä½¿æ™ºèƒ½ä½“æ—¢æ²¡æœ‰å¯æ‰§è¡Œçš„æ“ä½œï¼Œä¹Ÿæ²¡æœ‰å¯æ¢å¤çš„é”™è¯¯ã€‚

å ¶ä»–è°ƒç”¨å­˜åœ¨å‚æ•°ç¼ºå¤±æˆ–ç±»åž‹é”™è¯¯ï¼Œå³ä½¿å®¢æˆ·ç«¯æ˜Žç¡®è¦æ±‚æ¨¡åž‹éµå¾ªå·¥å ·çš„è¾“å ¥æ ¼å¼ã€‚æ¨¡åž‹æ”¶åˆ°äº†è¿™äº›å®šä¹‰ï¼Œä½†æˆ‘ä»¬çš„ GLM 服务路径在生成过程中并未强制执行它们。

Dynamo 已经有针对此问题的机制，但缺少对 GLM æ ¼å¼çš„ç»“æž„åŒ–æ ‡ç­¾æ”¯æŒã€‚æˆ‘ä»¬å‘ Dynamo è´¡çŒ®äº†ä¸€ä¸ªç»“æž„åŒ–æ ‡ç­¾æž„å»ºå™¨ï¼Œå°†å·¥å ·å®šä¹‰è½¬æ¢ä¸ºé™åˆ¶æ¨¡åž‹å¯ç”Ÿæˆçš„åç§°å’Œå‚æ•°çš„è§„åˆ™ã€‚

vLLM 使用 xgrammar åœ¨è§£ç è¿‡ç¨‹ä¸­å¼ºåˆ¶æ‰§è¡Œè¿™äº›è§„åˆ™ï¼Œå±è”½ä¼šè¿åå·¥å ·è°ƒç”¨è¯­æ³•çš„ tokenã€‚æˆ‘ä»¬è¿˜ä¿®å¤äº†è§£æžè¿‡ç¨‹ä¸­å¼•å ¥çš„é”™è¯¯ï¼šè¯¸å¦‚ < è¿™æ ·çš„å­—é¢å­—ç¬¦ä¸²è¢«è½¬æ¢ä¸º < ï¼Œæ”¹å˜äº†ä»£ç æˆ–æ–‡ä»¶å† å®¹ï¼Œè€Œä¸€äº› schema 引用和可空参数类型被错误解释。

我们测试了最终 API 响应的以下方面：

• å‚æ•°ç±»åž‹ã€å¿ å¡«å­—æ®µå’Œæžšä¸¾

• Schema 引用、递归和嵌套 schema

• 流式和非流式响应中的 schema 一致性

• å·¥å ·é€‰æ‹©è¡Œä¸ºï¼ŒåŒ æ‹¬ auto 、 required 和 none

• æ‹’ç»æ ¼å¼é”™è¯¯çš„å·¥å ·è¯·æ±‚

æˆ‘ä»¬ç»´æŠ¤è‡ªå·±çš„å·¥å ·è°ƒç”¨æµ‹è¯•å¥—ä»¶ï¼Œè¦†ç›–è¿™äº›æƒ å†µï¼ŒéªŒè¯æœ€ç»ˆ API å“åº”ï¼Œå¹¶åœ¨æ›´æ–°æœåŠ¡æ ˆæ—¶æ£€æŸ¥å›žå½’ã€‚

通过与 NVIDIA 团队的深度合作和开源上游贡献，Dynamo åœ¨ç”Ÿäº§çŽ¯å¢ƒä¸­çš„é•¿æ—¶é—´æ™ºèƒ½ä½“ä¼šè¯ä¸­å¤„ç†å·¥å ·è°ƒç”¨ï¼Œé”™è¯¯çŽ‡æŽ¥è¿‘é›¶ã€‚

构建于开源之上，与优秀的伙伴同行

æˆ‘ä»¬æ„Ÿè°¢æ”¯æ’‘æˆ‘ä»¬æŠ€æœ¯æ ˆçš„å¼€æºç¤¾åŒºå’Œåˆä½œä¼™ä¼´ã€‚

• vLLM 和 Inferact。 æˆ‘ä»¬çš„æŠ€æœ¯æ ˆè¿è¡Œåœ¨ vLLM 推理引擎上。我们感谢 Inferact åœ¨æ€§èƒ½å’Œç”Ÿäº§æœåŠ¡æ–¹é¢çš„æ·±åº¦åˆä½œï¼Œä»¥åŠå ¨çƒ vLLM è´¡çŒ®è€ ä¸æ–­æŽ¨è¿›è¯¥å¼•æ“Žçš„å‘å±•ã€‚

• NVIDIA Dynamo。 我们 LLM 推理平台之下的操作系统，协调分离式 worker、路由请求和 KV 状态，并将分布式 GPU é›†ç¾¤å˜æˆä¸€ä¸ªå ·æœ‰éŸ§æ€§çš„æœåŠ¡ç³»ç»Ÿã€‚

路线图

• 批量和异步推理 ï¼Œä»¥æ›´ä½Žä»·æ ¼å¤„ç†å¤§åž‹ç¦»çº¿ä»»åŠ¡ã€‚

• 专用和 1 键部署 ï¼Œåœ¨æ‚¨è‡ªå·±çš„é¢„ç•™å®¹é‡ä¸Šï¼ŒåŒ æ‹¬æ¥è‡ª Prime 训练运行的微调模型。

我们正在招聘

在排行榜上服务前沿模型，同时支撑我们能构建的最大规模 RL 运行，是当前 AI ä¸­æœ€æœ‰è¶£çš„ç³»ç»Ÿé—®é¢˜ä¹‹ä¸€ã€‚å¦‚æžœä½ æƒ³ä»Žäº‹ kernel、分离式服务、KV ç¼“å­˜ç³»ç»Ÿæˆ–å ¨å±€è·¯ç”±æ–¹é¢çš„å·¥ä½œï¼Œ 来和我们一起工作吧 。

来源： Prime Intellect · primeintellect.ai

部署工程

产品更新

#

部署/工程