llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪

llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪 · AIHOT

IBM Research：AI

·

2026-10-20 20:00

7 小时前

精选

AI 评分

60

llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪

llm-d 1.0 hardens open-source AI inference for production

AI 导读

IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes åŽŸç”Ÿçš„åˆ†å¸ƒå¼æŽ¨ç†æœåŠ¡æ¡†æž¶ï¼Œæ”¯æŒä»»æ„æ¨¡åž‹ã€ä»»æ„åŠ é€Ÿå™¨å’Œä»»æ„äº‘ã€‚

推荐理由

原文给出 llm-d 1.0 çš„å ·ä½“èƒ½åŠ›å˜åŒ–å’Œå®žæµ‹æˆæœ¬æ•°æ®ï¼Œè¯»è€ å¯æ®æ­¤è¯„ä¼°è‡ªå»ºæŽ¨ç†åŸºç¡€è®¾æ–½æ˜¯å¦åˆ’ç®—ã€‚

正文 · AI 翻译

今天在北美 PyTorch 大会上，llm-d é¡¹ç›®è´¡çŒ®è€ å®£å¸ƒæŽ¨å‡º llm-d 1.0，这是开源 AI 基础设施的一个重要里程碑。作为一个 Kubernetes 原生的 分布式推理服务网络 ，llm-d ä½¿å¾—åœ¨ä»»ä½•äº‘ä¸Šã€ä»»ä½•åŠ é€Ÿå™¨ä¸Šä¸ºä»»ä½•æ¨¡åž‹éƒ¨ç½²æŽ¨ç†æ ˆæˆä¸ºå¯èƒ½ã€‚

æ­¤æ¬¡å‘å¸ƒæ ‡å¿—ç€ llm-d å·²ä¸å†å±€é™äºŽå±•ç¤ºå•é¡¹æ€§èƒ½æŠ€æœ¯ï¼Œè€Œæ˜¯å‡†å¤‡å¥½æ”¯æ’‘ç”Ÿäº§çŽ¯å¢ƒçš„çŽ°å®žéœ€æ±‚ï¼šåœ¨å¤šç§å·¥ä½œè´Ÿè½½ä¸‹ä¿æŒæŒç»­æ•ˆçŽ‡ï¼ŒåŒæ—¶åœ¨éœ€æ±‚ä¸æ–­å¢žé•¿çš„æƒ å†µä¸‹å¹³è¡¡å„é¡¹æœåŠ¡ä¼˜å ˆçº§ã€‚éšç€æŽ¨ç†æˆæœ¬ä¸Šå‡ï¼Œllm-d æ—¨åœ¨å¸®åŠ©ä¼ä¸šå°†æ¨¡åž‹éƒ¨ç½²å¼•å ¥å† éƒ¨ï¼Œå¹¶è®© AI 投资获得回报。

è¿™é¡¹å·¥ä½œç”±ä¸€ä¸ªä¸æ–­å£®å¤§çš„å¼€æºç¤¾åŒºå ±åŒå¼€å‘ï¼Œæˆå‘˜åŒ æ‹¬ç¡¬ä»¶æä¾›å•†ã€æ¨¡åž‹å¼€å‘è€ ã€äº‘å¹³å°å’Œä¼ä¸šç”¨æˆ·ã€‚ä½œä¸º llm-d çš„é¦–å¸­ç»´æŠ¤è€ ï¼ŒRed Hat、IBM 和 Google å¸®åŠ©å°†å ˆè¿›çš„æŽ¨ç†æŠ€æœ¯è½¬åŒ–ä¸ºä¼ä¸šå¯è§„æ¨¡åŒ–è¿è¥çš„ååŒç³»ç»Ÿã€‚è¿™ä¸‰å®¶å ¬å¸åŽ»å¹´ä¸Ž CoreWeave 和 NVIDIA å ±åŒåˆ›ç«‹äº† llm-d，AMD、Cisco、Hugging Face、Intel、Lambda 和 Mistral AI ç­‰è¡Œä¸šé¢†å¯¼è€ ä¹Ÿé™†ç»­ä½œä¸ºè´¡çŒ®è€ åŠ å ¥ã€‚

å ¶æˆæžœæ˜¯ä¸ºé‚£äº›å¸Œæœ›èŽ·å¾—å‰æ²¿çº§æŽ¨ç†æ€§èƒ½ã€åˆä¸æƒ³å®Œå ¨ä¾èµ–æŸä¸€å®¶ä¸“æœ‰æ¨¡åž‹æä¾›å•†ã€äº‘æˆ–ç¡¬ä»¶å¹³å°çš„ç»„ç»‡ï¼Œæä¾›äº†ä¸€ä¸ªåŽ‚å•†ä¸­ç«‹çš„æ›¿ä»£æ–¹æ¡ˆã€‚

“llm-d 已为第 2 天运维做好准备，”IBM Research 杰出工程师、llm-d è”åˆåˆ›å§‹äººå ¼é¦–å¸­ç»´æŠ¤è€ Carlos Costa 表示。“llm-d ä¸€ç›´åœ¨ä¸ºç”Ÿäº§å·¥ä½œè´Ÿè½½æä¾›æœ€å ˆè¿›çš„æŽ¨ç†æ€§èƒ½ã€‚1.0 å¸¦æ¥çš„æ˜¯æˆç†Ÿåº¦ï¼Œä½¿å ¶èƒ½åƒä»»ä½•å ¶ä»–å ³é”®æœåŠ¡ä¸€æ ·è¿è¡Œï¼šç¨³å®šçš„ APIã€å¤šä¸ªä¼˜å ˆçº§ç›¸äº’ç«žäº‰çš„ç§Ÿæˆ·å ±äº«åŒä¸€åŸºç¡€è®¾æ–½ï¼Œä»¥åŠä¸ä¸­æ–­ä¸šåŠ¡çš„å‡çº§ã€‚è¿™æ­£æ˜¯æˆ‘ä»¬æž„å»º llm-d 1.0 的目的。”

å®Œæ•´çš„ç”Ÿäº§æ ˆ

自 llm-d 发布以来，项目一直聚焦于改进 AI æŽ¨ç†çš„äº”ç§é‡è¦æ–¹æ³•ï¼šå‰ç¼€ç¼“å­˜æ„ŸçŸ¥è·¯ç”±ï¼Œå°†è¯·æ±‚å¯¼å‘å¯èƒ½å·²æŒæœ‰å ¶å ±äº«ä¸Šä¸‹æ–‡çš„åŸºç¡€è®¾æ–½ï¼›KV 缓存卸载，通过在 GPU、CPU å’Œå­˜å‚¨èµ„æºä¹‹é—´ç§»åŠ¨ç¼“å­˜ä¿¡æ¯æ¥å»¶é•¿å ¶æœ‰æ•ˆå¯¿å‘½ï¼›æ‰¹æŽ¨ç†ä¼˜åŒ–ï¼Œå°†å·¥ä½œåˆ†ç»„ä»¥ä¾¿åŸºç¡€è®¾æ–½æ›´é«˜æ•ˆåœ°å¤„ç†ï¼›é¢„å¡«å /è§£ç åˆ†ç¦»ï¼Œå°†è¯»å–æç¤ºè¯çš„å·¥ä½œä¸Žç”Ÿæˆå“åº”çš„å·¥ä½œåˆ†å¼€ï¼›ä»¥åŠå®½ä¸“å®¶å¹¶è¡Œï¼Œå°†å¤§åž‹æ··åˆä¸“å®¶æ¨¡åž‹åˆ†å¸ƒåˆ°ä¼—å¤šåŠ é€Ÿå™¨ä¸Šã€‚

这些理念对 1.0 版本而言并不新鲜。新鲜的是围绕它们的集成程度和运维成熟度。

在 1.0 版本中，llm-d 已成熟为一个能够支持第 2 å¤©è¿ç»´çš„æ ˆï¼šå³ AI æœåŠ¡éƒ¨ç½²ä¹‹åŽå¿ é¡»å‘ç”Ÿçš„ä¸€åˆ‡ã€‚è¿™åŒ æ‹¬æœåŠ¡å ·æœ‰ç«žäº‰ä¼˜å ˆçº§çš„å·¥ä½œè´Ÿè½½ã€ç®¡ç†ä¸åŒçš„æ€§èƒ½éœ€æ±‚ã€ä¿æŒæ•ˆçŽ‡ã€ä¼˜å ˆå¤„ç†é‡è¦æœåŠ¡ï¼Œä»¥åŠè®©ç³»ç»Ÿé•¿æœŸä¿æŒå¯é ã€‚åŸºå‡†æµ‹è¯•å¯ä»¥è¡¨æ˜ŽæŸé¡¹åŠŸèƒ½æå‡äº†åžåé‡ï¼Œä½†ç”Ÿäº§ç³»ç»Ÿå¿ é¡»åœ¨æµé‡å˜åŒ–ã€ç¡¬ä»¶æ• éšœã€è½¯ä»¶æ›´æ–°æˆ–ä¸åŒç”¨æˆ·äº‰å¤ºåŒä¸€èµ„æºæ—¶ä»æŒç»­æä¾›è¿™ç§æ€§èƒ½ã€‚llm-d 1.0 çš„ç›®æ ‡å°±æ˜¯è®©å„é¡¹æŠ€æœ¯åœ¨è¿™äº›æ›´ä¸å¯é¢„æµ‹çš„æ¡ä»¶ä¸‹ååŒå·¥ä½œã€‚

一个端点，多种工作类型

llm-d 1.0 在已经让 llm-d æˆä¸ºå¼ºå¤§åˆ†å¸ƒå¼æŽ¨ç†å·¥å ·çš„æ ¸å¿ƒæŠ€æœ¯åˆ›æ–°åŸºç¡€ä¸Šè¿›ä¸€æ­¥æ‰©å±•ï¼Œå¢žå¼ºäº†å¯¹å¤šç§Ÿæˆ·æœåŠ¡è´¨é‡ã€é›¶åœæœºè¿ç»´å’Œæ™ºèƒ½ä½“æ„ŸçŸ¥æœåŠ¡çš„æ”¯æŒï¼Œä»¥åœ¨å¸¸è§çš„ç¬¬ 2 天生产运维中保持持续性能。企业 AI æœåŠ¡å¯èƒ½é€šè¿‡åŒä¸€ç«¯ç‚¹æŽ¥æ”¶æ¥è‡ªäººå‘˜å’Œè‡ªä¸»æ™ºèƒ½ä½“çš„è¯·æ±‚ï¼Œä½†è¿™äº›å·¥ä½œè´Ÿè½½çš„è¡Œä¸ºæ–¹å¼ä¸åŒã€‚ä½¿ç”¨ç¼–ç åŠ©æ‰‹çš„äººæœŸæœ›å¿«é€Ÿå¾—åˆ°ç­”æ¡ˆã€‚æ™ºèƒ½ä½“å¯èƒ½å‘é€å¤§é‡çªå‘è¯·æ±‚ï¼Œåœ¨ä½¿ç”¨å·¥å ·æ—¶æš‚åœï¼Œç„¶åŽè¿”å›žè¿›è¡Œä¸‹ä¸€è½®æ¨¡åž‹è°ƒç”¨ã€‚

借助 流控 ，llm-d 1.0 å¯ä»¥ç®¡ç†å·¥ä½œè´Ÿè½½æ˜¯å ±äº«åŒä¸€ç¡¬ä»¶è¿˜æ˜¯è·¨è¶Šå¤šç§åŠ é€Ÿå™¨æ—¶çš„ç«žäº‰ä¼˜å ˆçº§ã€‚æµæŽ§ã€å ¬å¹³æ€§å’Œä¼˜å ˆçº§æŽ’åºæœ‰åŠ©äºŽé˜²æ­¢çªå‘å·¥ä½œè´Ÿè½½åŽ‹åž®å¯¹å»¶è¿Ÿæ•æ„Ÿçš„æœåŠ¡ã€‚åœ¨éœ€æ±‚å¾ˆé«˜æ—¶ï¼Œç³»ç»Ÿå¯ä»¥æ›´å®¡æ Žåœ°å†³å®šå“ªäº›è¯·æ±‚åº”ä¼˜å ˆèŽ·å¾—èµ„æºã€‚è¯·æ±‚è¿˜å¯ä»¥åœ¨å¤šä¸ªè½®æ¬¡ä¸­ä¿æŒç»‘å®šåˆ°é€‚å½“çš„åŸºç¡€è®¾æ–½ã€‚è¿™å¯ä»¥ä¿æŒå ¶å‰ç¼€ç¼“å­˜å¤„äºŽçƒ­çŠ¶æ€ï¼Œæé«˜å ˆå‰å¤„ç†è¿‡çš„ä¸Šä¸‹æ–‡è¢«å¤ç”¨è€Œä¸æ˜¯é‡æ–°è®¡ç®—çš„æœºä¼šã€‚

è¿™å¯¹å¯¹è¯å¼åŠ©æ‰‹å¾ˆé‡è¦ï¼Œä½†å¯¹æ™ºèƒ½ä½“å°¤å ¶æœ‰ä»·å€¼ã€‚æ™ºèƒ½ä½“åœ¨æ‰§è¡Œä»»åŠ¡æ—¶ç»å¸¸å›žåˆ°ç›¸åŒçš„ä»£ç ã€æ–‡æ¡£ã€æŒ‡ä»¤å’Œå¯¹è¯åŽ†å²ã€‚å‰ç¼€ç¼“å­˜æ„ŸçŸ¥è·¯ç”±ä¼šå°†æ¯ä¸€è½®å‘é€åˆ°å·²ç»æŒæœ‰ç›¸å ³ä¸Šä¸‹æ–‡çš„å‰¯æœ¬ï¼Œè€Œ KV 缓存卸载有助于在 GPU å† å­˜å—é™æ—¶ä¿ç•™æ›´å¤šå¯å¤ç”¨ä¿¡æ¯ã€‚è¿™å°±æ˜¯ç”Ÿäº§å°±ç»ªåœ¨å®žè·µä¸­çš„æ ·å­ï¼šé€šè¿‡ç†è§£åˆ°è¾¾æ¨¡åž‹çš„å·¥ä½œå¹¶ç›¸åº”åœ°ç®¡ç†åŸºç¡€è®¾æ–½ï¼Œæ›´æœ‰æ•ˆã€æ›´å ·æˆæœ¬æ•ˆç›Šåœ°æä¾›æ¨¡åž‹æœåŠ¡ã€‚

以更好的基础设施提升 AI 投资回报率

è¿™ç§å¯¹ç”Ÿäº§çš„å ³æ³¨ç›´æŽ¥å ³ç³»åˆ° AI 的经济性。随着 AI è¿›å ¥æ—¥å¸¸ä¸šåŠ¡è¿è¥ï¼ŒæŽ¨ç†å·²æˆä¸ºä¸€é¡¹ç»å¸¸æ€§æ”¯å‡ºã€‚æ™ºèƒ½ä½“ç³»ç»Ÿå¯èƒ½ä¼šå¢žåŠ è¿™é¡¹æ”¯å‡ºï¼Œå› ä¸ºå•ä¸ªä»»åŠ¡å¯èƒ½æ¶‰åŠå¤šè½®æŽ¨ç†ã€å·¥å ·ä½¿ç”¨ã€è¯„ä¼°å’Œä¿®è®¢ã€‚å¦‚æžœæ¯ä¸€æ­¥éƒ½éœ€è¦æ¨¡åž‹é‡æ–°é˜ è¯»ç›¸åŒææ–™ï¼Œä½ å°±æ˜¯åœ¨ä¸ºç³»ç»Ÿå·²ç»å®Œæˆçš„å·¥ä½œåå¤ä»˜è´¹ã€‚

åœ¨æœ€è¿‘ä¸€æ¬¡æ™ºèƒ½ä½“ç¼–ç å·¥ä½œè´Ÿè½½æµ‹è¯•ä¸­ï¼Œllm-d 的前缀感知路由器捕获了 97% 的可用缓存复用 ã€‚é€šè¿‡é¿å é‡å¤è®¡ç®—å¹¶æ›´é«˜æ•ˆåœ°åˆ©ç”¨çŽ°æœ‰ç¡¬ä»¶ï¼Œè¿™ç±»æŠ€æœ¯å¯ä»¥é™ä½Žå¤§è§„æ¨¡æä¾› AI 服务的成本。在另一项近期演示中，IBM 和 Red Hat 在自托管部署上同时运行了 3,000 ä¸ªè½¯ä»¶å·¥ç¨‹æ™ºèƒ½ä½“ï¼Œæˆæœ¬æ¯”ä»¥æœåŠ¡å½¢å¼æä¾›åŒä¸€å¼€æ”¾æ¨¡åž‹çš„å®žé™ ä»·æ ¼ 低 5 到 10 倍 。

å½“ç»„ç»‡è¿è¥è‡ªå·±çš„åŸºç¡€è®¾æ–½æ—¶ï¼ŒåŸºç¡€è®¾æ–½å°±æˆä¸ºå¯ç®¡ç†çš„æˆæœ¬ç»“æž„çš„ä¸€éƒ¨åˆ†ã€‚é€šè¿‡å°†å¼€æ”¾æƒé‡æ¨¡åž‹ä¸Žå¼€æ”¾æœåŠ¡æ ˆç›¸ç»“åˆï¼Œllm-d 为组织提供了另一种选择，用以控制 AI ä½¿ç”¨é‡ã€åŸºç¡€è®¾æ–½æ”¯å‡ºå’Œä¸šåŠ¡ä»·å€¼ä¹‹é—´çš„å ³ç³»ã€‚

连接开源 AI 生态系统

llm-d 可与 vLLM 或 SGLang ç­‰æŽ¨ç†å¼•æ“Žé åˆä½¿ç”¨ï¼Œå¢žåŠ å°†æ¨¡åž‹æœåŠ¡å™¨è½¬å˜ä¸ºç”Ÿäº§æœåŠ¡æ‰€éœ€çš„åˆ†å¸ƒå¼è·¯ç”±å’Œè¿ç»´èƒ½åŠ›ã€‚

这也让 llm-d 在更广泛的开源生态系统中扮演了重要角色。PyTorch 与开发 AI æ¨¡åž‹å’Œåº”ç”¨çš„äººç¾¤å¯†åˆ‡ç›¸å ³ã€‚è€Œä½œä¸ºæ²™ç®±é¡¹ç›® 托管 llm-d 的云原生计算基金会（CNCF），则更侧重于在生产环境中部署和运行系统。llm-d 项目是连接这两个世界的桥梁。

“llm-d 通过将 Kubernetes åŽŸç”Ÿç¼–æŽ’ç›´æŽ¥å¼•å ¥ vLLM 和现代推理引擎，统一了 PyTorch 与 CNCF 生态系统，”Red Hat é¦–å¸­æŠ€æœ¯å®˜åŠžå ¬å®¤å‰¯æ€»è£ Stephen Watt è¡¨ç¤ºã€‚â€œå®ƒæä¾›é«˜æ€§èƒ½çš„åˆ†å¸ƒå¼æŽ¨ç†ï¼Œå¹¶å ·å¤‡ä¼ä¸šæ‰€éœ€çš„å¯é æ€§å’Œè§„æ¨¡â€”â€”è¿™ä¸€åˆ‡éƒ½è¿è¡Œåœ¨ä¼ä¸šå·²ç»ç†Ÿæ‚‰çš„è¿è¥æ¨¡å¼ä¹‹å† ã€‚â€

IBM 对 llm-d çš„è´¡çŒ®ä½“çŽ°äº†å ¶ä¸€è´¯çš„åšæ³•ï¼šå°†èƒ½å¤Ÿæ”¹è¿›è®¡ç®—çš„ç†å¿µè½¬åŒ–ä¸ºç»„ç»‡å¯åœ¨çŽ°å®žä¸–ç•Œä¸­ä½¿ç”¨çš„å¼€æ”¾æŠ€æœ¯ã€‚

借助 llm-d 1.0ï¼Œè¿™é¡¹å·¥ä½œå¸®åŠ©æ‰“é€ å‡ºä¸€ä¸ªæŽ¨ç†æ ˆï¼Œå®ƒä¸ä» æ€§èƒ½å‡ºè‰²ï¼Œè¿˜èƒ½åœ¨ AI æˆä¸ºå ³é”®åŸºç¡€è®¾æ–½æ—¶æŒç»­ç¨³å®šè¿è¡Œã€‚å¼€æº AI æŽ¨ç†å·²å‡†å¤‡å¥½æŠ•å ¥ç”Ÿäº§çŽ¯å¢ƒè¿›è¡Œè¿è¥ã€æ²»ç†å’Œä¼˜åŒ–ã€‚

来源： IBM Research：AI · research.ibm.com

开源生态

部署工程

产品更新

#

部署/工程