Modal Clusters 正式发布，通过 @modal.clustered 提供多节点 GPU 集群

Modal Clusters 正式发布，通过 @modal.clustered 提供多节点 GPU 集群 · AIHOT

Modal 官方工程博客

·

Peyton Walters

2026-10-01 15:38

4 小时前

精选

AI 评分

67

Modal Clusters 正式发布，通过 @modal.clustered 提供多节点 GPU 集群

Modal Clusters are generally available

AI 导读

Modal 宣布 Modal Clusters æ­£å¼å¯ç”¨ï¼Œé€šè¿‡ä¸€ä¸ªè£ é¥°å™¨ @modal.clustered 即可获得多节点集群，节点间经 InfiniBand verbs 通信可达 6.4 Tbpsï¼Œè‡ªåŠ¨é ç½® PyTorch 和 NCCL。

推荐理由

官方宣布多节点集群正式可用，文中解释了 gang scheduler 与 RDMA 的实现细节，并给出 Decagon、1x、Runway çš„å®žé™ ç”¨æ³•ã€‚

正文 · AI 翻译

ç»„ç»‡éœ€è¦æ‹¥æœ‰è‡ªå·±çš„æ™ºèƒ½æ‰èƒ½æˆåŠŸã€‚ç„¶è€Œï¼Œå¤§è§„æ¨¡è®­ç»ƒå’Œæä¾›è¿™ç§æ™ºèƒ½éœ€è¦æ¯ç§’åƒä¸‡äº¿æ¬¡æµ®ç‚¹è¿ç®—çš„è®¡ç®—èƒ½åŠ›å’Œæ¯ç§’å¤ªæ¯”ç‰¹çº§çš„ç½‘ç»œï¼Œå¹¶åˆ†å¸ƒåœ¨ä¼—å¤šèŠ‚ç‚¹ä¸Šã€‚ä½†æ‹¥æœ‰æ™ºèƒ½å¹¶ä¸æ„å‘³ç€å¿ é¡»æ‹¥æœ‰é‚£äº›ç¡¬ä»¶ã€‚

在过去 1.5 年里，我们一直在实战测试一个新原语：Modal Clustersã€‚ä»Šå¤©ï¼Œæˆ‘ä»¬å¾ˆé«˜å ´åœ°å®£å¸ƒï¼Œå®ƒä»¬å·²é€šè¿‡å•ä¸ªè£ é¥°å™¨ @modal.clustered 正式可用：

Modal Clusters 与所有现有 Modal åŽŸè¯­æ— ç¼é›†æˆã€‚å°†æ£€æŸ¥ç‚¹å†™å ¥ Volumes ，通过 Cloud Bucket Mounts åŠ è½½æ•°æ®ï¼Œå¹¶ç”¨ Queues ç¼–æŽ’ä½ çš„ä½œä¸šã€‚åœ¨çŽ°æœ‰é›†æˆä¹‹ä¸Šï¼Œä½ è¿˜èƒ½èŽ·å¾—ï¼š

• 节点之间通过 InfiniBand verbs 通信，速度高达 6.4 Tbps ，并自动为 PyTorch 和 NCCL é ç½®

• ä½ çš„ä»£ç åœ¨è¯·æ±‚åŽå‡ ç§’å† å³å¯åœ¨é›†ç¾¤ä¸Šè¿è¡Œ ，按秒计费

• 我们强大、自动化的 GPU 健康保障与修复 ，现已扩展到 RDMA 健康

åœ¨å ¶ä»–åœ°æ–¹ï¼ŒæŒ‰éœ€è®¿é—®é›†ç¾¤æ„å‘³ç€æŒ‰å°æ—¶ä»˜è´¹æˆ–è¿›è¡Œé¢„ç•™ã€‚åœ¨ Modal ä¸Šï¼Œä½ å¯ä»¥éšæ—¶è¿è¡Œï¼Œå¹¶ä¸”åªä¸ºä½¿ç”¨é‡ä»˜è´¹ã€‚

重新构想 Modal æŠ€æœ¯æ ˆ

集群（容器组）是 Modal æŠ€æœ¯æ ˆä¸­ä¸€ç§å ¨æ–°çš„å·¥ä½œå•å ƒã€‚ä¸ºäº†æ”¯æŒå®ƒä»¬ï¼Œæˆ‘ä»¬ä¸å¾—ä¸åœ¨æŠ€æœ¯æ ˆçš„æ¯ä¸€å±‚æž„å»ºæ–°ç³»ç»Ÿã€‚

Gang 调度：一次性放置 N 个节点

Modal çš„ä¼ ç»Ÿè°ƒåº¦å™¨æ˜¯è´ªå¿ƒçš„ã€‚é›†ç¾¤ä¸­çš„æ‰€æœ‰èŠ‚ç‚¹ä¸æ–­è½®è¯¢æ–°å·¥ä½œï¼Œè€Œæˆ‘ä»¬çš„è°ƒåº¦å™¨æ£€æŸ¥å ¶ç§¯åŽ‹é˜Ÿåˆ—ä¸­æ˜¯å¦æœ‰å¯æ‰§è¡Œçš„å·¥ä½œï¼Œå¦‚æžœåˆé€‚å°±åˆ†é è¯¥å·¥ä½œã€‚å›´ç»•æ”¾ç½®ã€ç¢Žç‰‡åŒ–å’Œæˆæœ¬æœ‰ä¸€äº›å¯å‘å¼è§„åˆ™ï¼Œä½†æœ¬è´¨ä¸Šï¼Œè°ƒåº¦å™¨æ˜¯ä»¥é€èŠ‚ç‚¹çš„æ–¹å¼å†³å®šæŸä¸ªèŠ‚ç‚¹æ˜¯å¦åº”æ‰¿æŽ¥æŸé¡¹å·¥ä½œã€‚

对于多节点调度，单节点视角是不够的——调度的原子单位从单个节点扩展为 N ä¸ªèŠ‚ç‚¹ã€‚è¿™æ„å‘³ç€æˆ‘ä»¬å¿ é¡»æž„å»ºä¸€ä¸ªå ¨æ–°çš„è°ƒåº¦å™¨ï¼Œå¹¶å¸¦æœ‰æ˜Žç¡®çš„ 观察、规划和执行循环 ï¼šæŸ¥çœ‹æ•´ä¸ªé›†ç¾¤ï¼Œä¸ºæ¯ä¸ªå¾ å¤„ç†é›†ç¾¤å†³å®šæ”¾ç½®ä½ç½®ï¼Œç„¶åŽæ‰§è¡Œã€‚è¿™ä¹Ÿæ˜¯ Modal å ¶ä½™è°ƒåº¦ç³»ç»Ÿæ­£åœ¨å‰è¿›çš„æ–¹å‘ã€‚åœ¨æ¯æ¬¡è¿­ä»£ä¸­ï¼Œgang 调度器会：

• æ”¶é›†ç³»ç»Ÿä¸­æ‰€æœ‰å¤šèŠ‚ç‚¹å·¥ä½œè´Ÿè½½çš„å ƒæ•°æ®

• å°†æ‰€æœ‰å·¥ä½œè´Ÿè½½åˆ†é åˆ°èŠ‚ç‚¹ï¼ŒæŒ‰ AZ 和网络 ID 分组

• ä¸ºå½“å‰æ— æ³•å®¹çº³çš„å·¥ä½œè´Ÿè½½å¯åŠ¨ä»»ä½•æ–°å®¹é‡

• 向所有存活节点发送调度通知

一次 gang 调度器迭代

集群 A 4 × B300:8

å¾ å¤„ç†

集群 B 2 × H100:8

集群

区域 1 4 个空闲

区域 2 1 个空闲

b

空闲节点 使用中 + 新容量

观察。 ä¸€æ¬¡æ€§æŸ¥çœ‹æ•´ä¸ªé›†ç¾¤å’Œæ¯ä¸ªå¾ å¤„ç†é›†ç¾¤ã€‚

gang 调度器从与 Modal ä¸Šå ¶ä»–æ‰€æœ‰å† å®¹ç›¸åŒçš„å®¹é‡æ± ä¸­æ‹‰å–èµ„æºï¼Œä»Žè€Œå®žçŽ°å‡ ç§’å† èŽ·å–é›†ç¾¤ã€‚è¿™æ˜¯å¸‚åœºä¸ŠèŽ·å–å¤šèŠ‚ç‚¹é›†ç¾¤çš„æœ€å¿«æ—¶é—´ï¼Œä¹Ÿæ˜¯å”¯ä¸€æä¾›çœŸæ­£æ— æœåŠ¡å™¨å®šä»·çš„åœ°æ–¹ã€‚

RDMA 支持

多节点工作负载会移动大量字节。GLM 4.7 的 每个训练步骤 éƒ½å¿ é¡»ä»Žè®­ç»ƒå™¨å‘ rollout 引擎同步约 717 GB 的 BF16 权重：在 50 Gbps TCP 下需要近两分钟，在 RDMA 下不到两秒，而且要重复数千步。对于推理，Llama 3.1 70B 上的 prefill-decode 分离每 32k token 的提示要移动约 10 GB 的 KV ç¼“å­˜ï¼Œè€Œä¸”å¿ é¡»åœ¨å‡ ç™¾æ¯«ç§’çš„é¦– token æ—¶é—´é¢„ç®—å† åˆ°è¾¾ã€‚

RDMAï¼ˆè¿œç¨‹ç›´æŽ¥å† å­˜è®¿é—®ï¼‰å è®¸ GPU 或 CPU å† å­˜é€šè¿‡ç½‘ç»œåœ¨ä¸»æœºä¹‹é—´ä¼ è¾“ï¼Œè€Œæ— éœ€ç»è¿‡å† æ ¸ç©ºé—´ã€‚è·³è¿‡è½¯ä»¶å±‚ä½¿ RDMA 能够达到高达 6.4 Tbpsï¼è¿™ä¸€èƒ½åŠ›å¯¹å¤§å¤šæ•°å¤šèŠ‚ç‚¹å·¥ä½œè´Ÿè½½è‡³å ³é‡è¦â€”â€”è®­ç»ƒéœ€è¦å®ƒæ¥å®žçŽ° DDP all-reduce 和所有类型的模型并行；推理在进行 PD åˆ†ç¦»æ—¶éœ€è¦å®ƒæ¥ä¼ è¾“ KV 缓存。

RDMA 以难以支持而闻名。每个云提供商的实现都略有不同，需要不同的驱动程序、环境变量和用户空间库。

æˆ‘ä»¬è®¾å®šäº†ä¸€ä¸ªé›„å¿ƒå‹ƒå‹ƒçš„ç›®æ ‡ï¼šå°†æ‰€æœ‰è¿™äº›å¤æ‚æ€§éšè—åœ¨ä¸€ä¸ªæ ‡å¿—ä¹‹åŽï¼Œ rdma=True 。 ä»Šå¤©ï¼Œä½ å¯ä»¥è®¾ç½®è¿™ä¸ªæ ‡å¿—ï¼Œä»»ä½•ä½¿ç”¨ PyTorch 和 NCCL 的工作负载都能开箱即用。我们已在多个云上自动化了 RDMA è®¾ç½®ï¼Œè®©ä½ æ— éœ€ä»»ä½•çƒ¦æ¼å³å¯æ·±åº¦è®¿é—®æŒ‰éœ€é›†ç¾¤å®¹é‡ã€‚

rdma=True 会设置什么

RDMA 网络结构 每节点高达 6.4 Tbps

ä½ çš„é›†ç¾¤ · 4 个节点

节点 1

节点 2

节点 3

节点 4

数据中心。 Modal å°†ä½ é›†ç¾¤çš„å ¨éƒ¨ 4 个节点放置在同一区域的一个 RDMA 网络结构上。

这一集成对我们来说仍然不够好。由于 Modal è¿è¡Œå¤šç§Ÿæˆ·è®¡ç®—çŽ¯å¢ƒï¼Œæˆ‘ä»¬æ›´å€¾å‘äºŽä½¿ç”¨å®‰å ¨çš„ gVisor 容器运行时，而不是 runc 。然而，它不支持 RDMA，所以我们 è‡ªå·±å°†å ¶æž„å»ºè¿›äº† gVisor 。我们已将这些更改上游化，以便 OSS ç”Ÿæ€ç³»ç»Ÿä¸­çš„å ¶ä»–äººä¹Ÿèƒ½ä½¿ç”¨å®‰å ¨çš„ RDMA。

在 Clusters 上构建智能应用的客户

æˆ‘ä»¬ä¸ºåŸºäºŽå¤šèŠ‚ç‚¹é›†ç¾¤æž„å»ºçš„å‰æ²¿ç ”ç©¶å’Œç”Ÿäº§åº”ç”¨æ„Ÿåˆ°è‡ªè±ªã€‚

Decagon 训练出了更好的客户体验代理

Decagon 为客户体验构建 AI 代理。通过与 Modal 合作，Decagon 使用 Modal Clusters 上的 Miles å¾®è°ƒäº†é«˜è¾¾ä¸€ä¸‡äº¿å‚æ•°çš„å¼€æºæ¨¡åž‹ï¼Œä½¿å ¶é€‚åº”å®¢æˆ·äº¤äº’çš„éœ€æ±‚ï¼Œå¹¶é‡ç‚¹å ³æ³¨å“åº”è´¨é‡å’ŒæŽ¨ç†æ•ˆçŽ‡ã€‚ä½œä¸ºæ­¤æ¬¡åˆä½œçš„ä¸€éƒ¨åˆ†ï¼ŒModal 为 Miles 贡献了 LoRA 支持 ï¼Œå¹¶å¸®åŠ©å»ºç«‹äº†ä¸€å¥—ç¨³å®šã€å¼€æ”¾çš„è®­ç»ƒé æ–¹ã€‚

“模型性能是 Decagon å®¢æˆ·ä½“éªŒçš„æ ¸å¿ƒã€‚æˆ‘ä»¬çš„ä»£ç†éœ€è¦ç†è§£æ¯å®¶ä¼ä¸šçš„ç»†å¾®å·®åˆ«ï¼Œå¹¶å¯é åœ°å¤„ç†å¤æ‚çš„å®¢æˆ·å¯¹è¯ã€‚å¾®è°ƒè®©æˆ‘ä»¬èƒ½å¤Ÿå›´ç»•è¿™äº›éœ€æ±‚å¡‘é€ æ¨¡åž‹è¡Œä¸ºï¼Œä½†åœ¨ä¸‡äº¿å‚æ•°è§„æ¨¡ä¸‹è¿›è¡Œå¾®è°ƒæ˜¯ä¸€é¡¹å·¨å¤§çš„åŸºç¡€è®¾æ–½æŒ‘æˆ˜ã€‚Modal Clusters å¸®åŠ©æˆ‘ä»¬åœ¨è¿™ä¸€è§„æ¨¡ä¸‹è¿›è¡Œè®­ç»ƒï¼Œå› æ­¤æˆ‘ä»¬å¯ä»¥ä¸“æ³¨äºŽæå‡ä»£ç†çš„è´¨é‡å’Œå¯é æ€§ã€‚â€ Cyrus Asgari，Decagon ç ”ç©¶è´Ÿè´£äºº

1x 预训练 NEO

1x æ­£åœ¨æ‰“é€ NEO，这款家用机器人。NEO 的背后是一个世界模型，1x 在 Modal Clusters ä¸Šå¯¹å ¶è¿›è¡Œé¢„è®­ç»ƒï¼šç”¨äºŽå¤§è§„æ¨¡è®­ç»ƒçš„å¤šèŠ‚ç‚¹ B300 é›†ç¾¤ï¼Œé å¤‡ RDMAï¼Œä»¥åŠç”¨äºŽè¯„ä¼°æ¨¡åž‹è¡¨çŽ°çš„å¤§é‡å•èŠ‚ç‚¹ä½œä¸šã€‚åŒä¸€ä¸ªè°ƒåº¦å™¨åŒæ—¶å¤„ç†ä¸¤è€ ï¼Œå› æ­¤ 1x 在需要展开实验时可以突发扩展到数百块 GPU，并在两次运行之间缩减回来。

“构建 NEO éœ€è¦çµæ´»çš„å·¥ä½œè´Ÿè½½ï¼›æœ‰äº›æ—¥å­æ˜¯åœ¨å•ä¸ªè„Šä¸Šè·‘å‡ ä¸ªå¤šèŠ‚ç‚¹ä»»åŠ¡ï¼Œè€Œå¦ä¸€äº›æ—¥å­æˆ‘ä»¬æƒ³ä¸€æ¬¡æ€§å¯åŠ¨ä¸€å †å•èŠ‚ç‚¹è¯„ä¼°ï¼Œä»¥æ·±å ¥äº†è§£æ¨¡åž‹æ€§èƒ½ã€‚Modal Clusters 让我们能够通过 RDMA 扩展到数百块 B300ï¼Œç„¶åŽåœ¨å®ŒæˆåŽå°†å ¶å ³é—­ï¼Œå¼€é”€æžå°ã€‚æˆ‘ä»¬åªä¸ºä½¿ç”¨é‡ä»˜è´¹ï¼Œå›¢é˜Ÿå¾—ä»¥æ€è€ƒå¦‚ä½•ä¸º NEO 构建智能，而不是操心 GPU 以及去哪里找 GPU。” Sam Sinha，1x 世界模型实验室负责人

Runway 的前沿模型让创意成真

Runway æ­£åœ¨ä¸ºä¸–ç•Œæ¨¡åž‹æ—¶ä»£æž„å»ºçŽ°å®žä¸–ç•Œæ™ºèƒ½ã€‚å ¶æœ€æ–°çš„å‰æ²¿è§†é¢‘ç”Ÿæˆä¸Žç¼–è¾‘æ¨¡åž‹ Gen-4.5 和 Aleph 2.0 å¯åœ¨æ•°ç§’å† ç”Ÿæˆåˆ¶ä½œçº§è´¨é‡çš„è§†é¢‘ã€‚æ¯ä¸€æ¬¡ç”Ÿæˆéƒ½ä½¿ç”¨ Modal Clusters，将推理分散到多个节点，而 Modal çš„è‡ªåŠ¨æ‰©ç¼©å™¨å°†è¿™äº›é›†ç¾¤ä½œä¸ºä¸€ä¸ªæ•´ä½“åœ¨æˆ‘ä»¬çš„å ¨çƒè®¡ç®—æ± ä¸­æ‰©ç¼©ã€‚

â€œå¤šèŠ‚ç‚¹æŽ¨ç†æ˜¯ä¸€ä¸ªå ·æœ‰æŒ‘æˆ˜æ€§çš„åŸºç¡€è®¾æ–½é—®é¢˜ã€‚å®ƒä½¿å¼¹æ€§å˜å¾—å›°éš¾ï¼Œè€Œå¼¹æ€§æ˜¯æŽ¨ç†å·¥ä½œè´Ÿè½½çš„åŸºæœ¬è¦æ±‚ã€‚Modal çš„å¹³å°ï¼Œå‡­å€Ÿå¼€ç®±å³ç”¨çš„é›†ç¾¤å’Œå¯é ç½®è‡ªåŠ¨æ‰©ç¼©ç­‰åŠŸèƒ½ï¼Œå¸®åŠ©æˆ‘ä»¬å¿«é€Ÿæ‰©å±•å¤šä¸ªç”Ÿäº§æŽ¨ç†å·¥ä½œè´Ÿè½½ï¼Œä»¥æ»¡è¶³ä¸æ–­å¢žé•¿çš„éœ€æ±‚ã€‚â€ Kamil Sindi，Runway 首席技术官

立即开始

Modal Clusters çŽ°å·²é¢å‘æ‰€æœ‰å·¥ä½œåŒºå¼€æ”¾ã€‚æ— è®ºä½ æ˜¯åœ¨æ‰©å±•æŽ¨ç†ï¼Œè¿˜æ˜¯åœ¨å¯¹å‰æ²¿æ¨¡åž‹è¿›è¡ŒåŽè®­ç»ƒï¼Œåªéœ€ä¸€è¡Œä»£ç å³å¯æ‰©å±•ä½ çš„ Modal åº”ç”¨ã€‚é›†ç¾¤è§„æ¨¡å—ä½ æ‰€åœ¨è®¡åˆ’çš„ GPU é™åˆ¶çº¦æŸï¼Œå› æ­¤å¦‚æžœä½ åœ¨è§„åˆ’å¤§é¡¹ç›®ï¼Œè¯· 联系我们 。

开始使用：

• å®‰è£ Modal： pip install modal

• 创建账户： python -m modal setup

• 查看我们的 多节点集群文档

æˆ‘ä»¬è¿«ä¸åŠå¾ æƒ³çœ‹åˆ°ä½ æž„å»ºçš„ä½œå“ã€‚

来源： Modal 官方工程博客 · modal.com

#

产品更新

部署/工程

数据/训练