CoreWeave

Why SUNK Redefines the AI Research Cluster for Production-Grade Training

7.1内容质量
Why SUNK Redefines the AI Research Cluster for Production-Grade Training

TL;DR · AI 摘要

SUNK: Production-Grade AI Training at Scale Published on March 4, 2026 7 min read Why SUNK Redefines the AI Research Clu...

核心要点

  • 主题聚焦:Why SUNK Redefines the AI Research Cluster for P
  • 来源:CoreWeave,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#前端#云计算#安全#产品
打开原文

SUNK:可扩展的生产级AI训练

发布于

2026年3月4日

7

分钟阅读时间

为什么SUNK重新定义了生产级训练的AI研究集群

作者:

Corey Sanders

已复制

Slurm是管理大规模AI训练资源的行业标准接口,因其公平的资源分配和强大的任务隔离能力而备受推崇。但随着训练基础设施日益复杂,且集群需要快速演进,可靠部署和运营Slurm会产生显著的配置和运维负担。

这就是我们构建SUNK(Slurm on Kubernetes)的原因:一个统一的训练系统,通过Kubernetes运行Slurm,为基于Slurm的AI训练带来云原生的敏捷性、运维便捷性以及可扩展的生命周期管理。SUNK是首个针对最严苛AI工作负载的统一训练系统。它帮助团队加速推进,同时通过集成健康管理和深度运维可见性,保持大型长期训练任务所需的运维纪律。

今天,我们通过引导式自助服务(预览版)进一步扩展了这种运维便捷性——一种通过Kubernetes操作员驱动的体验模型,提供面向CoreWeave控制台部署和管理SUNK的标准化、流程化体验。

SUNK:面向AI的生产就绪型统一训练系统

SUNK不是作为独立层级构建和运营,而是作为一个统一系统设计。这使得SUNK能够通过以下方式实现生产级AI训练:

  • 针对大规模同步训练工作负载的智能拓扑感知调度
  • 自动健康管理和故障缓解,减少硬件事件和GPU拖后腿问题带来的中断
  • 从基础设施健康状态到任务级行为的深度运维可见性
  • 统一的生命周期管理,确保集群在规模扩展时保持一致性、可升级性和生产就绪状态

这些能力共同帮助团队摆脱拼凑式基础设施堆栈,转向可靠且可重复的大规模AI训练方法。

SUNK还让研究人员更容易上手,同时不牺牲安全性和运维控制。通过SUNK用户配置(SUP),系统自动化用户注册和权限分配,提供隔离的登录环境,确保合适的人员在安全环境中获得适当的访问权限。这意味着团队可以立即开始工作(分钟级),而非等待数天,同时组织能维持清晰的边界和严格的治理。它减少了注册摩擦,最小化配置漂移和设置错误,并确保训练集群符合企业安全要求。(了解更多关于SUNK用户配置的信息)

经过大规模验证。专为真实世界AI训练构建。

这种方案植根于丰富的实践经验。在多年运营涵盖多种规模和工作负载复杂度的研究集群后,CoreWeave识别出已被验证的运维模式,这些模式在快速实现价值与专家团队所需的严格控制之间取得平衡。SUNK将这些经验融入生产就绪的训练系统,使IBM和Cursor AI等组织能够可靠地扩展AI训练,而无需自行构建和维护定制化基础设施。

“通过 CoreWeave SUNK,我们能够无缝管理数千个 GPU 的集群。研究人员的入职流程实现自动化,因此我们可以在一分钟内完成权限授予和撤销,同时不牺牲安全性。在 rack-scale GB200 系统上,SUNK 的拓扑感知调度和自定义仪表板使训练运行更快、更高效,并提高了集群利用率。集成的健康检查、自动节点修复和深度可观测性减少了中断,使研究人员能够更快迭代,平台工程师则能减少应对突发问题的时间。”

Brian Belgodere,IBM 高级技术成员

“我们需要一种能够扩展而不会拖慢运维效率的基础设施。SUNK 出厂时就具备这一能力:共享文件系统、自动化用户配置以及可定制的环境,使我们的研究人员能够专注于研究,而不是与工具链斗争。仅 Mission Control 的节点健康检查和修复功能就为我们节省了大量运维开销。它直接可用,而以我们的增长速度,这一点至关重要。”

Sam Kottler,Cursor AI 机器学习基础设施

去年,在他们的 ClusterMAX 2.0 评级中,SemiAnalysis 将 SUNK 评为目前市场上唯一一款专为提高集群利用率和研究人员效率而构建的高端统一训练系统。

“CoreWeave 的 SUNK 是首个上市的解决方案,具有专有技术,并且至今仍是唯一能够在同一底层集群上运行 Slurm 和 Kubernetes 作业的可行方案。”

ClusterMAX™ 2.0:行业标准 GPU 云评级系统,2025 年 11 月 6 日

使 SUNK 实现规模扩展的关键因素

训练系统在小规模时可能表现稳定,但当今前沿的 AI 工作负载通常需要跨数千个 GPU 持续数天甚至数周。在如此规模下,微小的低效和常规故障可能迅速累积成重大延迟,降低有效利用率并延长结果产出时间。

SUNK 是为这种波动环境而设计的。它被构建用于在跨数千 GPU 集群进行大规模分布式模型训练时,保持持续同步负载下的可重复基础设施行为。在运行长期训练任务的生产部署中,SUNK 实现了以下效果:

  • 最高 96% 的有效利用率意味着绝大多数请求的 GPU 时间转化为实际训练工作,而非重试、停滞或空闲周期
  • 千 GPU 集群的平均无故障时间(MTTF)延长至 10 倍(约 3.66 天,相比基准场景中的约 8 小时),显著降低多日任务的中断频率
  • 故障发生时可在约 90 秒内重启任务,最小化中断时间并保持分布式工作负载的进度连续性

可预测的性能。生产级的成果。

结果是更快的作业完成速度、更高效的训练时间以及加速迭代和创新的发现周期。大型多日训练任务保持行为一致性,可容忍常规硬件事件,并在发生故障时快速恢复,从而在分布式工作负载中保持高效的训练时间。这些成果并非源于孤立调优或一次性优化,而是反映了一个围绕拓扑感知调度、通过 CoreWeave Mission Control 实现的自动化健康管理,以及计算、网络和存储全生命周期控制的统一训练系统。

这种运营成熟度已通过外部验证。CoreWeave 最近被命名为首批 NVIDIA GB200 Exemplar Cloud 之一,在真实生产环境中超越了 NVIDIA 自身的训练性能目标。该认证不仅体现了峰值性能,更体现了可预测、可重复的行为表现——这标志着大规模生产级 AI 训练的新行业标准。

基于持续健康管理和深度可观测性

千级 GPU 规模的可靠性需要的不仅是智能调度。它需要持续的健康监控、可重复的基础设施行为,以及直接嵌入训练环境的自动化修复机制。

SUNK 设计为与 CoreWeave Mission Control 协同运行,后者持续评估节点健康状况、跟踪 GPU 性能波动,并在同步训练负载受到影响前检测出滞后节点。健康遥测数据不是在故障后被动响应,而是实时主动指导调度决策。

当用户通过 CoreWeave Mission Control 识别到性能下降时,可主动隔离不健康节点、重新调度工作负载并隔离故障域。这能防止单节点不稳定演变为集群级中断。通过调度、健康信号与自动化恢复之间的协同,SUNK 减少了拼接式环境中常见的运营漏洞,并在持续负载下保持行为一致性。

保障训练全速推进的可观测性

SUNK 的深度可观测性将基础设施遥测数据直接连接到作业级性能。平台团队可全程监控通信瓶颈、GPU 波动、内存压力和分布式训练状态。团队无需等待作业停滞,而是能提前预判性能下降并采取可预测的干预措施。

其结果是持续稳定的进展。大型多日训练任务能保持行为一致性,容忍常规硬件事件,并在发生故障时快速恢复——从而保障分布式工作负载的训练时间不中断。

这种运营规范源于多年在真实生产条件下为领先 AI 先驱运行大规模研究集群的经验。正是这种成熟度,使我们能够实现下一步:为团队提供灵活的接入方式,使其能够使用相同的生产级训练系统。

Slurm 集群仪表板中运行和待处理作业的视图 Slurm 作业指标仪表板中挂起作业的 GPU 滞后检测视图

今日发布:引导式自助服务加速入门

为了更便捷地启动新的 SUNK 环境,我们今天宣布推出全新的精选入门体验。

运营严谨性是 SUNK 设计和运营的基础,确保快速上手和可预测的运营。这种新的引导式自助服务体验提供了一条通向生产就绪 SUNK 集群的精简路径,基于经过验证的运营模式构建。CoreWeave 管理部署流程、升级和生命周期控制,使团队能够专注于训练任务而非基础设施协调。这一过程不会影响底层系统的可靠性、可观测性或性能特性。

这包括:

  • 加速上架:通过基于安全且经过运营验证的默认值的引导设置,在几分钟内搭建好生产就绪的 SUNK 集群。
  • 可预测的升级:定义的发布渠道、协调的升级时间窗口和版本控制规范可降低集群演进过程中的运维风险。
  • 降低运维负担:CoreWeave 管理生命周期事件和常见故障场景,确保集群随时间推移保持一致性。
  • 与研究者对齐的工作流程:研究者专属 Pod、共享环境和自助服务访问在获得内置支持优势的同时,不会牺牲运维控制权。
  • 企业级对齐:程序化用户配置、权限管理和隔离机制符合安全与合规要求。

这些能力共同体现了 CoreWeave 持续投入,使 SUNK 的采用更加迅速、运维更加简单,同时保持生产级可靠性与大规模场景下所需的运维可见性。

从集群复杂性到可预测的模型进展

随着 AI 工作负载的持续演进,研究集群必须在规模和运维规范性方面同步扩展。训练任务现在覆盖数千个 GPU 且持续数日运行,这意味着微小的低效可能累积导致进展停滞和计算资源浪费。

在如此规模下,最关键的是加快任务完成速度、提升训练效率以及加速发现周期。研究人员和 AI 平台团队需要访问能够在持续同步负载下保持稳定性能的基础设施,而不仅仅是在受控条件下实现峰值吞吐量。

SUNK 正是为这种演进后的现实而构建。通过提供专为大规模、长期运行的 AI 工作负载设计的统一训练系统,SUNK 帮助团队摆脱被动运维和碎片化基础设施,实现规范化的可扩展执行。

结果是实现持续的模型进展、更高的资源利用率、更低的运维负担以及在生产规模下更一致的成果。

探索 SUNK 如何在生产规模上可靠运行大规模 AI 训练。联系我们的团队讨论您的训练环境,或深入了解以下资源:

  • [阅读 SUNK 解决方案简报](#):全面了解 SUNK 如何统一完整 AI 训练生命周期、最大化训练效率并实现生产级可靠性。
  • [探索 SUNK 文档](#):查看架构、调度、可观测性和运维工作流程的技术细节,适用于评估或部署 SUNK 的团队。
  • [了解 SUNK 用户配置](#):通过安全连接您的 IdP 或 IAM,在几分钟内实现 SUNK 用户访问自动化。

‍

分享本文: /think