New in CoreWeave AI Object Storage: Cross-Region Writes and Archive Storage

CoreWeave AI 对象存储：跨区域写入与归档存储

发布于

2026年9月16日

7

分钟阅读

CoreWeave AI 对象存储新功能：跨区域写入与归档存储

将读取延迟降低 8 倍，以本地延迟向远程区域存储桶写入数据，并保留本应删除的检查点。（系列文章第一部分）

作者

Jeff Braunstein

Sean Derrington

已复制

你在哪里能获取 GPU 资源，数据就留在哪里。CoreWeave AI 对象存储的两项新功能正在弥合这种差距，现已正式上线。跨区域写入加速功能使作业能够以本地延迟向远程区域存储桶写入数据。新增的存储类别“归档”可保存您希望保留但预期很少读取的数据。

计算资源（GPU 和 CPU）的可用性决定了作业的运行位置。数据不易迁移，因此需要自行移动数据：在运行前预置数据集、在计算节点附近保留副本、围绕现有数据位置安排工作流程。这会增加运营开销，通常需要为相同数据集准备多个副本并耗费时间。每种变通方法都付出同样的代价：你为 GPU 支付的费用所消耗的时间。

这是两部分系列博客的第一部分。本文将介绍新功能的作用及其与 LOTA 的关联性。第二部分将讲解如何实现和使用这些功能。

LOTA 保持读取本地化并持续为 GPU 提供数据

LOTA（本地对象传输加速器）是 CoreWeave AI 对象存储的重要组成部分，它将读取操作保持在 GPU 和 CPU 节点本地，并且通常可用。LOTA 作为缓存代理运行在 CKS（CoreWeave Kubernetes Service）集群的每个 GPU 和 CPU 节点上，通过本地 NVMe 存储对象，并为每个 GPU 提供高达 7 GB/s 的缓存读取速度。缓存容量和吞吐量会随着集群规模线性扩展。启用该功能无需额外成本，仅需将 S3 兼容客户端指向 LOTA 端点，代码无需其他修改。

快速高效地将数据输入 GPU 对 AI 工作负载的成功至关重要。想象一位短跑运动员每 10 米就必须停下、等待，然后再重新开始。当短跑运动员永远无法达到最高速度时，速度就不再重要了。这与 GPU 等待从存储桶读取数据的情况类似。LOTA 将数据保留在节点本地，使工作负载能够全程运行而无需停止。

无论存储桶位于 CoreWeave 哪个区域，LOTA 都能加速从存储桶的读取操作。一个区域运行的工作负载可以读取另一个区域的存储桶，并实现缓存本地化的延迟，无需为数据集创建昂贵的第二份副本，也无需运行同步这些副本的复制任务。一家领先的前沿模型提供商在超过 15,000 个 GPU 和 20 PB 缓存容量上运行 LOTA，缓存命中率达到 99.7%。在这些命中情况下，p99 读取延迟比直接从存储桶读取低 8 倍以上。

缓存的位置是关键所在。LOTA 在 GPU 节点本身的 NVMe 上存储对象，因此缓存读取永远无需从机器外部获取数据。一些云服务提供商提供区域化读取缓存，但会在节点与其数据之间增加网络跳转。对于这些高吞吐量任务来说，这种跳转就是关键差异。LOTA 是对象缓存能距离读取计算最近的实现方式。

我们的数据集并不局限于某个区域，我们也不希望某个区域的训练计划受到从其他区域检索数据所需时间的影响。CoreWeave AI 对象存储通过在本地缓存读取操作，实现了跨区域统一的数据集，因此无需等待网络传输。这就是在数据规划与单纯训练之间做出的区分。

Cecile Robert-Michon，Cohere 内部基础设施总监

跨区域写入实现本地延迟

LOTA 加速了 GET 请求。写入操作则是另一个需要解决的问题。

当训练任务向远程区域的存储桶写入检查点时，每次提交都需要等待往返延迟，训练任务也会随之等待。在每次检查点写入期间，训练过程可能会暂停，因此检查点频率越高，对训练时间的消耗就越大。即使使用异步检查点，存储系统也必须保持同步，防止训练过程停滞。关键在于在频繁的恢复点之间找到平衡：尽可能快速地写入这些恢复点，同时将训练时间的利用率尽可能接近 100%。

区域之间的距离会增加延迟并延长任务完成时间。虽然不会产生传输费用（CoreWeave 对出站、入站和请求均不收费），但会消耗训练时间。在 GPU 的价格体系下，这显然是一个需要优化的环节。

跨区域写入加速使远程写入表现得如同本地写入。其工作流程如下：

• 应用程序向 LOTA 端点发起标准 S3 写入操作。无需更改 API 或 SDK。

• 对象数据在本地区域持久化写入，并以本地延迟获得确认。元数据提交至远程区域，两个区域共享同一个存储桶命名空间，无论从哪个区域读取，所有读者看到的都是相同的对象。

• 对象立即可见且可读，包括刚刚写入它的应用程序。

• 在后台，对象数据会迁移到远程区域。

本地对象传输加速器与跨区域写入

降低延迟是显而易见的好处。但六个月后真正重要的优势是：这仍然是一个存储桶。无论写入操作来自哪个区域，IAM 策略、生命周期规则和访问控制都统一适用。统一的命名空间、单一的事实来源、无需团队成员负责的复制流水线，以及无需后续对齐的区域分支。

跨区域写入功能可针对任意 CoreWeave 区域对的存储桶启用。将 GPU 放置在任何可获取的位置——你的数据不再需要跟随。

在训练过程中，防止 GPU 因数据饥饿而停滞，需要在最小化存储延迟与简化存储操作之间保持微妙的平衡。在数千个计算节点上直接在计算节点本身进行缓存，与基于区域级别的方法相比，这是具有重要意义的架构差异。无需更改应用程序或维护复制流水线，就能实现这一点，这使得在大规模场景下具备操作可行性。

Dave McCarthy，IDC 高级副总裁

数据并非毫无价值，但保留数据的成本难以预测。存储按GB计费，但读取数据、列出数据、提前删除或迁移数据等操作均需单独付费。保留成本取决于后续对数据的使用方式，而这正是难以预料的部分。

CoreWeave AI对象存储新增的Archive选项消除了这种计算。它与Hot、Warm和Cold并列为第四种存储选项，专为AI工作负载数据设计，适用于您计划长期保留且预期极少读取的数据。您只需为实际存储的数据付费，无需承担其他费用。

今天将数据归档，下周删除它，不会产生任何额外费用。以下是具体对比：

CoreWeave

典型云服务商

检索费用

无

有

缓存费用

按请求计费

提前删除费用

分层费用

出站费用

此处的每个选项都伴随着成本和影响。数据可以保留在Hot、Warm和Cold层级，这种方式可行，但可能并非成本最优。Archive成本更低，代价是首次字节读取时间比其他三种层级更长。

在检查点（checkpoint）的使用场景中，这种权衡最为明显。将它们视为备份策略：将近期检查点保留在Archive之外，以便重启时能立即访问，同时让策略在检查点超过60天未被访问时自动将其迁移至不同层级。如果您希望在60天后进行更精细的自定义设置，这也是可行的，或者在明确某个检查点是长期记录而非重启候选时，可直接写入Archive。

通过这种方式，Archive将数据保留从季度判断转变为一次性设定的策略。请注意，写入Archive会带来额外的延迟。

高性能与归档层级之间的智能分层

一个存储桶，一个AI循环

每次AI循环都会产生证据：检查点、评估结果、模型实际行为的记录。运行、观察、整理、评估、改进，然后重复。发布日即为第一天；一旦模型或代理进入生产环境，这些证据将更快到达且更重要。循环的速度取决于底层基础设施写入、迁移和返回数据的速度。

跟踪一个检查点的生命周期。它从拥有GPU的区域以本地延迟写入。随后在后台自动迁移至目标远程区域，无需任何人工调度数据复制。60天无活动后，它会自动进入Archive，无需人工干预。一年后，某人可通过标准GET请求从相同存储桶和对象键中提取它，用于消融实验。

这种分层策略正是通过训练和强化学习保持AI循环持续运转的关键。恢复时从最近的检查点获取数据，该检查点可能位于Hot、Warm或Cold层级，这些层级的读取延迟相似。所有更早的数据会自动进入Archive，在需要复现结果或审计运行时仍可访问，且成本低至保留数据变得更容易决策。

三种能力，一个存储桶，一个命名空间。LOTA降低读取延迟。跨区域写入降低写入延迟。Archive保留每次AI循环产生的记录，为下一次训练周期提供基础。

从工作流中移除人工存储步骤

联系您的客户经理，了解这些新功能如何使您的AI工作负载受益。尚未使用CoreWeave AI对象存储？请与我们的团队联系以获取更多信息。

第2部分将详细介绍平台工程师和存储管理员如何实现这些功能。

第 1 部分：以本地延迟向远程区域存储桶写入数据。保留原本会被删除的检查点。跨区域写入加速功能与归档层级现已上线。

分享本文： /think