AI’s hidden storage bill: What inference leaves behind

AI的隐藏存储成本：推理留下的痕迹 | MIT Technology Review

Sponsored

人工智能

AI的隐藏存储成本：推理留下的痕迹

企业需要经济可扩展的存储能力，以跟上AI推理生成的数据增长。

By

• Tim Rausch 档案页面

2026年10月22日

由WD提供

让大多数高管描述AI的成本，他们可能会想到GPU——成排的加速器和 gigawatts 级别的功耗——以及硅芯片的等待名单。但这个画面忽略了一点：数据存储成本。

模型响应后，数据会发生什么？从数十亿条每日提示、图像和视频生成的大量后端数据需要被存储。但数据存储是基础设施成本中最难规划的部分之一，通常在初始AI基础设施规划中被忽视。

当推理扩展时，数据足迹也随之增长

传统上，AI基础设施的讨论集中在训练模型这一计算密集型过程。训练是有限的：一次运行开始，消耗计算资源，然后结束。但推理是持续进行的，每次模型响应提示时都会运行。对于基础设施规划而言，这种差异至关重要：训练运行是一个你可以预算并最终完成的项目。而推理不会结束；每次推理请求都会留下一些东西。

以AI生成的视频为例。在这个工作负载中，后端支出可能非常显著。根据WD的内部测量，一个8秒的视频片段（以3.97MB的720p文件返回给用户）在后端留下了超过500MB的相关数据，包括日志、缓存上下文、即时渲染、备份和安全记录。这比用户看到的输出文件大小增加了130倍。将这一比例扩展到生成更长、更高分辨率视频的企业，每个视频片段的后端数据足迹可能达到数百GB。

而且，后端数据足迹正在快速增长。麦肯锡预计，到2030年，AI推理需求将以35%的复合年增长率增长，而训练需求的增长率为22%，到本十年末，推理将占数据中心总需求的40%以上。

最近由WD赞助的IDC全球白皮书对763位IT和业务决策者进行了调查，结果显示，近95%的受访者报告称，过去12个月由于生成式AI导致数据量增加，约61%的受访者报告数据增长超过25%。

一位被引用的超大规模云服务提供商高级产品经理表示：“你可以把增加存储视为一种优化手段，以保持GPU的忙碌。”“最大的挑战是确保GPU不空闲，等待数据出现——GPU空闲时间以小时计算，会变得非常昂贵，非常迅速。”用美元来衡量：如果存储支出每年增长25%，而计算预算以更可预测的周期性方式增长，存储成本最终会超过最受关注的预算线。

这改变了保留数据的角色。曾经进入归档且很少被访问的信息，现在可以成为未来AI工作负载的输入。随着越来越多的数据被保留、检索和重复使用，存储系统不仅需要支持容量的持续增长，还必须提供越来越动态的访问能力。同一项WD-IDC调查显示，96%的受访者预计需要更快的归档检索速度，以支持推理或检索增强生成（RAG）。

AI工作负载需要性能和容量的双重保障，在数据生命周期的不同阶段，不同技术满足着不同的需求。对于必须长期保留并反复访问的海量数据，硬盘（HDD）提供了成本效益高、容量大的基础架构，其每太字节成本具有显著优势。

这对AI预算规划意味着什么

对于首席财务官（CFO）或首席信息官（CIO）而言，这意味着“AI基础设施支出”可能过于狭隘地聚焦于计算资源。一个因数据加载而空转的模型，其成本与因缺乏GPU而空转的模型相当。但存储瓶颈往往在成为问题后才显现，表现为运营成本增加和检索延迟，而非与加速器并列的资本支出（CapEx）条目。

以一家生成AI产品视频用于目录的零售商，或一家通过RAG管道处理索赔文件以加快承保流程的保险公司为例。在这两种情况下，计算成本都是已知且预算明确的：按视频生成或查询次数计费的费率，财务部门可以预测。而存储成本则不同：它会随着每个生成的视频和每个处理的索赔而累积，因为一旦任务完成，这些后台数据并不会消失。

如果团队将AI预算规划为“计算资源加上一个存储的微小误差”，可能在12到18个月后发现，这个“微小误差”已占到整个项目总成本的重要比例——这正是管理层决定是否扩展AI计划的时间点。

构建经济可扩展的容量

解决这一挑战始于架构设计。存储策略通常针对昂贵的热级性能（用于即时且持续访问的数据），而大多数AI数据按体积计算则分布在热级、温级、冷级和更冷级的存储层级中。

企业真正需要的是经济可扩展的容量：针对完整AI数据生命周期设计的基础设施，在数据持续存在、累积并被越来越多重复使用的过程中，平衡性能、容量、功耗、可靠性和总体拥有成本。这意味着将曾经无人问津的归档数据视为RAG和推理的活跃资产，并根据数据日益增长的战略价值而非原始存储成本制定保留策略。这也意味着需要认识到，存储决策是在整个存储集群层面展开的，而非单个硬盘。

这种基础设施需要分层存储架构，其中每个层级的功耗、可靠性、密度和运营效率共同决定了系统在容量扩展时是否仍能保持经济可持续性。

关于组织的AI基础设施预算，有三个关键问题需要思考：

• 我们对AI生成内容的数据保留政策是什么？由谁制定？
• 我们的存储采购是否与训练时的性能需求挂钩，还是与我们生成数据的实际生命周期相关？
• 如果明年AI使用量翻倍，我们的存储成本是否会同步翻倍，甚至更糟？

大多数组织无法自信地回答这三个问题。这正是在下一轮预算周期前值得弥补的差距，而非之后。

此内容由WD制作，非MIT Technology Review编辑团队撰写。

深度解析

人工智能

不要被误导——大型语言模型（LLMs）并不具备推理能力

自AlphaGo与围棋冠军李世石对弈已过去十年，如今的人工智能仍未触及使那次胜利成为可能的核心机制。

• Thore Graepel 归档页面

“我们一直误解了它”：颠覆人工智能世界的爆炸性声明

独家采访Nick Cammarata，这位研究人员的26000字病毒式博客文章让人工智能安全领域的专家们欣喜若狂。

• Will Douglas Heaven 归档页面

不要被这个人工智能炒作的夏天所迷惑

关于通用人工智能（AGI）和新功能的夸张声称在受到审视时很快就会崩溃。

• Timnit Gebru 归档页面

• Emily M. Bender 归档页面

关于OpenAI代理入侵Hugging Face的内部故事

OpenAI最新报告发现，这些模型因作弊和相互交流而获得了奖励。

• Grace Huckins 归档页面

保持联系

插图由Rose Wong绘制

获取MIT Technology Review的最新动态

发现特别优惠、热门故事、即将举行的活动等更多信息。