AI 推理隐藏的存储账单：推理会留下什么

让大多数高管想象 AI 的成本，他们很可能会想到 GPU——成排的加速器、消耗数吉瓦电力——以及硅芯片的等候名单。但这种图景遗漏了一项：数据存储成本。

模型作出响应后，数据会怎样？大量后端数据——由每天数十亿条提示、图像和视频生成——都需要存储。但数据存储是较难规划的基础设施成本之一，而且在最初规划 AI 基础设施时往往被忽视。

随着推理规模扩大，数据足迹也随之增长

传统上，AI 基础设施讨论都围绕着训练模型这一计算密集型流程展开。训练是有限的：一次运行启动、消耗算力，然后结束。但推理会持续运行，每当模型回答一个提示时都会发生。对于基础设施规划而言，这一区别很重要：训练运行是一项可以编制预算并在完成后结束的项目。推理则不会结束；每次推理请求都会留下数据。

以 AI 生成视频为例。在这类工作负载中，后端开销可能相当可观。根据内部测量，WD 发现，一段 8 秒的视频片段（返回给用户的是一个 3.97MB 的 720p 文件）会在后端留下超过 500MB 的相关数据，包括日志、缓存上下文、即时渲染内容、备份和安全记录。这是用户所见输出文件大小的 130 倍。对于生成更长、更高分辨率视频的企业而言，每个片段的后端数据足迹会增至数百 GB。

而且，这种后端数据足迹正在迅速扩大。McKinsey 预测，AI 推理需求到 2030 年将以 35% 的复合年增长率增长，而训练需求的增幅为 22%；到本十年末，推理将占数据中心总需求的 40% 以上。

近期一份由 WD 赞助、由 IDC 开展的全球白皮书调查了 763 位 IT 和业务决策者，发现近 95% 的受访者表示，过去 12 个月中，生成式 AI 导致数据量增加；约 61% 的受访者表示，数据量增长了 25% 或更多。

“可以把增加存储容量看作一种让 GPU 保持繁忙的优化方式，”报告中引用的一位超大规模云服务提供商高级产品经理表示。“最大的挑战是确保 GPU 不会闲置等数据——GPU 闲置数小时很快就会变得非常昂贵。”换算成金额来看：如果你的存储支出每年增长 25%，而计算预算以更可预测的周期性方式增长，那么存储支出最终就会超过那条最受关注的预算线。

让存储匹配 AI 数据生命周期

计算需求会随着训练周期、产品发布和硬件更新而起伏。但当计算需求放缓时，留存数据的体量并不会随之下降。模型日志、合成输出、推理结果等数据仍在不断累积，而组织也在留存更多数据，且留存时间更长。

这改变了留存数据的作用。过去会被移入档案、很少再被调取的信息，如今可能成为未来 AI 工作负载的输入。随着留存、检索和重复使用的数据越来越多，存储不仅要支持不断增长的容量，还必须支持对这些数据日益动态的访问。同一份 WD-IDC 调查发现，96% 的受访者预计，为支持推理或检索增强生成（RAG），他们需要更快地检索归档数据。

AI 工作负载既需要性能，也需要容量；在数据生命周期的不同阶段，不同技术各有用武之地。对于必须保留并反复访问的海量数据，HDD 可提供经济高效的大容量基础，且每 TB 成本优势显著

这对 AI 预算意味着什么

对于 CFO 或 CIO 而言，这意味着“AI 基础设施支出”的范围可能过于狭窄，只关注计算。模型在等待数据加载时闲置，其成本与因缺少 GPU 而闲置时相差无几。但存储瓶颈往往会被忽视，直到问题已经出现，表现为运营成本上升和检索延迟，而不是加速器旁的一项资本支出。

设想一家零售商为其商品目录生成 AI 产品视频，或一家保险公司通过 RAG 流程处理理赔文件，以加快承保速度。在这两种情况下，计算成本都是已知且已纳入预算的：按每次生成或每次查询计费，财务部门可以据此预测。存储成本则不同：每生成一个视频、每处理一份理赔文件，成本都会累积，因为任务完成后，所有这些后端数据都不会消失。

如果团队将 AI 预算视为“计算成本加上可以忽略不计的存储成本”，那么在 12 到 18 个月后，他们可能会发现，这笔看似微不足道的成本已占项目总成本的相当大一部分——恰好赶上管理层决定是否扩大项目规模。

构建可经济扩展的容量

解决这一挑战要从架构入手。存储策略往往按照昂贵的热层性能来设计（用于即时、持续访问的数据），而按数据量计算，大多数 AI 数据却积累在其后的温层、冷层和归档层中。

企业需要的是可经济扩展的容量：为完整的 AI 数据生命周期设计基础设施，在数据持续留存、不断累积并日益重复利用的过程中，兼顾性能、容量、功耗、可靠性和总体拥有成本。这意味着要将过去闲置的归档数据视为 RAG 和推理的活跃资产，并根据数据日益增长的战略价值，而非其最初的存储成本，制定保留策略。这也意味着要认识到，存储决策影响的是整个设备群，而非单个硬盘。

这类基础设施需要分层存储；随着容量扩展，单个设备的功耗、可靠性、密度和运营效率都决定了系统能否在经济上保持可持续。

关于贵组织的 AI 基础设施预算，有三个问题值得思考：

我们对 AI 生成内容采取什么数据保留政策？由谁制定？
我们的存储采购是根据训练阶段的性能需求，还是根据所生成数据的实际生命周期来安排的？
如果明年我们的 AI 使用量翻倍，存储成本也会随之翻倍，还是涨得更多？

大多数组织无法有把握地回答这三个问题。这个差距值得在下一个预算周期之前弥合，而不是等到之后。

本内容由 WD 制作，并非由 MIT Technology Review 编辑团队撰写。