行行查
行业研究数据库
人工智能行业研究:大模型对存储的需求:训练侧-对HBM的需求测算
- 人工智能
- 半导体
- 存储器
大模型训练过程中对高带宽内存(HBM)的存储需求主要来源于训练的三个核心阶段:前向传播、反向传播和参数更新。在前向传播阶段,输入数据逐层通过模型进行计算,生成各层的激活值,这些激活值不仅用于下一层的计算,还需被保存以供后续反向传播使用;在反向传播阶段,模型输出与标签对比产生损失值(Loss),并基于此计算每一层参数对应的梯度,此时激活值可释放,但梯度数据需保留用于参数更新;在参数更新阶段,优化器利用保存的梯度以及自身状态参数(如动量、方差等)来更新模型参数,完成更新后,旧版本的参数、梯度及优化器状态将被释放。
从存储空间角度来看,大模型训练所需内存主要包括四部分:模型参数、梯度参数、优化器状态参数和激活值。以GPT-3为例,其参数量达1750亿,在FP32精度下每个参数占4字节,因此模型参数占用约700GB;梯度参数与模型参数一一对应,同样占用约700GB;若采用Adam优化器,每个参数需存储动量和方差两个状态变量,额外占用约1400GB;激活值的存储空间则与批量大小、序列长度、隐藏层维度等因素密切相关,通常情况下可达1026GB。综合来看,整个训练过程的总存储需求约为3826GB,且随着批量大小的增加,激
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










