行行查
行业研究数据库
人工智能行业研究:DeepSeekFP8技术原理
- 人工智能
DeepSeek FP8技术原理是一种用于提升大模型训练效率的混合精度计算方案,其核心在于通过在不同计算阶段采用不同精度的浮点格式来平衡计算性能与数值稳定性。该技术主要包含前向传播(Fprop)、反向传播(Bprop)以及梯度更新三个关键环节。
在前向传播过程中,输入数据以BF16格式进入,随后被转换为FP8格式进行矩阵乘法运算,之后再将结果转为FP32格式进行累加操作,最终输出结果仍保持在BF16格式。这一过程有效降低了计算和存储开销,同时利用FP32的高精度保证了中间计算的准确性。
在反向传播中,输出梯度以BF16格式传入,并转换为FP8格式参与矩阵乘法运算,再通过FP32格式进行累加,生成输入梯度。与此同时,权重梯度也经过类似处理,从FP8转换为FP32后传递至优化器状态模块,用于后续参数更新。
此外,系统引入了“Master Weight”作为高精度(FP32)的主权重副本,用于保存和更新模型参数,确保训练过程中的数值稳定性和收敛性。整个流程中,FP8主要用于降低内存占用和加速计算,而FP32则在关键节点上保障精度,形成了一种高效且稳定的混合精度训练架构。这种设计显著提升了大模型训练的能效比,尤
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










