行行查
行业研究数据库
人工智能行业研究:DeepSeek-V3采用FP8为主的混合精度训练方法
- 人工智能
从训练的角度,FP8 精度训练、DualPipe 双向流水线以及高效的跨节点通信等技术是工程领域创新的重点。1) FP8 精度训练:DeepSeek-V3 将大部分计算密集型操作(如矩阵乘法)使用 FP8 精度进行,同时保留一些关键操作(如嵌入层、输出头、归一化操作等)的高精度(BF16 或 FP32),以确保训练的数值稳定性。在此基础上,进一步叠加细粒度量化、高精度累加、在线量化、低精度存储和通信等技术方法,成功实现了高效的 FP8 精度训练。2) DualPipe 双向流水线:核心思想是将模型的不同层分配到不同的 GPU 上进行并行训练,并通过双向流水线调度来同时处理正向传播和反向传播。具体来说,允许从流水线的两端同时输入微批次(micro-batches),从而最大化地利用计算资源并减少通信开销,该方法实现了高效的模型训练,为大规模分布式训练提供了强大的支持。3) 跨节点通信技术:DeepSeek-V3 通过高效的跨节点全对全通信内核、通信和计算的重叠、定制化通信内核、低精度通信以及对未来硬件设计的建议,显著提高了跨节点通信的效率。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










