行行查
行业研究数据库
人工智能行业研究:图表3DeepSeek-V3的基本架构图
- 人工智能
- AIGC
众所周知,FP8 伴随着数值溢出的风险,而 MoE 的训练又非常不稳定,这导致实际大模型训练中 BF16 仍旧是主流选择。为了解决以上问题,1)DeepSeek-V3 在训练过程中统一使用 E4M3 格式,并通过细粒度的 per-tile(1x128)和 per-group(128x128)量化来降低误差。FP8 的好处还体现在节省显存上(尤其是激活值)。2)此外,DeepSeek-V3 使用 BF16 来保存优化器状态,以及对部分操作进行选择性重计算(例如 RMSNorm, MLA Up-Proj, SwiGLU)。3)在并行策略上,DeepSeek-V3使用 64 路的专家并行,16 路的流水线并行,以及数据并行(ZeRO1)为了降低通信开销。4)在算法层面,DeepSeek-V3 使用分组路由的方式,限制每个 token 只会激活 4 个节点上的专家,从而减半跨节点的通信流量。5)在系统层面,将节点间通信和节点内通信进行流水,最大化使用网络带宽和 NVLink 带宽。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










