行行查
行业研究数据库
人工智能行业研究:ECSS训练架构,以异构存算分离策略,实现万亿稀疏模型的高效训练
- 人工智能
ECSS(Efficient and Scalable Sparse Training)训练架构是一种专为万亿级稀疏模型设计的高效训练框架,其核心在于采用异构存算分离策略,以解决大规模稀疏模型在训练过程中面临的计算资源瓶颈和内存占用问题。该架构通过将模型参数分为激活与非激活部分,并结合设备端(Device)与主机端(Host)的协同计算,实现了对稀疏模型的高效处理。
在模型结构方面,ECSS基于专家混合(MoE, Mixture of Experts)机制,包含K个专家模块,总参数量为M,稀疏度s表示每次前向传播中被激活的专家比例(0<s<1)。因此,实际参与计算的专家数量为A=K×s,对应的激活参数量Ma≈M×s,显著降低了单次计算所需的参数规模。在前向传播阶段,系统仅加载激活的专家权重(FP16精度),形成“激活图”(Activated Graph),并通过查找表(Lookup)实现稀疏激活,从而减少不必要的计算开销。
在数据流方面,前向传播产生的梯度信息(2×Ma)在设备端完成反向传播后,被传输至主机端进行优化器更新。由于梯度需要更高的数值精度以保证优化稳定性,系统将梯度从FP16转换为FP32格式
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










