行行查
行业研究数据库
人工智能行业研究:大模型预训练超节点参考架构
- 人工智能
- 大模型
大模型预训练超节点参考架构主要围绕高性能计算单元的协同工作展开,旨在支撑大规模语言模型等AI模型的高效训练。该架构以“超节点”为基本单位,每个超节点内部集成了多个NPU(神经网络处理单元)与HBM(高带宽内存),并通过TP并行(张量并行)方式在单个超节点内实现最多8卡的并行计算,提升算力利用率。NPU与HBM之间通过高速互联实现数据快速交换,而CPU和DDR则作为辅助计算与存储资源,支持系统调度与数据预处理。
在超节点内部,各NPU之间通过UB(Ultra Bandwidth,超带宽互联)实现TB/s级的通信带宽,支持EP(专家并行)或SP(序列并行)等并行策略,从而优化模型训练过程中的数据与参数传输效率。多个超节点之间则通过“参数面Switch”进行连接,实现跨超节点的DP(数据并行)或PP(流水线并行),构建起更大规模的分布式训练网络。这种设计不仅提升了整体系统的扩展性,还通过高效的互连结构降低了通信延迟,增强了大模型训练的稳定性和性能表现。该架构来源于《基于灵衢的超节点参考架构白皮书》,体现了当前大模型训练基础设施的技术演进方向。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










