行行查
行业研究数据库
人工智能行业研究:PanGu-a的并行训练架构,以拓扑感知调度为核心,将模型任务智能分配至昇腾物理集群,提高模型的训练效率
- 人工智能
PanGu-α的并行训练架构以拓扑感知调度为核心,旨在提升大规模语言模型在异构物理集群中的训练效率。该架构通过智能分配模型任务至不同计算设备,充分利用硬件资源,实现高效协同训练。
具体而言,其训练过程结合了多种并行策略:数据并行与优化器模型并行用于在多个设备间分发数据和模型参数更新;操作级模型并行(Op-level model parallelism)则将模型的不同部分部署在不同的设备上,以应对单个设备内存不足的问题;而流水线模型并行(Pipeline model parallelism)进一步将模型按层切分,并在多个设备之间进行流水线式执行,从而提高整体吞吐量。
图中左侧展示了模型如何被划分并在硬件上进行映射,例如在Rack 1和Rack 2中,每个服务器包含多个设备(如Device 0到Device 23),这些设备共同承担模型的不同部分。右侧则展示了一个简化的硬件拓扑结构,包括ToR(Top-of-Rack)交换机和Spine交换机,构成一个典型的数据中心网络架构。通过拓扑感知调度机制,系统能够根据网络连接关系优化任务分配,减少通信开销,提升训练性能。
整体来看,这一架构通过综合运用多种并行技术与
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










