行行查
行业研究数据库
人工智能行业研究:3.3AI训推计算范式推动ScaleUp升级、单卡带宽提升_2
- 人工智能
- 通信技术
AI训练和推理计算范式正在推动Scale Up升级和单卡带宽的提升。具体而言,并行计算在这一过程中起到了关键作用,催生了对Scale Up网络的需求。
首先,几种并行计算方法各有优劣,大型模型训练通常采用集合了多种并行方式的混合并行计算,例如3D并行计算。这种混合并行计算能够更高效地利用资源,提高训练速度。
其次,与数据并行和流水线并行相比,张量并行在矩阵运算后需要进行同步,因此对数据传输的要求更高,需要更频繁、更低延迟的数据传输,其传输数据量也高出一到两个数量级。这意味着张量并行对网络带宽和传输效率有更高的要求。
再者,通常情况下,数据并行和流水线并行基于容纳更多卡数的Scale Out网络,而张量并行则基于单卡带宽更高的Scale Up网络。这表明不同的并行计算方式对网络架构有不同的需求。
此外,图片中还展示了一个3D混合并行计算的示意图,通过多个GPU(如GPU 0、GPU 4、GPU 8等)的协同工作,实现了高效的模型训练。同时,表格数据进一步说明了不同类型的流量(TP、PP、DP、EmbTableSyn)在体积、消息数量和消息大小上的具体差异,例如TP类型流量的体积约为85 GB,消息数量为
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










