行行查
行业研究数据库
大模型行业研究:1.1混合专家模型(MoE)发展历程
- 大模型
- 人工智能
混合专家模型(MoE)的发展历程可划分为三个阶段:早期探索、深度学习应用拓展以及大规模高效训练的成熟期。1991年,MoE架构首次被提出,主要用于机器学习领域;2013年出现Dense结构的DMoE,2017年稀疏型MoE在Transformer中实现突破,通过在LSTM层间插入MoE层,在机器翻译任务中达到SOTA水平。2020年起,MoE逐步应用于深度学习,但研究进展一度放缓,直到2021年Gshard和Switch Transformer等模型推动其在Transformer架构中的落地,实现了参数量达1.6万亿的高效分布式并行训练,推理速度提升至传统模型的7倍。
2021年后,随着模型规模扩大,MoE成为提升训练与推理效率的关键方向。关键技术如V-MoE、Hash Layer、Z-code MoE、THOR等不断涌现,优化了计算资源利用与模型扩展性。2022年,DeepSpeed-MoE、GLaM、FasterMoE、ST-MoE等进一步推动MoE在NLP、CV、多模态及推荐系统中的广泛应用。2023年,LIMoE、UFO、SparseMoE、FLAN-MoE、SoftMoE等新架构相继推出,其中So
关联报告





| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 传媒互联网行业2026AI应用系列深度报告(六):从模型调用到任务交付,Agent升级重构大模型价值 | 2026-10-25 | 15 | ||
| 大模型词元服务性能监测报告(2026年) | 2026-10-26 | 42 | ||
| 计算机行业大模型商业化周报:FDE助力企业AI落地与推广 | 2026-10-26 | 20 | ||
| AI影视:大模型C端最快规模化应用场景 | 2026-10-27 | 33 | ||
| 德适-B-02526.HK-跨模态医疗影像大模型的领军者 | 2026-10-28 | 31 | ||
| Anthropic招股书解读:大模型巨头如何率先跑通盈利闭环? | 2026-10-28 | 15 | ||
| 智谱-02513.HK-公司深度报告:独立大模型领军者,商业化路径逐渐清晰 | 2026-11-03 | 26 | ||
| 人形机器人行业系列报告六-人形机器人大模型:范式跃迁,通用智能加速涌现 | 2026-11-03 | 69 | ||
| 机器人产业跟踪:大模型厂商入局具身智能,行业商业化预期有望提升 | 2026-11-04 | 20 | ||
| 计算机行业大模型商业化周报(第32期):Anthropic10月ARR环比增长 | 2026-11-09 | 21 |

行研数据库
创投数据库
证券数据库
商业数据库










