行行查

行行查

行业研究数据库

行业研究问答

大模型行业研究:1.1混合专家模型(MoE)发展历程

  • 大模型
  • 人工智能

混合专家模型(MoE)的发展历程可划分为三个阶段:早期探索、深度学习应用拓展以及大规模高效训练的成熟期。1991年,MoE架构首次被提出,主要用于机器学习领域;2013年出现Dense结构的DMoE,2017年稀疏型MoE在Transformer中实现突破,通过在LSTM层间插入MoE层,在机器翻译任务中达到SOTA水平。2020年起,MoE逐步应用于深度学习,但研究进展一度放缓,直到2021年Gshard和Switch Transformer等模型推动其在Transformer架构中的落地,实现了参数量达1.6万亿的高效分布式并行训练,推理速度提升至传统模型的7倍。

2021年后,随着模型规模扩大,MoE成为提升训练与推理效率的关键方向。关键技术如V-MoE、Hash Layer、Z-code MoE、THOR等不断涌现,优化了计算资源利用与模型扩展性。2022年,DeepSpeed-MoE、GLaM、FasterMoE、ST-MoE等进一步推动MoE在NLP、CV、多模态及推荐系统中的广泛应用。2023年,LIMoE、UFO、SparseMoE、FLAN-MoE、SoftMoE等新架构相继推出,其中So

关联报告

2026年中国AI大模型行业研究报告
2026年中国AI大模型行业研究报告
22页
AI大模型依托海量多模态预训练数据,以千亿级以上参数与万亿token级数据为核心“大”维度,具备大规模参数、数据驱动、强泛化能力与涌现性,推动AI从专用智能向通用智能跨越,少量微调即可适配多场景需求。
2026-03
1176
查看报告
2026年AI制药行业研究报告
2026年AI制药行业研究报告
31页
AI制药依托机器学习与深度学习等前沿技术,深度赋能新药研发全流程。相较于传统以假说驱动、人工经验及高成本试错为主的研发范式,AI制药通过海量数据与强大算法演练,大幅压缩早期药物发现周期,精准预判分子成药性质以降低临床淘汰风险,打破人类经验定势并解锁全新的未知化学空间。
2026-08
1132
查看报告
2026年多模态大模型行业研究报告
2026年多模态大模型行业研究报告
27页
多模态AI生成技术突破了单模态基于单一数据类型的处理局限,通过高维语义空间的深度对齐,实现了文本、图像、音频与视频等跨维度的联合表征与协同创生。该技术深刻重构了人机自然交互范式。
2026-09
1150
查看报告
2026年自动驾驶行业研究报告
2026年自动驾驶行业研究报告
37页
自动驾驶系统依托传感器与算法自主执行动态驾驶任务。智能驾驶作为广义概念涵盖全系智能化功能;辅助驾驶处于SAEL1至L2级且由人类全权承担责任;高阶自动驾驶涵盖SAEL3至L5级,关键界限在于设计运行条件下事故责任向系统制造研发方转移。
2026-09
1139
查看报告
2026年AI电力基建行业研究报告
2026年AI电力基建行业研究报告
32页
AI电力基建融合先进算法与电网工程,重构新型能源基础设施架构。体系涵盖传统物理电网智能化升级与算力中心专属新型电力基建两大板块。通过算力算法驱动源网荷储协同互动,实现微电网调控与现货市场自动化出清,为高比例新能源接入与算电协同提供坚实数智化支撑底座。
2026-09
1045
查看报告
2026年AI影视行业研究报告
2026年AI影视行业研究报告
24页
AI影视是人工智能与影视创作融合的领域,生成式模型可参与剧本、角色、分镜、画面、声音和后期制作。相较传统特效和虚拟拍摄,其特点是直接生成视听素材。它属于数字视听产业,既涵盖智能辅助制作,也包括以人工智能生成影像为主体的作品。
2026-10
1128
查看报告
标题 时间 页数 目录 下载
传媒互联网行业2026AI应用系列深度报告(六):从模型调用到任务交付,Agent升级重构大模型价值 2026-10-25 15 下载
大模型词元服务性能监测报告(2026年) 2026-10-26 42 下载
计算机行业大模型商业化周报:FDE助力企业AI落地与推广 2026-10-26 20 下载
AI影视:大模型C端最快规模化应用场景 2026-10-27 33 下载
德适-B-02526.HK-跨模态医疗影像大模型的领军者 2026-10-28 31 下载
Anthropic招股书解读:大模型巨头如何率先跑通盈利闭环? 2026-10-28 15 下载
智谱-02513.HK-公司深度报告:独立大模型领军者,商业化路径逐渐清晰 2026-11-03 26 下载
人形机器人行业系列报告六-人形机器人大模型:范式跃迁,通用智能加速涌现 2026-11-03 69 下载
机器人产业跟踪:大模型厂商入局具身智能,行业商业化预期有望提升 2026-11-04 20 下载
计算机行业大模型商业化周报(第32期):Anthropic10月ARR环比增长 2026-11-09 21 下载

推荐阅读

行业图谱