行行查
行业研究数据库
人工智能行业研究:MoE技术早期发展关键里程碑
- 人工智能
MoE(Mixture of Experts,专家混合)技术的早期发展经历了多个关键里程碑,其演进过程深刻影响了后续大语言模型(LLM)的设计与优化方向。1991年,Robert Jacobs、Geoffrey Hinton等学者在MIT和多伦多大学提出“自适应局部专家混合”(Adaptive Mixtures of Local Experts)概念,首次系统性地引入“专家网络”与“门控网络”的架构,通过门控机制动态分配任务给不同专家模块,实现对复杂任务的分解处理。这一框架奠定了MoE的理论基础,其“分而治之”与“条件计算”的思想为后来LLM中通过稀疏激活提升参数效率提供了重要启发。
1994年,Michael I. Jordan与Robert Jacobs进一步提出“层次化专家混合”(Hierarchical Mixtures of Experts)模型,并结合EM算法进行训练,引入树状结构以实现输入空间的递归划分。该方法不仅提升了模型对高维数据的建模能力,还增强了训练稳定性,为解决LLM中复杂的层级逻辑结构与内容生成任务提供了可借鉴的架构思路。
进入2000年代初期,MoE的思想被拓展至支持向量机(S
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










