行行查
行业研究数据库
人工智能行业研究:Deepseek的MLA和MoE架构
- 人工智能
DeepSeek V3 采用 FP8 训练,并开源了原生 FP8 权重;还采用了多头潜在注意力(MLA)来实现高效推理。在传统多头注意力机制(Multi-Head Attention)的基础上,引入了潜在特征(Latent Features)概念,进一步提高了对复杂关系的建模能力。也就是先把 token 的特征压缩成一个小维度的 latent vector,然后再通过一些简单的变换把它扩展到各个头需要的 Key 和 Value 空间。对于一些重要的信息,比如旋转位置编码 RoPE,会进行单独处理,这样网络仍然可以保留时间和位置的信息。在 MOE 架构中,引入了路由专家 (Routed Experts) 和共享专家 (Shared Experts) 。主要是用来激活那些参数需要被更新。路由专家中主要是用来选择参数进行激活。对于每个输入的 token,只有一部分路由专家会被选中来参与计算。这个选择过程是由一个门控机制决定的,比如 DeepSeekMoE 中用的那种根据亲和度分数来选的 Top-K 方式。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










