行行查
行业研究数据库
人工智能行业研究:DeepseekMoE架构
- 人工智能
DeepSeekV3的门控网络采用 Top-K 策略,即为每个 Token 选择与所有专家计算出的亲和力分数中最高的 K 个分数对应的专家。在计算亲和力分数时,DeepSeekV3 使用 sigmoid 函数,并对所有选定的亲和力分数进行归一化处理,以生成最终的门控值。在传统 MoE模型中,由于路由策略的不均衡性,可能导致部分专家接收大量 Token,而其他专家则几乎没有训练数据,这种现象会影响模型的整体性能。为解决这一问题,业界通常引入辅助损失(auxiliary loss),以平衡专家之间的负载。然而,过高的辅助损失有时会损害模型性能。为了在负载均衡和模型性能之间取得更好的平衡,DeepSeek 提出了一种无辅助损失的负载均衡策略。具体而言,为每个专家引入一个偏差项,并将其添加到亲和力分数中以确定 Top-K 路由。如果某个专家过载,偏差项会减少γ;如果某个专家负载不足,偏差项会增加γ。其中,γ是一个称为偏差更新速度的超参数,用于动态调整专家的负载分配。传统门控网络本质上是 softmax函数叠加一个分类网络,其输出的 logits 值可能因专家负载不均而出现极端化。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










