行行查
行业研究数据库
人工智能行业研究:常见移动设备中的内存层级结构
- 人工智能
模型的优化和压缩的最终目的是为了提升端侧 AI 推理能力,硬件是端侧模型第二个必要的组成部分,硬件也将补齐短板。内存及其操作带来的能耗是当前最短板。Meta 指出,由于 SRAM 缓存通常在 20MB,仅能容纳一个 Transformer 块,而 Flash 容量足够但速度较慢,DRAM 是要和系统和其它应用共享,留给模型的 DRAM 空间更小,单个应用程序不应超过DRAM 的 10%。苹果论文《LLM in a flash》指出,在 LLM 推理阶段,仅将 7B 参数,半精度的 LLM 的参数加载入 DRAM 所需空间就超过 14GB。微软的 3.8B 参数的 Phi-3-mini 模型在 4 bits 量化水平下需要占用 1.8GBDRAM。同时根据论文《EIE》,在相同的精度下,DRAM 耗能比 SRAM 耗能高两个数量级(640:5),比计算耗能高更多。内存读取是主要的耗能项。根据每 10 亿参数生成1token 需要耗能 0.1J,一个满电的 iPhone 大约 50KJ,以 10Token/s 的速度仅支持 7B 的模型运行不到 2 小时。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










