行行查
行业研究数据库
人工智能行业研究:VLM架构示意图
- 人工智能
该图展示了一种视觉语言模型(VLM)的架构设计,旨在实现对图像内容的深度理解和生成式输出。整个系统流程从输入端开始,接收一张包含文本和图像信息的文档作为输入,例如一篇学术论文的页面截图。随后,输入被划分为多个16×16像素的小块(patches),这些小块经过SAM(Segment Anything Model)与ViTDet 80M模型处理,用于提取局部视觉特征,并通过局部注意力机制进行编码,形成初步的视觉表示。
接下来,这些视觉特征经过一个16倍下采样卷积层(Conv 16x)进行压缩,生成更少但更具代表性的视觉token序列,其数量为原始patch数的1/16。这些视觉token随后被送入CLIP模型中的ViT 300M模块,利用全局注意力机制进一步提炼出高阶语义信息,构成嵌入层(Embedding layer)的输入。值得注意的是,部分低激活的视觉token可能在这一阶段被忽略或弱化,以提升计算效率。
最终,经过编码后的视觉嵌入与文本提示(Prompt)共同输入到DeepSeek-3B(MOE-A570M)大语言模型中,该模型作为解码器(Decoder)负责生成最终的输出结果,如自然语言描述、问答
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










