行行查
行业研究数据库
多模态行业研究:外挂式:组合式多模态的典型结构
- 多模态
- 人工智能
- 大模型
外挂式或组合式多模态大模型的典型结构由图像输入、文本输入、视觉编码器(冻结)、连接模块(投影层/Q-Former/交叉注意力)以及大语言模型(冻结/微调)组成。图像输入首先通过冻结的视觉编码器提取特征,随后经由人工设计的连接模块将视觉信息转化为适合大语言模型处理的token形式;与此同时,文本输入可直接进入大语言模型。两者在流程后端对齐融合,最终由大语言模型生成统一的文本输出。该架构的核心优势在于复用已训练好的单模态模型,仅通过拼接专用连接模块实现跨模态协同,避免端到端重训带来的高昂成本。但其局限也明显:由于图像被压缩为离散token,原始的空间结构、时序动态及细粒度细节易在转换过程中丢失,影响模型对复杂视觉内容的理解精度。整体而言,这是一种高效折中的工程化方案,适用于资源受限或需快速部署的场景,但在高精度多模态推理任务中仍面临表达能力瓶颈。
关联报告

2026年中国AI大模型行业研究报告
2026年中国AI大模型行业研究报告
22页
AI大模型依托海量多模态预训练数据,以千亿级以上参数与万亿token级数据为核心“大”维度,具备大规模参数、数据驱动、强泛化能力与涌现性,推动AI从专用智能向通用智能跨越,少量微调即可适配多场景需求。
2026-03
1176
查看报告

2026年中国词元(Token)研究报告
2026年中国词元(Token)研究报告
15页
词元(Token)是大模型最小语义计算单元,经分词器编码为离散序列,具备分词最小单元、离散编码、语义完整、可计量及语料适配的核心特征,是AI算力计费与服务计量的核心标尺。
2026-04
1238
查看报告

2026年物理AI行业研究报告
2026年物理AI行业研究报告
31页
物理AI是连接数字虚拟与真实物理世界的关键交互枢纽。它将计算机视觉与大模型构成的数字智脑,与传感器和执行器构成的物理实体深度融合。物理AI不仅具备感知决策能力,更能理解牛顿力学法则,通过高频物理反馈形成“感知-决策-执行-反馈”的完整动态闭环。
2026-08
1140
查看报告

2026年多模态大模型行业研究报告
2026年多模态大模型行业研究报告
27页
多模态AI生成技术突破了单模态基于单一数据类型的处理局限,通过高维语义空间的深度对齐,实现了文本、图像、音频与视频等跨维度的联合表征与协同创生。该技术深刻重构了人机自然交互范式。
2026-09
1150
查看报告

2026年AI影视行业研究报告
2026年AI影视行业研究报告
24页
AI影视是人工智能与影视创作融合的领域,生成式模型可参与剧本、角色、分镜、画面、声音和后期制作。相较传统特效和虚拟拍摄,其特点是直接生成视听素材。它属于数字视听产业,既涵盖智能辅助制作,也包括以人工智能生成影像为主体的作品。
2026-10
1128
查看报告

2026年物理AI数据采集行业研究报告
2026年物理AI数据采集行业研究报告
23页
物理AI数据采集面向机器人、自动驾驶等物理智能系统,将环境观测、主体状态、执行动作与任务结果组织为可训练数据。其关键在于记录交互及对应关系,区别于普通视频拍摄和静态图像标注。
2026-11
1030
查看报告
| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 传媒行业8月投资策略:模型性价比整体提升、多模态迭代加速应用落地,关注AI应用及暑期档游戏_影视板块表现 | 2026-08-14 | 29 | ||
| 传媒行业点评报告:积极关注物理AI、多模态AI、AI剧及AI游戏进展 | 2026-08-24 | 21 | ||
| 产业赛道与主题投资风向标:DeepSeek多模态能力跃升 | 2026-08-28 | 51 | ||
| AI应用追寻系列报告(六):多模态模型跃迁,产业从“需求驱动”向“内容驱动”延伸 | 2026-08-31 | 18 | ||
| 医药产业研究周报:从Owkin到未来医院,多模态数据金矿待掘;中报落定,创新药与CXO成长强劲 | 2026-09-14 | 27 | ||
| 传媒互联网行业深度报告:AI影视、漫剧,多模态将重塑内容生产与商业闭环 | 2026-09-14 | 15 | ||
| 传媒行业点评报告:GPT-6推动AI再攀新高峰,继续布局多模态AI应用 | 2026-09-07 | 20 | ||
| 互联网传媒行业投资策略周报:可灵4.0正式版本全量上线,关注多模态产业催化 | 2026-10-19 | 17 | ||
| 快手-W-01024.HK-可灵4.0以旗舰能力和定价优势重定竞争锚点,多模态用例仍在拓展边界 | 2026-10-21 | 15 | ||
| 综合行业周报:海外科技:算力交付不确定性上升,Anthropic短期算力成本承压,多模态能力持续升级 | 2026-11-09 | 18 |

行研数据库
创投数据库
证券数据库
商业数据库










