行行查
行业研究数据库
多模态行业研究:Transformer从语言建模扩展至视觉、生成和多模态任务
- 多模态
- 人工智能
- 大模型
这张表格梳理了Transformer模型如何从自然语言处理起家,一路“跨界”到视觉、生成和多模态任务的全过程。
在文本领域,因为文字天然就是离散的token序列,Transformer直接替换掉老前辈RNN和LSTM,毫无阻力地成为了绝对主流。到了图像理解,麻烦来了:图片不是序列,得先切成patch(小块)才能变成token。于是ViT登场,让Transformer成了编码器里的骨干之一,长期还跟CNN搭伙干活。
生成任务更复杂,涉及表示、机制、条件控制等多个环节。Transformer在这里是分步渗透的:先搞定序列生成,再注入条件控制,最后用DiT(Diffusion Transformer)彻底替换掉原本的U-Net架构,把骨干网络和生成机制解耦,成了跟具体机制无关的纯计算 backbone。
至于多模态任务,核心难点是把文字、图像这些不同质的模态对齐融合。早期做法是对齐位置后外挂模块,现在趋势是预测训练统一化、端到端化,转换损耗越来越低,目标是打造一个能通吃所有模态的统一骨干网络。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 传媒行业8月投资策略:模型性价比整体提升、多模态迭代加速应用落地,关注AI应用及暑期档游戏_影视板块表现 | 2026-08-14 | 29 | ||
| 传媒行业点评报告:积极关注物理AI、多模态AI、AI剧及AI游戏进展 | 2026-08-24 | 21 | ||
| 产业赛道与主题投资风向标:DeepSeek多模态能力跃升 | 2026-08-28 | 51 | ||
| AI应用追寻系列报告(六):多模态模型跃迁,产业从“需求驱动”向“内容驱动”延伸 | 2026-08-31 | 18 | ||
| 医药产业研究周报:从Owkin到未来医院,多模态数据金矿待掘;中报落定,创新药与CXO成长强劲 | 2026-09-14 | 27 | ||
| 传媒互联网行业深度报告:AI影视、漫剧,多模态将重塑内容生产与商业闭环 | 2026-09-14 | 15 | ||
| 传媒行业点评报告:GPT-6推动AI再攀新高峰,继续布局多模态AI应用 | 2026-09-07 | 20 | ||
| 互联网传媒行业投资策略周报:可灵4.0正式版本全量上线,关注多模态产业催化 | 2026-10-19 | 17 | ||
| 快手-W-01024.HK-可灵4.0以旗舰能力和定价优势重定竞争锚点,多模态用例仍在拓展边界 | 2026-10-21 | 15 | ||
| 综合行业周报:海外科技:算力交付不确定性上升,Anthropic短期算力成本承压,多模态能力持续升级 | 2026-11-09 | 18 |

行研数据库
创投数据库
证券数据库
商业数据库










