行行查
行业研究数据库
人工智能行业研究:VideoFactory交换式时空交叉注意力机制:时空独立到时空联合
- 人工智能
VideoFactory提出了一种新型的交换式时空交叉注意力机制,旨在提升视频理解任务中对空间与时间维度信息的联合建模能力。该机制的核心思想是通过“交换”空间和时间维度上的注意力计算顺序,实现更高效的时空特征融合。
传统方法通常采用独立处理空间和时间维度的方式,例如图中的(a)所示3D空间-时间自注意力(SA)模块,其在H×W的空间维度上同时进行空间和时间的注意力计算;而(b)则为3D空间-时间窗口自注意力(WSA),通过局部窗口限制计算范围以降低复杂度。此外,©展示了将2D空间自注意力与1D时间自注意力分离处理的结构,虽然能分别优化两个维度,但缺乏跨维度的信息交互。
相比之下,VideoFactory提出的(d)交换式空间-时间交叉注意力(Swapped Spatial-Temporal WCA)机制,创新性地将空间和时间注意力计算过程进行解耦并交换执行顺序:首先在空间维度上提取特征,再在时间维度上进行注意力聚合,或反之。这种设计允许模型在不同阶段动态调整关注焦点,并通过点积操作(Dot Product)实现跨模态的特征交互,从而增强模型对视频内容中时空依赖关系的理解能力。该方法不仅提升了模型表达能
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










