長視頻理解新突破！Mamba混合架構讓顯存消耗腰斬，處理10萬視頻token不費力

今天小編(繁綺文)要和大家分享的是長視頻理解新突破！Mamba混合架構讓顯存消耗腰斬，處理10萬視頻token不費力,歡迎閱讀~

Mamba 混合架構視頻模型來了，不再對視頻 token 進行壓縮——

而是通過改進模型架構設計的方式提升模型在訓練及推理預填充階段處理視頻 token 的效率。

滑鐵盧大學陳文虎團隊與多倫多大學、零一萬物、向量學院以及 M-A-P 的研究人員提出了一種新的 Mamba-Transformer 混合模型 Vamba。

通過大量實驗驗證，研究團隊發現 Vamba 在同等硬體條件下可處理的視頻幀數較傳統 Transformer 架構提升 4 倍，訓練内存消耗降低 50% 以上，并且可實現單步訓練速度的翻倍。

同時，該方法完整保留了原始視頻的時空特征，避免傳統方法因降采樣或池化操作導致的關鍵動作或場景的信息丢失。

在多個長視頻的評價标準上，Vamba 保持了高準确率和出色的性能，尤其在 LVBench 長視頻理解基準上相較先前的高效長視頻理解模型達到了約 4.3% 的性能提升。團隊現已開源 Vamba 模型的代碼、模型權重以及訓練、推理腳本供研究社區進一步探索與應用。

核心方法

目前流行的多模态大語言模型多使用 Transformer 作為模型的基本結構，其中的因果注意力機制相對于輸入的 token 序列長度存在二次時間 / 空間復雜度關系。

在長視頻理解任務中，多模态大模型一般會将視頻轉化為一段極長的 token 序列，因此這些模型往往需要高昂的訓練或推理成本。舉例來說，一種較為流行的視頻編碼方式為使用 CLIP 或者 SigLIP 編碼器将視頻的每幀轉換為約 196 個 token。

基于這種編碼方式，一個 512 幀的視頻輸入将會轉換為約 10 萬個視頻 token，從而造成極高的訓練或推理復雜度。現有方法在處理這個問題時，往往采用壓縮視頻 token 數量的模型設計，即通過不同的壓縮機制合并或删除一些非必要的視頻 token 并縮短視頻 token 序列長度，從而降低多模态模型在長視頻理解任務上的資源消耗。

盡管相關研究已經取得了一定的進展，這些高效的長視頻理解模型仍然存在一個共同的問題，即過度的視頻 token 序列壓縮可能會造成一定程度的信息損失。這使得目前的高效長視頻理解模型在性能方面仍然與最頂級的模型存在一定差距。

Vamba 的核心設計思路是将原本作用于整個視頻 + 文本序列的運算成本高昂的因果自注意力運算操作分解為兩個更為高效且協同操作的計算組件。

（1）在處理文字 token 的過程中，通過引入交叉注意力機制使文字 token 獲得視頻 token 的信息。此類操作的計算開銷相比将文字與視頻同時經由因果注意力模塊處理更為可控，同時确保文本語義與視覺信息的高效對齊。

（2）針對海量的視頻 token，采用基于狀态空間模型（SSM）的 Mamba-2 模塊進行序列建模。該模塊通過選擇性掃描機制，在保持了更新視頻 token 序列時可以檢索全局序列信息的同時，将計算復雜度從 Transformer 的二次復雜度降至線性復雜度，從而突破了長視頻序列的處理瓶頸。

如圖所示，對于文字 token 輸入，Vamba 使用了因果自注意力機制和交叉注意力機制同時處理文字 token，從而省去了視頻 token 在因果注意力模塊中所需要的計算成本。在此基礎上，Vamba 使用 Mamba-2 模塊處理視頻 token 序列，從而既保持了對視頻序列的信息更新又将該操作所需要的復雜度控制在了線性範圍。

研究團隊通過不同幀數的視頻輸入，對 Vamba 與 Transformer 模型在訓練與推理中的計算成本進行了比較。對比發現 Vamba 在長視頻 / 高幀數輸入的情景下（128 幀及以上的視頻輸入），相比 Transformer 類模型達到了 50% 以上的運行時間與顯存需求下降。同時，Vamba 可以準确地描述視頻内容，根據用戶輸入的問題對視頻進行分析，并作出相應的回答。

總結

本文介紹了 Vamba 模型，一種專為高效理解超長視頻設計的 Mamba-Transformer 混合模型。

該方法通過集成面向文本 token 的交叉注意力機制與面向視頻 token 的 Mamba-2 模塊更新策略，在顯著降低計算復雜度與顯存占用的同時，實現了對長、中、短視頻理解任務的性能提升。基于 LVBench 等數據集的大量實驗評估表明，Vamba 在長視頻理解任務中以 4.3% 的顯著優勢超越了現有的高效長視頻理解模型，并在多個分布各個視頻時常區間的基準測試中展現出了卓越的競争力。

論文地址：https://arxiv.org/abs/2503.11579

項目主頁：https://tiger-ai-lab.github.io/Vamba/

代碼倉庫：https://github.com/TIGER-AI-Lab/Vamba

模型權重：https://huggingface.co/TIGER-Lab/Vamba-Qwen2-VL-7B

一鍵三連「點贊」「轉發」「小心心」

歡迎在評論區留下你的想法！

—  完  —

學術投稿請于工作日發郵件到：

ai@qbitai.com

标題注明【投稿】，告訴我們：

你是誰，從哪來，投稿内容‍

附上論文 / 項目主頁鏈接，以及聯系方式哦

我們會（盡量）及時回復你

  點亮星标

科技前沿進展每日見

關于長視頻理解新突破！Mamba混合架構讓顯存消耗腰斬，處理10萬視頻token不費力就分享完了，您有什麼想法可以聯系小編(繁綺文)。