高馬爾今天小編(嬴覓晴)要和大家分享的是CVPR‘25跨模态因果對齊，讓機器更懂視覺證據,歡迎閲讀~
跨模态因果對齊，讓機器更懂視覺證據！
來自中山大學、新加坡南洋理工大學等團隊提出跨模态因果對齊框架（CRA），通過因果幹預和跨模态對齊，顯著提升時空定位的準确性與可解釋性。
相關論文已被 CVPR 2025 接收，代碼已開源。
事情是這樣的——
近年來随着多模态大模型的發展，視頻問答（VideoQA）任務——要求模型根據視頻内容回答自然語言問題——性能顯著提升。
然而，現有模型往往依賴訓練數據中的統計偏差（如語言關鍵詞與答案的虛假關聯），而非真正的因果視覺證據，導致回答缺乏可解釋性。
舉個栗子～
例如下圖中，當視頻中出現 " 嬰兒 " 和 " 女性 " 時，模型可能僅因二者高頻共現而給出答案，卻忽略真實因果事件（如 " 女性抱起嬰兒 "）。
也就是説，雖然結果答對了，但過程中模型采納的是錯誤的視覺依據。
針對類似情況，為提供可靠的視覺證據支持，視頻問答定位（VideoQG）任務應運而生，要求模型同時輸出答案及其對應視頻片段的時間區間。
但現有方法面臨兩大挑戰：
多模态偏差：視頻與語言中的混淆因素（如高頻關鍵詞、短時視覺特征）導致模型學習虛假關聯；
弱監督限制：标注視頻片段成本高昂，現有模型依賴視頻問答（VideoQA）的弱監督信号，難以精準定位。
以上就是 CRA 框架誕生的背景。
此外，中山大學 HCP-Lab 團隊已将關鍵的因果模塊集成到開源因果框架 CausalVLR 中。
該框架是一個基于 PyTorch 的 python 開源工具包，用于因果關系發現，因果推理，為各種視覺語言推理任務實現最先進的因果學習算法。
三模塊驅動因果推理
現有方法常因依賴于訓練數據中的統計偏差，導致模型無法準确識别與問題相關的因果視覺場景，進而產生不準确的時空定位結果。
為克服這一問題，CRA 框架通過三個核心模塊實現了從噪聲抑制、特征對齊到因果關系建模的全流程優化。
該框架在 NextGQA 和 STAR 數據集上的實驗結果表明，CRA 能夠顯著提升模型的時空定位能力和因果推理的準确性，為視頻問答定位任務提供了更可靠的技術解決方案。
三個核心模塊具體展開如下：
GSG：抑制噪聲，聚焦關鍵幀
第一個，高斯平滑定位模塊（GSG）。
GSG 模塊通過自适應高斯濾波去噪，精準估計視頻片段的時間間隔。
它的核心功能，是基于跨模态注意力估計時間區間，通過自适應高斯濾波去噪，生成魯棒的視頻片段特征。
技術亮點主要有仨：
1、跨模态注意力計算：利用 CLIP 視頻特征與 RoBERTa 語言特征的互動，生成初始時間注意力權重；
2、自适應高斯濾波：引入可學習參數的高斯核，抑制時序上的不穩定噪聲（如無關背景幀），突出關鍵事件區網域（下圖）；
3、動态阈值分割：根據平滑後的注意力分布，動态截取高響應區間，提升定位精度。
消融實驗顯示，移除高斯濾波（GSG w/o GS）會導致 [email protected] 下降 2.2%（下表），證明其對噪聲抑制的關鍵作用。
△GSG 消融實驗，其中 SGG w/o GS †表示 GSG 在訓練過程中具有高斯平滑，但在推理過程中沒有高斯平滑 CMA：弱監督下的雙向對齊
第二個，交叉模态對齊模塊（CMA）。
CMA 模塊利用雙向對比學習，增強視頻與問答特征的對齊效果。
它的核心功能，是通過雙向對比學習，對齊視頻片段特征與問答特征，增強跨模态一致性。
技術亮點有二：
雙向 InfoNCE 損失：從同一批次中采樣正 / 負樣本，分别對齊視覺→語言和語言→視覺特征（公式 1-2）；
動态難樣本挖掘：優先選擇語義差異大的負樣本，迫使模型關注細粒度因果關聯。
移除 CMA 模塊後，Acc@GQA 下降 2%，[email protected] 下降 2.2%（下表），凸顯其對弱監督訓練的重要性。
ECI：切斷虛假因果鏈
第三個，顯式因果幹預模塊（ECI）。
ECI 模塊則通過前門和後門幹預，消除多模态偏差，提升因果一致性。
它的核心功能，是針對視覺和語言模态分别設計前門幹預與後門幹預，消除多模态混淆因素。
語言後門幹預：解析問答語義結構圖（如主謂賓關系），阻斷關鍵詞與答案的虛假路徑；
視覺前門幹預：以視頻片段為中介變量，通過特征聚類模拟混雜因子分布，重構因果鏈（公式 3-4）。
實驗結果顯示，在 NextGQA 數據集上，去除了 Causal 模塊後相對于 CRA 在 Acc@GQA 造成了 1.2% 的性能損失。
實驗結果：多維度性能領先
在 NextGQA 數據集中，CRA 以 18.2% 超越 Temp [ CLIP ] （NG+）2.2%，且在使用 FrozenBiLM 大模型時仍保持優勢。
此外，[email protected] 達 28.5%，顯著優于基于 LLM 偽标注的 TimeCraft（27.8%），證明其無需額外數據的高效性。
在 STAR 數據集中，CRA 分别以 26.8% 與 27.5% 的 Acc@GQA 分數在 Temp [ CLIP ] 和 FrozenBiLM 的 Backbone 下領先 NG+。
而通過統計弱監督視頻定位的分布情況，研究團隊可以觀察到 NG+ 局限于小區間的估計，而 CRA 所估計的區間與真實分布情況更符合。
綜上，CRA 框架通過跨模态因果對齊，首次在弱監督條件下實現了視頻問答定位的高精度與可解釋性。
目前，CRA 框架代碼已開源。
研究團隊表示，CRA 為視頻理解提供了新的因果推理範式，或将推動自動駕駛、智能監控等領網域的可信 AI 應用。
論文地址：
https://arxiv.org/abs/2503.07635
CRA-GQA 倉庫：
https://github.com/WissingChen/CRA-GQA
因果框架倉庫：
https://github.com/HCPLab-SYSU/CausalVLR
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
關于CVPR‘25跨模态因果對齊，讓機器更懂視覺證據就分享完了，您有什麼想法可以聯系小編(嬴覓晴)。