高馬爾今天小編(郜萌運)要和大家分享的是視覺定位新範式！清華團隊推出Migician，支持任意形式多圖定位,歡迎閲讀~
一個眼神鎖定你！多模态視覺定位能力更新——
由單張影像拓展至多影像應用場景。
比如，在復雜的相冊中自動識别出 Luigi 并在第二張圖中找到他，或是根據鋼鐵俠劇照自動在合影中找到對應的演員唐尼。
Q：Image-1 is the photo album of someone in Image-2, please find and locate this person.
回答： ( 371,146 ) , ( 695,812 )
又或者根據第一張圖，找到第二張圖同型号黑色款的車。
Q：Where did I park my car? It is the same type shown in the first image, except it is black in color.
結果它依舊回答出來了。
The car you parked is located at the entrance of the parking garage at ( 500,575 ) , ( 650,735 ) .
還能挖掘不同影像之間的聯系，實現精準定位。
來自清華 NLP 孫茂松團隊、北京交通大學、華中科大聯合提出了多模态視覺定位新範式——
Migician，作為第一個支持任意形式多圖定位（Multi-image Grounding，MIG）的多模态模型，為此還設計了一個大規模訓練數據集 MGrounding-630k。
多模态 Grounding 新範式
多模态大模型（typo Multimodal Large Language Model）的視覺定位（Visual Grounding）任務通過接受任意形式的自然語言描述作為查詢，能夠在影像中精準定位目标物體。
當前的 Grounding 任務主要關注于單張影像，只能對單張影像進行目标物體的檢測與定位，這極大的限制了 Grounding 任務在現實生活場景中的任務。
以具身智能場景為例，機器人需要融合多視角影像信息進行物體識别定位以完成抓取動作；或者今天我想找我的車停哪了，這時我或許就需要一張我自己車輛的照片作為輸入查詢，在停車場的多張監控影像中進行查找與定位；
為此，THUNLP 團隊聯合北交大、華中科大提出多圖視覺定位新範式，通過構建包含數十種任務的系統性框架，将視覺定位能力拓展至多影像應用場景。
随着輸入影像數目的增加，相應的視覺信息激增，豐富的語義信息和影像内容天然地孕育了多樣化的 Grounding 形式和可能性。
按照是否需要明确指代目标物體，研究團隊将多圖定位任務分為 Spontaneous Grounding 和 Referential Grounding 兩種：
前者依托不同影像中天然潛在的聯系（如影像中變化了的物體或者影像中相同的物體），讓模型自動識别并準确定位；
後者得益于多張影像帶來的形式上的擴展和語義信息上的豐富，可以支持不同形式的指代描述，如 Visual Reference，Textual Reference 或者融合兩種模态信息進行定位。
值得注意的是，研究團隊提出的多圖視覺定位潛在地為許多任務提供了一種通用範式，如 Object Tracking, Vehicle Reidentification, Person Reidentification, Partial Graph Matching 等等任務，都可以放在 MLLM 統一的框架中進行端到端的解決。此外，這種多圖形式内在地支持各種類型的影像，可以避免此前一些專門用于處理影像查詢（Image Query）的冗餘視覺模塊設計，如 VisionLLM v2, Griffon v2 等，為 MLLM 提供一個更通用和更統一的架構。
CoT 推理框架
考慮到當前的主流多模态大模型尚未具備多圖定位的能力，但是它們的通用感知與理解能力持續發展，展現出了對于長序列場景越來越強的理解能力，如多圖和長視頻，且自身通常已經具備不錯的單圖 Grounding 能力。
于是，研究團隊首先讨論了當前模型能否充分調用其已具備的單圖定位能力和多圖通用理解能力，以 CoT（Chain-of-Thought）的多步推理方式逐步解決此問題。
具體的，原本的多圖 Grounding 任務可被拆解為以下兩步：
Step1 多圖理解：輸入為多張影像，模型綜合分析所有影像，得出目标物體的文本指代描述，如上圖 ( c ) 中，" 上方有粉色花朵的木桶 "。
Step2 單圖定位：以輪詢的方式輸入單張影像，模型利用上一步得出的結論以及自身的單圖定位能力在這些單張影像上進行視覺定位。
實驗結果表明，這種分步推理的方式确實具有一定的有效性，但是局限性仍舊存在：
當視覺信息過于抽象或者復雜時，文本描述難以充分反映該影像内容的全貌，如上圖中 ( c ) ，原圖中有多個符合條件的木桶，簡單的指代：" 上方有粉色花朵的木桶 " 不足以充分地指定目标物體。
當推理過程過于復雜，在各個推理步上的出錯概率也會相應增加，最終造成整個框架表現的方差較高，且總推理時長大幅增加。
下圖中更多例子進一步展現了這種 CoT 架構的局限性，充分體現出了一個端到端（end-to-end）解決方案的必要性。
模型訓練與數據構建
針對于 MLLM 多圖定位能力的缺陷和 CoT 框架的局限性，研究團隊提出了Migician，作為第一個支持任意形式多圖定位（Multi-image Grounding，MIG）的多模态模型。
為了打造一個強大的多圖視覺定位模型，研究團隊設計了一個大規模訓練數據集MGrounding-630k，包含了從現有數據集中整合改造的數據和利用模型與人工構建的高質量指令微調數據。
利用這個數據集，旨在打造一個全面的，能支持豐富任務形式的 MIG 任務的模型。
借助于該數據，研究團隊基于 Qwen2-VL-7B，采用了兩階段的訓練方式：
第一階段：主要采用從現有數據集中改造和設計的數據，并混入了多圖理解數據、單圖理解數據和單圖定位訓練數據。該階段旨在從零構建模型的多圖定位能力。
第二階段：主要采用高質量的 MIG 指令微調數據，并混入第一階段四種類型的數據以防止模型遺忘。該階段旨在進一步精細化模型的 MIG 能力，增強其靈活性與泛化性。
同時，為了客觀評估模型的 MIG 能力，研究團隊還推出了一個新的評估基準：MIG-Bench，包含 10 種不同任務，包含了來自人工收集的，手動拍攝的和從現有數據中改造的不同影像，共包含 4000+ 的測試樣例和近 6000 張影像。
該評估基準經過精心的人工設計，校驗與篩選，充分保證了其問題正确性與整體的質量。
實驗結果
在最終的結果上，該兩階段的訓練方式和提出的 MGrounding-630k 數據對模型 MIG 能力的提升十分有效，在所有十個任務上大幅超越同規模模型以及 70B 規模的模型。
此外，不論是在多圖理解的評估基準還是單圖的能力評測上，模型都表現出了出色的通用能力。
在多圖基準 MuirBench, MIBench 和 MMIU 上取得 SOTA 效果，其單圖能力相比于此前的多圖模型也有明顯的優勢。
同時，為了深入探讨專用能力與通用能力間的影響，研究團隊采用了相應的數據子集，分别訓練了不同的模型，讨論了不同部分數據分别的作用，最終發現混合多圖定位數據與通用數據對最終性能的提升最大，多圖細粒度定位對于多圖通用能力确實存在一定幫助。
在傳統的單圖視覺定位上，Migician 的 Grounding 能力也有一定的持續增益。
不同推理方式的讨論
前文的 CoT 框架采用的是單圖輪詢推理，這種設定能較好适配原始模型的單圖視覺定位能力，但是該方式會造成很大的推理時間成本，對于 N 張影像輸入，要額外進行 N+1 次推理。那麼我們能否在多圖的語境下，直接通過 prompt 口頭告訴模型：" 嘿！你只用看第二張圖就好啦 ~"，以這種方式來調用模型單圖定位能力和多圖理解能力，從而實現多步推理呢？
在下表中，研究團隊驗證了這種 mCoT 的有效性，但是其性能提升較為羸弱，普遍低于單圖輪詢 CoT 的效果，體現出模型原本的 Grounding 能力不能很好适配多圖場景。
單圖高分辨率任務
最後，論文還有一個比較有趣的發現。在視覺 token 的長度上，多圖和高分辨率單圖有很大的相似性，那麼 Migician 對于多圖的長 token 序列的處理能力能否遷移到高分辨率單圖上呢？為了驗證這個想法，作者們選取了 V*Bench，它關注于在高分辨率圖片中對微小物體的視覺搜索與屬性判斷。
在結果上，當 Migician 以零樣本泛化到該評估基準上時，便展現出了出色的性能；其次，當他們把單張高清影像裁為多張子圖，轉換為多圖任務時，Migician 能實現進一步的性能提升，展現出了良好的泛化性。
除了前面幾個例子外，它對于多視角的考驗，也能輕松應對，Migician 直接識别并定位出現在了每張影像裏的人，
Migician 精準識别并成功定位為穿灰衣服的人，直接正确輸出他在所有照片裏的位置坐标。
Image-1: ( 314,204 ) , ( 404,552 ) . Image-2: ( 698,231 ) , ( 783,487 ) . Image-3: ( 918,157 ) , ( 999,618 ) . Image-4: ( 271,273 ) , ( 399,633 ) .
最後總結，研究團隊将視覺定位（Visual Grounding）任務全面地拓展到了多張影像的場景下，得益于多張影像帶來的豐富視覺語義信息，多圖 Grounding 也誕生了各種豐富多樣的可能任務形式，如目标追蹤，找不同，多視角定位等。
為了賦予當前模型解決多圖定位的能力，研究團隊首先探究了 CoT 的推理方式，并暴露出了這種非端到端系統的局限性。
為此，他們進一步提出了一個大規模的訓練數據集，全面的 MIG 評估基準以及強大的多圖定位模型 Migician，為多圖定位邁出了堅實的一步。
論文地址：
https://arxiv.org/abs/2501.05767
項目代碼：
https://github.com/thunlp/Migician
項目頁面：
https://migician-vg.github.io/
— 完 —
投稿請工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
關于視覺定位新範式！清華團隊推出Migician，支持任意形式多圖定位就分享完了，您有什麼想法可以聯系小編(郜萌運)。