今天小編(集玲琳)要和大家分享的是CVPR 2025:無需物理引擎,一個模型搞定影像渲染與分解,歡迎閲讀~
無需物理引擎,單個模型也能實現 " 渲染 + 逆渲染 " 了!
在計算機圖形和視覺領網域,渲染是指将 3D 模型變成逼真的 2D 圖片,逆渲染則是從 2D 圖片分析出 3D 模型的各種屬性(如材質、光照等)。
現在,從材質分解(逆渲染)——材質編輯——物體渲染的整個流程,都被統一到了一個框架中,且在性能方面達到了新 SOTA。
該研究出自港科大廣州以及趣丸科技,他們首創雙流擴散框架 Uni-Renderer,将渲染(生成影像)與逆渲染(分解材質、光照、幾何)統一到單一擴散框架,實現 " 生成即分解 " 的閉環能力。
相關成果已被 CVPR 2025 接收,代碼與數據全面開源。
研究團隊表示,這一成果未來将重塑影視、遊戲、AR/VR 等產業的視覺生成管線。
首創雙流擴散框架
正如開頭提到,渲染是通過光線追蹤或路徑追蹤,生成高質量的影像;逆渲染是在 RGB 影像中提取出對象屬性,比如金屬度、粗糙度以及光照細節。
傳統方法需獨立建模訓練渲染器與逆渲染器,計算成本高效率低泛化差,兩個過程也缺乏聯系,精度和屬性分解效果都有限。
而 Uni-Renderer 的雙流擴散架構将兩個過程建模為雙條件生成任務,生成時以材質、光照為條件輸出影像,分解時以影像為條件反推内在屬性:
其中渲染流負責生成 RGB 影像:以 VAE 編碼材質、法線、光照為條件,通過擴散過程生成影像,支持動态調整粗糙度 / 金屬值(如 " 光滑棒球 " 秒變 " 金屬質感 ")。
而逆渲染流負責處理内在屬性:以影像為輸入,通過噪聲預測網絡分解屬性, 并在網絡内部進行跨流互動,實現信息傳遞融合優化協同。
此外,團隊還采用了差異化的 timestep 調度策略,通過不同的 timestep 使模型區分渲染和逆渲染的映射關系,讓這兩者能更好協同。
最後,鑑于傳統逆渲染因 " 材質 - 光照 - 幾何 " 耦合性導致分解模糊。
因此,他們将逆渲染分解得到的屬性,再次輸入到渲染模塊進行再渲染,并借助循環約束确保分解結果可重新生成一致影像,徹底告别 " 分解即失真 "。
實測對比,性能碾壓 SOTA
1、材質編輯
對比 Subias(過曝)、InstructPix2Pix(背景錯誤),Uni-Renderer 精準控制高光與漫反射,如下圖中 " 金屬橙子 " 表面反射環境光照,細節逼真。
2、重光照
如下圖所示,輸入單張影像,直接替換環境光為 " 夕陽 / 霓虹 ",模型自動調整漫反射與鏡面反射,光影過渡自然,超越 NvDiffRec 的生硬效果。
3、真實場景
下圖中," 水壺 " 逆渲染成功解析高頻環境光,金屬質感與粗糙度誤差僅 3%。
概括而言,通過在生成階段,以材質、光照為條件輸出影像;分解階段,以影像為條件反推内在屬性,效率提升了200%。
同時,Uni-Renderer 強制内在屬性與影像的一致性,在公開測試集上材質估計誤差降低 40%,光照分解 PSNR 提升 30%。
另外,研究基于 Objaverse 構建業界最大規模多材質合成數據集,涵蓋 20 萬 3D 對象、121 種材質 / 光照組合,支持高分辨率(1024 × 1024)訓練。模型在未見過的真實場景中(如金屬水壺、手機支架)仍能精準分解高光、粗糙度與復雜光照。
在渲染任務中,PSNR 達30.72(對比基線 28.09),逆渲染任務中,材質估計 MSE 僅0.118(優化方法 0.316);重光照效果超越 GaussianShader 等方案,真實感拉滿。
開源即用
目前團隊對 Uni-renderer 同步進行了開源,包括:
代碼庫:支持一鍵訓練 / 推理,兼容 PyTorch 生态;
合成數據集:20 萬對象 + 百萬級材質 - 光照組合,涵蓋數理化生多領網域;
預訓練模型:即插即用于遊戲資產生成、影視後期、工業設計等場景。
這項研究的作者為陳知非 , 許添碩以及葛汶杭,他們是來自于香港科技大學(廣州)ENVISION 實驗室的博士生,師從陳穎聰教授。
(ENVISION 實驗室專注于視覺生成模型的研究,致力于探索其基本原理,以提高模型的質量、效率、多樣性和可控性。)
小結一下,Uni-Renderer 的提出,标志着視覺生成與解析從 " 分而治之 " 邁入 " 統一智能 " 時代。
其雙流架構與循環約束機制,為跨任務聯合優化提供了全新範式。
未來,團隊将進一步融合真實數據,攻克復雜動态場景,讓人工智能成為 " 全能視覺工程師 "。
論文鏈接:
https://arxiv.org/pdf/2412.15050
GitHub 代碼:
https://yuevii.github.io/unirenderer-page/
實驗室官網:https://envision-research.hkust-gz.edu.cn/index.html#news
— 完 —
學術投稿請于工作日發郵件到:
标題注明【投稿】,告訴我們:
你是誰,從哪來,投稿内容
附上論文 / 項目主頁鏈接,以及聯系方式哦
我們會(盡量)及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!
關于CVPR 2025:無需物理引擎,一個模型搞定影像渲染與分解就分享完了,您有什麼想法可以聯系小編(集玲琳)。