單圖直出CAD工程檔案！CVPR 2025新研究解決AI生成3D模型“不可編輯”痛點

今天小編(佼昌翰)要和大家分享的是單圖直出CAD工程檔案！CVPR 2025新研究解決AI生成3D模型“不可編輯”痛點,歡迎閱讀~

單張圖直接就能生成可編輯的 CAD 工程檔案！

來自魔芯科技、NTU 等的研究人員提出圖生 3D 新框架，名為CADCrafter。

CADCrafter 和過去得到網格（Mesh）或 3D 高斯潑濺（3DGS）的圖生 3D 方法大不相同。

不管是零件渲染圖，還是拍攝的 3D 打印零件，甚至是随意拍攝的日常生活中的物體，CADCrafter 均能夠生成的對應的原始 CAD 檔案（以 CAD 指令的方式表示，包括表征每個幾何特征的指令和對應參數）。

并且通過 CAD 編譯器進行編譯，可得到直接生產加工的 3D 檔案（如 STP 格式的檔案）。

用戶可以通過編輯 CAD 指令實現對物體的編輯（下圖右）。

實驗中，從落地實用性、表面質量等特點來看，CADCrafter 相較于目前的圖生 3D 方法均有顯著提升。

這項研究的作者來自 KOKONI 3D（魔芯科技）、新加坡南洋理工大學、新加坡 A*STAR、西湖大學、德州大學奧斯汀分校和浙江大學。

通訊作者為魔芯科技創始人 Tianrun Chen 和新加坡 A*STAR 研究科學家 Fayao Liu。

論文已被 CVPR 2025 接收。

以下是更多細節。

從影像到高質量 CAD 模型的端到端生成流程

在現實世界中，大多數人造物體最初都是通過計算機輔助設計（CAD）軟體以參數化的方式建模的。

然而，如今大熱的 3D AI 生成内容（3D AIGC）技術，例如 TRELLIS 等方法，大多仍依賴于 " 網格模型 "（Mesh）作為基礎。

問題也随之而來。

相比 CAD 的參數化設計，網格模型不僅難以理解，更難精确編輯。用戶想要修改一個小部件的尺寸？在 CAD 中只需調整參數，在網格模型中卻可能要大動幹戈。

而且，這些 AI 生成的網格模型表面常常不夠光滑，邊緣也不夠銳利，尤其是使用像 Marching Cubes 這樣的算法從隐式函數轉換生成網格時，幾何質量更容易受到影響。

這種粗糙不清的表面，在需要高質量渲染或動畫的應用中，顯得格外捉襟見肘。

相比之下，CAD 的參數化模型則提供了極高的可控性和精度。它們允許用戶直接通過參數調整幾何形狀，實現快速且精準的修改，大大提升了設計的靈活性與可解釋性。

CADCrafter 就率先嘗試了從 Image-to-Mesh 到 Image-to-CAD 的範式轉變。

方法概述如下：

1. 基于 VAE 與 Diffusion Transformer 的隐空間生成框架

CADCrafter 采用了一種結合 VAE 與擴散模型的兩階段生成架構。

首先，團隊訓練了一個變分自編碼器（VAE），将 CAD 指令序列映射到一個結構化的隐空間。

接着，在該隐空間中引入條件擴散生成過程：基于 Diffusion Transformer（DiT）架構，訓練一個擴散生成大模型，輸入條件為用戶提供的影像，從而實現影像引導下的 CAD 隐空間采樣與生成。

2. 蒸餾策略：從多視圖到單視圖的高效建模轉移

考慮到從單張影像重建 CAD 模型的挑戰性，團隊首先構建了一個多視圖輸入的 DiT 生成模型，以更穩定地學習影像到 CAD 空間的映射關系。

随後，通過引入蒸餾機制（使用 Ldistill 損失），将多視圖模型的知識遷移到單視圖模型中，從而實現了僅基于單張影像進行高質量 CAD 生成的能力。

3. 引入基于 DPO 的可編譯性代碼檢查機制

在 CAD 生成過程中，CAD 指令還需經過 CAD 内核（CAD Kernel）解析，才能生成可視的 3D 模型。

然而，若生成指令存在語義錯誤，例如不閉合曲線等問題，模型構建将直接失敗。

為解決這一關鍵挑戰，作者設計了一個代碼合理性判别模塊，用于判斷生成的 CAD 代碼是否能夠被成功編譯。

作者進一步采用 DPO（Direct Preference Optimization）損失，引導模型傾向于生成更可編譯、幾何結構完整的 CAD 指令，從而顯著提升最終 3D 模型生成的成功率與實用性。

渲染零件、拍攝的 3D 打印零件等均能重建

研究團隊選取多個标準 CAD 模型，使用 KOKONI SOTA 3D 印表機将其打印成實物，并通過拍照獲取影像輸入。

實驗表明，CADCrafter 能夠基于單張影像，準确生成結構清晰、符合幾何特征的 CAD 建模指令，其生成效果在細節還原度方面優于現有方法。

拍攝日常生活中的物體，CADCrafter 也能直接生成其設計制造時可用的工程檔案，其表面平面度、棱角等細節均符合物體被生產加工制造時的特點（良好表面、尺寸和幾何特征均可編輯）。

這一成果不僅展示了 CADCrafter 在建模精度上的突破，也展現了其在實際應用場景中的可行性。

例如，在制造與維修領網域，工程師可通過拍攝現有零件照片，快速生成可編輯的 CAD 模型，進而加速原型設計或零件重建流程。

團隊相信，CADCrafter 為 AI 輔助工業設計提供了新的解決方案，其從 Image-to-Mesh 到 Image-to-CAD 的範式轉變，有助于推動影像驅動的 AI 3D 建模向真正可落地應用邁出關鍵一步。

論文鏈接：https://arxiv.org/pdf/2504.04753

一鍵三連「點贊」「轉發」「小心心」

歡迎在評論區留下你的想法！

—  完  —

學術投稿請于工作日發郵件到：

ai@qbitai.com

标題注明【投稿】，告訴我們：

你是誰，從哪來，投稿内容‍

附上論文 / 項目主頁鏈接，以及聯系方式哦

我們會（盡量）及時回復你

點亮星标

科技前沿進展每日見

關于單圖直出CAD工程檔案！CVPR 2025新研究解決AI生成3D模型“不可編輯”痛點就分享完了，您有什麼想法可以聯系小編(佼昌翰)。