高马尔今天小编(佼昌翰)要和大家分享的是单图直出CAD工程檔案！CVPR 2025新研究解决AI生成3D模型“不可编辑”痛点,欢迎阅读~
单张图直接就能生成可编辑的 CAD 工程檔案！
来自魔芯科技、NTU 等的研究人员提出图生 3D 新框架，名为CADCrafter。
CADCrafter 和过去得到网格（Mesh）或 3D 高斯泼溅（3DGS）的图生 3D 方法大不相同。
不管是零件渲染图，还是拍摄的 3D 打印零件，甚至是随意拍摄的日常生活中的物体，CADCrafter 均能够生成的对应的原始 CAD 檔案（以 CAD 指令的方式表示，包括表征每个几何特征的指令和对应参数）。
并且通过 CAD 编译器进行编译，可得到直接生产加工的 3D 檔案（如 STP 格式的檔案）。
用户可以通过编辑 CAD 指令实现对物体的编辑（下图右）。
实验中，从落地实用性、表面质量等特点来看，CADCrafter 相较于目前的图生 3D 方法均有显著提升。
这项研究的作者来自 KOKONI 3D（魔芯科技）、新加坡南洋理工大学、新加坡 A*STAR、西湖大学、德州大学奥斯汀分校和浙江大学。
通讯作者为魔芯科技创始人 Tianrun Chen 和新加坡 A*STAR 研究科学家 Fayao Liu。
论文已被 CVPR 2025 接收。
以下是更多细节。
从影像到高质量 CAD 模型的端到端生成流程
在现实世界中，大多数人造物体最初都是通过计算机辅助设计（CAD）軟體以参数化的方式建模的。
然而，如今大热的 3D AI 生成内容（3D AIGC）技术，例如 TRELLIS 等方法，大多仍依赖于 " 网格模型 "（Mesh）作为基础。
问题也随之而来。
相比 CAD 的参数化设计，网格模型不仅难以理解，更难精确编辑。用户想要修改一个小部件的尺寸？在 CAD 中只需调整参数，在网格模型中却可能要大动干戈。
而且，这些 AI 生成的网格模型表面常常不够光滑，边缘也不够锐利，尤其是使用像 Marching Cubes 这样的算法从隐式函数转换生成网格时，几何质量更容易受到影响。
这种粗糙不清的表面，在需要高质量渲染或动画的应用中，显得格外捉襟见肘。
相比之下，CAD 的参数化模型则提供了极高的可控性和精度。它们允许用户直接通过参数调整几何形状，实现快速且精准的修改，大大提升了设计的灵活性与可解释性。
CADCrafter 就率先尝试了从 Image-to-Mesh 到 Image-to-CAD 的范式转变。
方法概述如下：
1. 基于 VAE 与 Diffusion Transformer 的隐空间生成框架
CADCrafter 采用了一种结合 VAE 与扩散模型的两阶段生成架构。
首先，团队训练了一个变分自编码器（VAE），将 CAD 指令序列映射到一个结构化的隐空间。
接着，在该隐空间中引入条件扩散生成过程：基于 Diffusion Transformer（DiT）架构，训练一个扩散生成大模型，输入条件为用户提供的影像，从而实现影像引导下的 CAD 隐空间采样与生成。
2. 蒸馏策略：从多视图到单视图的高效建模转移
考虑到从单张影像重建 CAD 模型的挑战性，团队首先构建了一个多视图输入的 DiT 生成模型，以更稳定地学习影像到 CAD 空间的映射关系。
随后，通过引入蒸馏机制（使用 Ldistill 损失），将多视图模型的知识迁移到单视图模型中，从而实现了仅基于单张影像进行高质量 CAD 生成的能力。
3. 引入基于 DPO 的可编译性代码检查机制
在 CAD 生成过程中，CAD 指令还需经过 CAD 内核（CAD Kernel）解析，才能生成可视的 3D 模型。
然而，若生成指令存在语义错误，例如不闭合曲线等问题，模型构建将直接失败。
为解决这一关键挑战，作者设计了一个代码合理性判别模块，用于判断生成的 CAD 代码是否能够被成功编译。
作者进一步采用 DPO（Direct Preference Optimization）损失，引导模型倾向于生成更可编译、几何结构完整的 CAD 指令，从而显著提升最终 3D 模型生成的成功率与实用性。
渲染零件、拍摄的 3D 打印零件等均能重建
研究团队选取多个标准 CAD 模型，使用 KOKONI SOTA 3D 印表機将其打印成实物，并通过拍照获取影像输入。
实验表明，CADCrafter 能够基于单张影像，准确生成结构清晰、符合几何特征的 CAD 建模指令，其生成效果在细节还原度方面优于现有方法。
拍摄日常生活中的物体，CADCrafter 也能直接生成其设计制造时可用的工程檔案，其表面平面度、棱角等细节均符合物体被生产加工制造时的特点（良好表面、尺寸和几何特征均可编辑）。
这一成果不仅展示了 CADCrafter 在建模精度上的突破，也展现了其在实际应用场景中的可行性。
例如，在制造与维修领網域，工程师可通过拍摄现有零件照片，快速生成可编辑的 CAD 模型，进而加速原型设计或零件重建流程。
团队相信，CADCrafter 为 AI 辅助工业设计提供了新的解决方案，其从 Image-to-Mesh 到 Image-to-CAD 的范式转变，有助于推动影像驱动的 AI 3D 建模向真正可落地应用迈出关键一步。
论文链接：https://arxiv.org/pdf/2504.04753
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
学术投稿请于工作日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点亮星标
科技前沿进展每日见
关于单图直出CAD工程檔案！CVPR 2025新研究解决AI生成3D模型“不可编辑”痛点就分享完了，您有什么想法可以联系小编(佼昌翰)。