| 
单张图径直就能生成可剪辑的 CAD 工程文献！来自魔芯科技、NTU 等的征询东谈主员提议图生 3D 新框架撸撸社，名为 CADCrafter。 CADCrafter 和往日得到网格（Mesh）或 3D 高斯泼溅（3DGS）的图生 3D 法子大不沟通。 无论是零件渲染图，还是拍摄的 3D 打印零件，甚而是汗漫拍摄的无边生存中的物体，CADCrafter 均大要生成的对应的原始 CAD 文献（以 CAD 辅导的方式暗意，包括表征每个几何特征的辅导和对应参数）。 而况通过 CAD 编译器进行编译，可得到径直坐褥加工的 3D 文献（如 STP 形状的文献）。用户不错通过剪辑 CAD 辅导达成对物体的剪辑（下图右）。 
实验中，从落地实用性、名义质料等特色来看，CADCrafter 相较于现在的图生 3D 法子均有显耀升迁。
这项征询的作家来自 KOKONI 3D（魔芯科技）、新加坡南洋理工大学、新加坡 A*STAR、西湖大学、德州大学奥斯汀分校和浙江大学。通信作家为魔芯科技首创东谈主 Tianrun Chen 和新加坡 A*STAR 征询科学家 Fayao Liu。论文已被 CVPR 2025 接管。
以下是更多细节。 从图像到高质料 CAD 模子的端到端生成过程在实验天下中，大巨额东谈主造物体领先王人是通过筹划机赞助设想（CAD）软件以参数化的方式建模的。 关联词，如今大热的 3D AI 生成内容（3D AIGC）技巧，举例 TRELLIS 等法子，大多仍依赖于“网格模子”（Mesh）看成基础。 问题也随之而来。 比较 CAD 的参数化设想，网格模子不仅难以意会撸撸社，更难精确剪辑。用户思要修改一个小部件的尺寸？在 CAD 中只需调理参数，在网格模子中却可能要大动战役。 而且，这些 AI 生成的网格模子名义无间不够光滑，角落也不够敏感，尤其是使用像 Marching Cubes 这么的算法从隐式函数退换生成网格时，几何质料更容易受到影响。 这种粗造不清的名义，在需要高质料渲染或动画的欺骗中，显得相称衣衫破烂。 比较之下，CAD 的参数化模子则提供了极高的可控性和精度。它们允许用户径直通过参数调理几何形状，达成快速且精确的修改，大大升迁了设想的天真性与可证据注解性。 CADCrafter 就率先尝试了从 Image-to-Mesh 到 Image-to-CAD 的范式改换。 法子玄虚如下：
1. 基于 VAE 与 Diffusion Transformer 的隐空间生成框架CADCrafter 承袭了一种勾通 VAE 与扩散模子的两阶段生成架构。 首先，团队试验了一个变分自编码器（VAE），将 CAD 辅导序列映射到一个结构化的隐空间。 接着，在该隐空间中引入条款扩散生成过程：基于 Diffusion Transformer（DiT）架构，试验一个扩散生成大模子，输入条款为用户提供的图像，从而达成图像训诲下的 CAD 隐空间采样与生成。 2. 蒸馏政策：从多视图到单视图的高效建模转化商量到从单张图像重建 CAD 模子的挑战性，团队首先构建了一个多视图输入的 DiT 生成模子，以更融会地学习图像到 CAD 空间的映射联系。 随后，通过引入蒸馏机制（使用 Ldistill 升天），将多视图模子的常识搬动到单视图模子中，从而达成了仅基于单张图像进行高质料 CAD 生成的才调。 3. 引入基于 DPO 的可编译性代码查验机制在 CAD 生成过程中，CAD 辅导还需经过 CAD 内核（CAD Kernel）理解，才调生成可视的 3D 模子。 关联词，若生成辅导存在语义失误，举例不闭合弧线等问题，模子构建将径直失败。 为处理这一关节挑战，作家设想了一个代码合感性判别模块，用于判断生成的 CAD 代码是否大要被奏凯编译。 作家进一步承袭 DPO（Direct Preference Optimization）升天，训诲模子倾向于生成更可编译、几何结构完好的 CAD 辅导，从而显耀升迁最终 3D 模子生成的奏凯率与实用性。 渲染零件、拍摄的 3D 打印零件等均能重建征询团队中式多个门径 CAD 模子，使用 KOKONI SOTA 3D 打印机将其打印成什物，并通过拍照赢得图像输入。 拳交av实验标明，CADCrafter 大要基于单张图像，准确生成结构明显、相宜几何特征的 CAD 建模辅导，其生奏凯果在细节规复度方面优于现存法子。
拍摄无边生存中的物体，CADCrafter 也能径直生成其设想制造时可用的工程文献，其名义平面度、棱角等细节均相宜物体被坐褥加工制造时的特色（素雅无比名义、尺寸和几何特征均可剪辑）。
这一效果不仅展示了 CADCrafter 在建模精度上的冲破，也展现了其在本体欺骗场景中的可行性。 举例，在制造与维修边界，工程师可通过拍摄现存零件像片，快速生成可剪辑的 CAD 模子，进而加快原型设想或零件重建过程。 团队确信，CADCrafter 为 AI 赞助工业设想提供了新的处理决策，其从 Image-to-Mesh 到 Image-to-CAD 的范式改换，有助于鼓动图像脱手的 AI 3D 建模向真是可落地欺骗迈出关节一步。 论文蚁合：https://arxiv.org/pdf/2504.04753 本文来自微信公众号：量子位（ID：QbitAI），作家：CADCrafter 团队，原标题《单图直出 CAD 工程文献！CVPR 2025 新征询处理 AI 生成 3D 模子“不成剪辑”痛点｜魔芯科技 NTU 等出品》 告白声明：文内含有的对外跳转蚁合（包括不限于超蚁合、二维码、口令等款式）撸撸社，用于传递更多信息，简洁甄选时间，截止仅供参考，IT之家所有著述均包含本声明。
|
