当3D建模变成了写代码这件事
(来源:科技行者)
你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?
这听起来有点反直觉。我们习惯的3D建模是Blender里拉面、挤出、贴材质,是CAD软件里画草图、拉伸、倒角,全程靠眼睛看、靠手调。但如果换个思路,让3D内容从一开始就是一段可执行的程序,会发生什么?
这正是一群来自南加州大学、耶鲁大学、罗切斯特大学等机构的研究者在做的事情。他们搭了一整套名为3DCodeVerse的系统,核心想法很直接:既然代码可以编辑、复用、检查、调试,那3D内容为什么不能也这样对待?
**用代码写出来的3D世界,天生自带"可验证"的属性。**
这句话听起来简单,但它背后牵扯到一个长期被忽视的痛点。你用AI生成一张图片,好不好看是主观的,但你用代码生成一个三维模型,好不好用是可以客观检验的:这个桌子的腿有没有悬空?这个门的铰链能不能转到90度?这个机器人手臂的碰撞检测通过没通过?代码天生携带这种可验证性,而像素生成的图片和视频几乎做不到。
这件事到底难在哪
在3DCodeVerse出现之前,相关的研究其实不少,但都挤在各自的小角落里。
有的数据集专门做CAD,比如DeepCAD,提供了建模的构造序列,但它只覆盖静态物体,不涉及会动的关节、也不涉及场景。有的工作像BlenderGym专注于图形编辑评测,但样本量只有245个任务,规模太小。还有专门做材质和光影的VLMaterial,收录了55万份材质数据,但同样是单一维度。
这些工作就像不同的手艺人各自在打磨一件乐器,有人专注做小提琴的琴弦,有人专注做大提琴的琴身,却没人想过把整支乐队的乐谱编排到一起。
论文里有张对比表格,列出了十几个相关工作,你会发现一个规律:几乎没有一个数据集同时覆盖静态物体、关节物体、场景和图形效果这四类内容,大多数工作在"静态"和"图形"这两列打勾,剩下的全是叉。即便是专门做harness系统(也就是让AI agent自动生成和修正代码的那套工作流)的项目,比如SceneCraft、CAD-Assistant,它们大多没有发布配套的新数据集,更谈不上系统性的几何验证能力。
3DCodeVerse要解决的,正是这种碎片化。他们想做的事情是把CAD、Blender、Shader、浏览器图形这些互不相通的"方言",统一成一套可以共享、可以训练、可以验证的基础设施。这就好比以前每个国家都有自己的铁路轨距,火车开到边境就得换车换轨,现在要修一条能跨国直通的标准轨道。
论文给出的核心数字很能说明这套系统的规模。他们构建的数据集叫3DCodeVerse-2M,收录了超过269万个独立可执行程序,统一导出后形成了202万多条训练数据对。更关键的是,用这套数据微调一个90亿参数的开源模型后,代码执行成功率从0%直接跳到了84.9%;换成270亿参数模型,执行率冲到92.9%。这组对比之所以震撼,是因为"从0%到84.9%"不是渐进式的提升,而是从完全不可用到基本可用的质变,原因很简单,微调前的模型大多数输出的代码压根跑不起来,因为它调用了Blender 5版本里已经废弃的接口。
3DCodeVerse-2M:把散落各处的3D代码收拢成一套语料
要理解这个数据集的价值,得先弄明白一件事:3D代码这个东西,哪里来的?
论文里描述了一套"任务定义"。简单说,3D coding就是写一个程序f,这个程序接收一个条件c(文字描述加可选的参考图),然后在某个指定的运行环境e(比如Blender的bpy接口,或者CadQuery)里执行,产出一个3D artifact,可能是一个网格模型,一个关节物体,一个场景,或者一段动画。
执行环境:也就是程序运行所依赖的软件平台,比如Blender的Python接口叫bpy,CAD建模常用CadQuery,网页3D图形常用Three.js,机器人关节描述标准格式是URDF。
执行成功只是第一步,真正的难点在于内容质量。一段能跑的代码,不代表它生成的3D模型是对的。椅子腿可能悬空,门板可能和门框打架穿模,这些问题光靠"代码能不能运行"这个标准根本抓不出来。
研究者的做法是,不是简单地把网上能找到的3D代码一股脑收集起来,而是系统性地做转换和清洗。举个例子,DeepCAD提供的是178,238条草图挤出的构造序列,这不是真正能跑的程序,只是一串操作记录。团队写了一个确定性编译器,把这些序列翻译成独立的CadQuery脚本。转换完之后,174,981条能正常编译,174,177条能生成有效的水密实体,再去掉25.8%的完全重复几何体,最后剩下128,201个独立可执行程序。
这个过程还做了一件挺较真的事:用体素IoU(一种衡量两个三维形状重叠程度的指标,数值越接近1说明两个形状越吻合)去检验转换后的程序和原始几何体是否一致,结果平均达到0.985,96.9%的程序超过0.90。这意味着转换基本不走样。
**数据不是攒出来的,是验证出来的。**
这句话放在这里很贴切。因为团队同时发现,DeepCAD原始数据集里有3230组几何体在训练集和测试集之间重复出现,这是个典型的数据泄露问题。如果照单全收,模型在"测试"时其实早就见过类似的答案,分数就会虚高。团队用向量和网格双重去重清理掉了这种交叉污染,这种细节活儿往往是论文里最容易被忽略、但最体现工程严谨性的部分。
除了DeepCAD,数据来源还包括Shadertoy的11.9万个GLSL着色器程序(专门用来做实时图形渲染特效的代码)、Thingiverse的OpenSCAD参数化模型、Articraft的关节物体几何和URDF规范、ProcTHOR的场景重建数据,以及团队自己用coding agent生成的新程序。
coding agent:能够自主编写、执行、调试代码的AI智能体,区别于只能一次性输出代码的普通大模型。
这里有个细节值得展开讲。面对一个依赖特殊API的原始程序,团队不是简单丢弃,而是让agent把这些特殊接口翻译成通用接口,把需要的辅助函数直接内联进程序里,最终打包成一个不依赖外部特殊库、可以独立运行的标准程序。这就像把一本只有内部员工才看得懂的行话手册,翻译成任何人拿到都能照着操作的说明书。如果不做这一步,数据集里堆的全是"看起来是代码,实际跑不起来"的半成品,训练出来的模型自然也学不会怎么写出真正可执行的程序。
最终,整个数据集按照三种描述方式打标签:一个是指令型描述,一个是视觉描述,一个是构造过程描述。每条记录还保留了来源、许可协议、以及可用的验证结果。这种多视角标注的好处是,同一个3D程序可以用来训练模型响应不同风格的用户请求,有人喜欢直接说"做一把三条腿的木凳子",有人更喜欢按步骤描述"先做个圆形座面,再装三条腿"。
3DCodeVerse Harness:让AI自己给自己打分、自己改代码
如果说数据集是弹药库,那Harness就是那套真正拿着枪打靶、还能自己看靶心调整姿势的系统。
这是整篇论文里设计最精巧的部分。它要解决的问题是:AI生成的3D代码,第一次写出来大概率是有毛病的,谁来发现问题,谁来改?
人工来挑错当然是个办法,但没法规模化。于是团队设计了一套多智能体的有向无环图(DAG)框架,这是个听起来挺唬人的词,但拆开看其实很直白。
有向无环图:一种任务依赖关系图,每个任务指向它所依赖的前置任务,且不会形成循环。在这里,它表示"先做好零件A,才能装配零件B"这种先后次序。
整个流程是这样跑的:先有一个负责规划的LLM,把用户的请求拆解成具体的组件、尺寸、材质、空间关系和验收标准。比如用户说"做一把三条腿的木凳子",规划器会把这句话拆成座面、三条腿、三个楔形榫头这样的具体部件清单,外加十一条验收条目,比如"整体高度0.420米±0.005米"、"三条腿要穿透座面"。
拆解完之后,不同的子agent被派去并行写不同部件的代码,就像装配流水线上每个工位各管各的那段。等所有依赖都满足了,组装任务把这些代码拼到一起,生成第一版程序。
这第一版程序大概率是有问题的。论文里给了一个完整的记录案例,很直观地展示了这个闭环是怎么运作的:第一轮生成的凳子,三个榫头和座面打架穿模了22毫米,三条腿有的悬空最远到179毫米,整体得分只有0.41分(满分1分)。系统自动生成了九条修改任务,分成八个互不冲突的文件组并行处理。到第二轮,所有结构问题都解决了,得分跳到0.844。第三轮进一步精修细节,三角面数从1572涨到11052,得分到0.933。
**一次写对是运气,反复检查才是工程。**
这个说法并不夸张。因为整个检查体系分了三层:第一层是执行反馈,程序能不能跑起来,跑不起来就只有这一条信息,连artifact都生成不了;第二层是测量反馈,专门的检测工具会去量这个3D物体的尺寸、接触点、碰撞情况、关节运动范围,返回具体的数字修正建议;第三层是视觉反馈,一个视觉语言模型(VLM)会盯着渲染出来的多角度图片,对照验收标准打分,还会指出具体缺陷在哪、该怎么改。
视觉语言模型(VLM):能同时理解图像和文字的AI模型,这里被用作"裁判",看渲染图打分挑错。
这三层反馈不是各自为政的,而是有严格的优先级。如果几何检测工具发现了实打实的穿模或悬空,这个结论是不可动摇的硬指标,哪怕VLM裁判觉得"看起来挺好看",系统也会强行把分数封顶。论文原文把这个叫"确定性否决",如果连接性检测工具已经跑过、确认没有穿模超过8毫米,那VLM投票认定的"结构缺陷"就会被直接否决,不计入扣分也不设上限。反过来,如果几何检测真的查出了问题,VLM即便没看出来,分数也会被强行压低。
这种设计其实暗含一种对AI判断力的不完全信任。VLM看图打分这件事本身是有噪声的,同一张图,裁判模型反复评三次,分数都可能不完全一样。论文测过,用Gemini 3.1 Pro重复评估固定的椅子和柜子模型,标准差只有0.030,算是相当稳定了;但换成轻量版的Gemini 3.8 Flash,标准差就涨到0.083。既然视觉判断有噪声,那就得有一套不依赖主观判断的硬指标来兜底。
这里可以打个比方。想象一个驾校教练,光靠"看学员开车顺不顺眼"来判定能不能过关,这当然不靠谱,因为今天心情好可能就手松了。真正靠谱的驾校考试是把"是否压线"、"是否超速"这些能用传感器客观测量的指标设成硬性否决项,老师主观印象分只能锦上添花,不能一票通过明显违规的操作。如果没有这层硬性兜底,视觉判断的波动性会直接污染整个训练数据的质量,攒出来的几十万条样本里可能混进去大量"看起来不错但其实穿模了"的脏数据。
关于关节物体,Harness还做了一件特别细致的事:联动检查两份不同的描述文件。一份是Blender脚本,负责在静止姿态下把每个零件的网格画出来;另一份是URDF规范,负责定义关节的旋转轴和运动范围。这两份文件必须严丝合缝地对上,如果某个零件的世界坐标和关节运动学算出来的坐标对不上,哪怕只差1毫米,整个构建就直接判定失败,并且会打印出精确的修正坐标。更进一步,系统还会在关节的起始位置、极限位置、以及八组随机组合姿态下,把整个机构"摇"一遍,专门去抓那种静止时看不出来、只有动起来才会暴露的碰撞问题。
论文里举的例子是一台带合页的笔记本电脑。静止姿态下一切正常,但当合页转到打开到接近180度的那个姿势时,检测工具发现屏幕和底座在七个采样姿态里都出现了重叠,最严重的地方相差2.5毫米。这种动态碰撞是静态检查完全抓不到的。如果不做这种"摇一摇"的动态扫描,很多关节设计看起来完美,实际装到现实世界里根本转不动,或者转到某个角度就会物理卡死。
微调开源模型:从几乎不会写到基本都能跑
数据和验证系统搭好之后,自然要回答一个问题:这套东西到底有没有用?
团队拿90亿参数的Qwen3.5-9B和270亿参数的Qwen3.8-27B做了微调实验,用的是LoRA这种参数高效微调方法。
LoRA:全称低秩适应,是一种只训练模型里一小部分额外参数、而不用重新训练整个大模型的微调技术,能大幅省算力。
结果相当直白。微调前的Qwen3.5-9B,在3DCodeBench这个测试集上执行成功率是0%,听起来很夸张,但原因很具体:大多数生成的脚本调用了Blender新版本里已经被废弃的"清空场景"指令,程序一启动就崩了。微调之后,这个数字变成了84.9%。换成270亿参数的模型,微调前本来就有51.9%的基础,微调后冲到92.9%。
不同语言环境的提升幅度也值得细看。CadQuery这种CAD脚本语言,微调后执行率普遍能到98.5%,几乎是满分;GLSL着色器代码相对更难,提升幅度在14到23个百分点之间,因为着色器涉及的数学和渲染管线逻辑更复杂,模型要学的东西更多。
论文还做了一个挺有意思的消融实验,关于直接偏好优化(DPO,一种让模型学会"哪个输出更好"而不只是"怎么模仿标准答案"的训练方法)。他们专门针对"模型生成的代码会不会陷入无限循环、迟迟不收尾"这个问题做了优化。原始模型在生成OpenSCAD代码时,经常陷入反复补括号的死循环,平均输出长度能飙到30163个token。用"终止反馈"训练了两轮之后,平均输出长度压缩到2884个token,执行成功率从8%直接跳到86%。
这组数字背后其实藏着一个挺朴素的道理:**让模型学会什么时候该停下来,和让模型学会该写什么,是两件同样重要的事。**
一个AI模型不知道该在哪里收尾,就像一个人写报告写着写着陷入自我重复,永远觉得还差一点没说清楚,结果越写越长,最后连重点都淹没在废话里。
实战对比:对抗商业产品Claude Design
光是开源模型内部的对比还不够有说服力,论文里最抓眼球的一组实验,是让3DCodeVerse Harness直接对打商业产品。
对比对象是Claude Design,这是基于Claude Opus 5.5驱动的商业3D设计产品。实验设置很公平:同一个底层模型Claude Opus 5.5,一边套上Claude Design自己的工作流,一边套上3DCodeVerse Harness,用完全相同的100个文字生成提示跑一遍。
结果是3DCodeVerse Harness在人类盲评里拿到90%的胜率,裁判打分是88分对37分,差距超过一倍。
这个对比之所以有说服力,恰恰因为它控制了变量,底层大模型完全一样,差别只在于"工作流怎么设计"。这说明分数的差距不是模型本身聪明不聪明带来的,而是整个生成、检测、修正的闭环流程设计得好不好带来的。
类似的模式在其他几个模型身上重复出现。Gemini 3.8 Flash套上自家的Gemini CLI,裁判打分只有61分;套上3DCodeVerse Harness,跳到87分。GPT-6 Luna从64分跳到86分。这种"越是相对较弱的底层模型,提升幅度越大"的现象其实很合理,因为好的验证闭环机制,本质上是在弥补模型自身能力的不足,就像给一个新手司机配了倒车雷达和自动刹车,提升幅度自然比给老司机配同样的设备更明显。
这背后还有个值得琢磨的权衡:试错是要花钱的。论文给出了具体的token消耗和成本数据,一个物体生成平均要花3.31美元,其中93.9%的输入token是从低成本的prompt cache里读出来的,这也是为什么闭环验证的成本没有想象中那么夸张。但这也提醒我们,这种"自动反复修正"的策略不是免费午餐,它用算力和时间换取质量,这笔账在实际应用里得算清楚。
当3D代码遇上机器人和视频生成
这套系统还跑出了两个挺实际的应用场景,分别是机器人仿真和视频生成。
机器人这块的思路是,既然关节物体可以用代码精确定义刚体几何、关节轴、运动限制,那这些代码天然适合拿去喂给机器人仿真环境。团队把一个用3DCodeVerse工具生成并验证过的关节物体,导入MuJoCo(一款常用的机器人物理仿真引擎)里跑了12组对比实验,对照组是一个叫UWM的视频生成模型(统一世界模型,能同时生成视频画面和预测动作的模型)。
结果是,用代码仿真生成的渲染图,以及把这些渲染图过一遍UWM自己的VAE编码解码器之后,门和把手的几何结构在12/12的情况下都保持完整清晰。但UWM自己直接生成的动作预测视频,36次尝试里只有7次保持了清晰的几何结构,剩下29次都出现了轮廓模糊或扭曲。
这组对比挺说明问题。因为团队特意做了个控制实验:把代码渲染出来的画面,过一遍UWM自己的VAE压缩再解压,结果几何结构照样完好无损。这说明问题不出在"视频压缩本身会损失细节",而是出在UWM这类模型在隐空间里凭空"想象"动作的时候,没有物理约束,门把手转到一半,形状说崩就崩了。
**代码仿真是有物理规则兜底的创作,而纯视频生成是没有物理规则约束的脑补。**
这个区别可以类比成两种讲故事的方式。一种是严格按照剧本和布景图拍电影,镜头里的每一件道具位置都是精确计算好的,演员的每一个动作都受物理定律约束;另一种是让一个画家凭印象画分镜,画得再逼真,门把手转到某一帧突然就和门框黏在了一起,因为画家脑子里压根没有"刚体不能互相穿透"这条规则。如果完全依赖后者去生成机器人训练数据,机器人学到的可能是一堆违反物理定律的错误经验,这在真实世界里是要出大问题的。
视频生成那块的思路类似,用3D代码渲染出来的视频当作参考,去指导Gemini Omni Flash和Seedance 2.5这两个视频生成模型,让它们在保留原有画面质感和细节的同时,把场景布局、物体运动轨迹和镜头路径这些"骨架"信息继承下来。这相当于给视频生成模型喂了一份精确的"分镜脚本",而不是让它完全自由发挥。
这套系统留下的空白
论文里也坦诚地提到了一些边界。比如场景生成这个赛道,相比物体生成,分数普遍偏低,裁判打分经常只有40分到60分区间,远不如物体赛道动辄80分以上的表现。这说明场景级别的生成,涉及的空间关系、多物体协调、光照氛围控制,难度明显比单个物体高一个量级,现有的技术还没能很好地攻克。
另外,论文里提到独立运行同一个提示词两次,哪怕设置完全相同,生成结果也可能走向完全不同的结构拆解,有时候AI把一个物体做成一整块网格,有时候拆成十个独立部件,triangle数量能差十几倍。这种随机性背后反映的是,当下的大模型在面对开放式创作任务时,还远没有形成稳定、可预测的"风格偏好",这既是灵活性的体现,某种程度上也是不确定性的来源。
写在后面
读完这篇论文,最让我意外的其实是那个"确定性否决"的设计。很多AI系统在融合多种反馈信号时,倾向于把所有信号都加权平均,觉得这样更"公平"。但3DCodeVerse的做法恰恰相反:当几何检测工具已经确认没问题的时候,它会直接把VLM的主观质疑否决掉,不留协商余地。这种"让客观证据说了算,主观判断只能锦上添花不能一票否决"的设计思路,其实可以推广到很多需要人机协作评审的场景。
还有一个细节值得单独说一说。论文提到他们发现把"工具调用失败"和"检测到真实几何缺陷"这两种情况混为一谈,会让商业agent系统陷入无意义的重试循环,因为agent把"这个物体穿模了"误判成了"系统出错了",于是不停地重试同一个操作,而不是去真正修复穿模问题。这是个很容易被忽视、但调试AI系统时极其常见的坑:一个"失败"的反馈信号,到底是任务本身没做好,还是执行通道本身出了故障,这两者如果不分清楚,整个系统的纠错逻辑就会乱套。
这篇论文留下的问题,我觉得最值得追的是场景生成那个明显偏低的分数。单个物体的几何检测相对容易穷举,碰撞、悬空、尺寸误差都是可以量化的指标。但一个场景好不好,涉及的是空间叙事、光影氛围、多个物体之间的呼应关系,这些东西目前还很难被压缩成几个硬性指标。什么时候能有人找到场景级别的"确定性否决"标准,可能才是这条技术路线真正迈向成熟的下一步。
Q&A
Q1:3DCodeVerse是什么?
A:3DCodeVerse是一套由南加州大学等多所高校机构联合研发的开源研究生态系统,核心是让AI通过写代码来生成可编辑、可验证的3D内容,包含大规模可执行3D代码数据集和一套自动生成修正代码的多智能体系统。
Q2:3DCodeVerse Harness和普通的AI生成3D模型有什么区别?
A:普通生成往往是一次性输出结果,好不好全凭主观判断。3DCodeVerse Harness则引入了执行检测、几何测量、视觉评分三层自动反馈机制,能自动发现穿模、悬空等结构问题并反复修正,不需要人工介入。
Q3:3DCodeVerse的数据集微调效果怎么样?
A:用这套数据微调90亿参数模型后,3D代码执行成功率从0%提升到84.9%;270亿参数模型从51.9%提升到92.9%,说明微调能显著改善开源模型生成可执行3D代码的能力。