画得像≠看得懂：大模型3D科学理解为何不及格

一、一组反差数据：演示很惊艳，评测刚“过半”

最近，一段由大模型驱动的三维建模演示在技术社区刷屏：模型一次性生成了一台涡轮增压器的装配体，每个零件独立建模、可以正常转动，还能一键展开成爆炸图，视觉观感几乎可以以假乱真。在侧重“绘图还原度”的评测里，这类模型一度拿到接近满分的成绩，评论区甚至开始讨论CAD工程师的转型问题。

但很快有资深工程师泼了冷水：这些零件一个都不能直接送进生产线。原因很朴素——画得像，不代表画得对。装配关系是否成立、配合面是否干涉、公差是否合理，这些真正决定模型能否投产的工程属性，演示视频里一个都没有回答。

真正把问题量化的，是近期一项面向三维科学理解的研究性评测：250道基于真实三维数据构建的题目，覆盖生物、化学、医学影像、建筑、机械CAD五大科学领域、22个子领域，要求模型自主操作三维对象，完成观察、测量与分析。结果，12个当前最强的开源与闭源前沿大模型参赛，表现最好的一款（搭配外部代码工具）只拿到0.53分（满分1分）；而且没有任何一个模型能在五个学科同时领先。

一边是“接近满分”的绘图类评测，一边是“刚过半”的科学理解评测。这组反差恰恰说明：我们此前用来衡量模型“3D能力”的尺子，可能量错了地方。

二、“画得像”与“看得懂”之间，隔着两层能力鸿沟

要把这个反差讲清楚，得先把“3D能力”拆成两层。

第一层是视觉复刻。模型见过海量的2D图像与软件界面截图，学会了三维工具的“长相”：视口、线框渲染、爆炸图动效。复刻这些模式属于典型的统计模仿，并不需要真正理解几何本身。

第二层是三维科学理解。它要求模型把三维对象当作“有物理与语义含义的结构”来对待：

• 结构关系：零件之间靠什么配合、装配顺序是否可行；分子与离子距离多近才算存在相互作用；
• 几何细节：尺寸、角度、公差、干涉、剖面形状是否正确；
• 科学语义：医学影像里的解剖方位、建筑模型里的承重与管线逻辑是否成立。

工程上有一个朴素的验证流程：内行拿到一个三维模型，不会先看渲染效果，而是按“结构关系→几何细节”逐项核验。演示能通过第一关的“外观审查”，却几乎全军覆没在第二关。这就是“画得像”与“画得对”的本质区别：前者是2D先验下的风格模仿，后者要求空间推理、精确测量与领域知识三者形成闭环。

三、一份合格的3D科学理解评测长什么样

这项评测的出发点是一个很本质的问题：AI能像科学家一样观察和推理吗？围绕它，评测设计上有几个要点，基本代表了三维能力评测的方法论基线。

1. 真实三维源数据，而不是渲染图。题目直接从真实的蛋白质结构、分子体系、医学影像、建筑模型、机械装配体构建，避免模型靠“见过类似的图”蒙题，也天然具备抗数据污染能力。

2. 专家级视觉问答＋自主操作。评测采用VQA形式，但不是“看图说话”：模型需要像领域专家一样对三维对象执行一系列操作——旋转视角、隐藏/隔离对象、剖切、测量距离与角度——再给出结论。评测中的3D工具按照领域专家处理三维源数据的真实工作方式建模，还原了最贴近实战的观察场景。

3. 多步任务，过程与结果并重。一道题往往要连续完成“定位对象→排除干扰→测量→判断”多个步骤，评分既看最终答案，也看操作路径是否合理。

以生物学科的一道示例题为例：评测把整个蛋白质“藏”起来，只留下一个柠檬酸分子和旁边的几个离子，让模型测量它们挨得多近。这道题的巧妙之处在于：显著对象（庞大的蛋白质）被刻意隐藏，考察的是模型能否根据任务目标重新组织观察焦点，并完成一次精确的空间测量——这正是“像科学家一样观察”的微观样本。

用示意性的结构描述一道题的评测流程，大致是：

{
  "domain": "机械CAD",
  "source": "真实装配体三维模型",
  "question": "零件A与零件B之间的最小配合间隙是多少？是否满足设计公差？",
  "allowed_tools": ["旋转视角", "隔离零件", "剖切", "距离测量"],
  "scoring": {
    "process": "是否主动剖切/隐藏干扰结构，测量路径是否正确",
    "result": "数值精度与公差判断"
  }
}

四、0.53分背后：模型的典型失分模式

从结果看，没有一个模型能在五个学科全面领先，说明三维科学理解是一个普遍性的能力短板，而非个别模型的偶发问题。结合评测维度，可以归纳出几类典型失分模式：

• 空间关系误判：对遮挡、包含、内外、前后等拓扑与方位关系判断不稳定，旋转视角后丢失对象对应关系，跨视角一致性差；
• 测量能力薄弱：缺乏尺度感，单位换算与数值精度频繁出错，而这在工程与科研场景里是硬性要求；
• 领域知识错位：CAD题不懂公差与配合，医学影像题分不清解剖方位——纯视觉模式匹配无法替代领域知识；
• 操作规划短视：不会主动隐藏干扰对象、不会利用剖切暴露内部结构，观察本身不完整，后面全错；
• 长程状态丢失：多步操作中忘记中间测量结果，或把前一步的误判传播进最终结论。

值得注意的是，表现最好的模型是配合外部代码工具完成测量的。这印证了一个业界共识：让模型把精确的几何计算交给工具（代码执行环境、几何库），自己专注于观察与规划，是当前弥补数值短板的有效路径。

五、为什么3D理解这么难：三点技术归因

1. 训练数据结构性缺失。当前多模态大模型主要建立在“图文对”语料之上，天然带有2D先验。高质量、带标注的三维科学数据（网格、点云、CAD参数化模型、体数据）稀缺、表示形式异构，清洗与对齐成本都很高。

2. 精确几何推理与自回归生成的冲突。语言模型擅长输出“看起来合理”的连续文本，而几何问题要求精确数值与严格逻辑，一字之差就是干涉与间隙的区别。缺乏符号计算支撑的纯生成式路线，很难稳定输出工程级精度。

3. 交互式观察本质上是长程规划问题。专家看三维模型是一个动态过程：先整体后局部、先隐藏干扰再测量目标。这要求模型具备任务分解、工具调用与状态维护能力，任何一环掉链子，观察就不成立。

六、给企业与开发者的四点落地建议

对打算把多模态模型用于CAD辅助审查、医学影像分析、分子研究等3D场景的团队，这项评测的价值不只在分数，更在方法论：

1. 别用演示视频做选型。建立与业务任务对齐的自建评测集：从真实业务三维数据抽样，把专家的检查清单逐条转化为可判分的题目，过程与结果双维度打分，并设置“人类专家”对照组作为基线。
2. 为模型配备几何工具链。把测量、干涉检查、公差校验交给确定性工具或代码执行环境，模型负责观察、规划与解释，这是当前更可靠的系统形态。
3. 把模型定位为“辅助观察者”。在0.5分左右的能力水平上，任何进入生产流程的结论都必须保留人工复核环节，坚持人机协同而非全自动。
4. 善用云上通用能力搭建评测流水线。三维资产用对象存储统一管理，渲染与推理依赖GPU算力，视觉问答链路由多模态模型服务承载，再配合日志服务与监控告警跟踪评测迭代——这类通用类目能力在主流云平台（如百度智能云等）均有提供，团队可以低成本把评测做成持续回归，而不是一次性动作。

七、结语

0.53分不是用来嘲笑模型的，它标注的是当前能力边界的位置：从“复刻三维的表象”到“理解三维的内涵”，中间还隔着数据、架构与评测方法的多重鸿沟。而一份把专家检查流程工程化的评测设计，其价值恰恰在于把“看不懂3D”从一句直觉判断，变成了可定位、可复测、可迭代改进的工程问题。对开发者而言，这比任何炸裂的演示视频都更有参考价值。