大模型“看不懂”三维？250道题实测暴露短板

一、画得像 ≠ 画得对：被视觉演示放大的能力错觉

最近几个月，多模态大模型“画三维图”的演示在社交平台上频繁刷屏。例如某旗舰模型生成的机械装配体：每个零件独立建模、可以正常转动，还支持一键爆炸拆解，视觉观感相当专业。与之呼应，这类模型在面向绘图生成任务的公开评测中也能拿到 95% 以上的高分，一时间“工程师是否会被替代”成了热议话题。

但一线工程师的反馈相当冷静：这些看起来精美的零件，一个都不能直接送进生产线。问题出在哪里？关键在于两套评价体系的错位：

• 演示与榜单衡量的是“渲染相似度”：图纸长得像不像、动画顺不顺滑、界面还原度高不高；
• 工程验收衡量的是“科学与几何正确性”：尺寸公差是否成立、装配约束是否自洽、力学与工艺逻辑是否经得起推敲。

模型很可能只是学到了“图纸大致长什么样”的统计规律，却没有掌握“为什么这么画”背后的物理约束。换句话说，它复刻的是结果的样子，而不是产生结果的知识。这就是典型的“视觉幻觉”：表面能力越强，越容易掩盖底层理解的缺失。

二、评测盲区：现有基准测不出“三维理解”

要判断模型到底是“会画”还是“会懂”，需要专门的评价工具。目前主流的多模态评测大多集中在二维图像问答、图表理解、文档解析等任务上；即便涉及三维，考察的也多是重建精度或渲染质量这类“外观指标”。真正稀缺的是回答这样一个问题：AI 能否像科学家一样，对一个三维对象进行观察、测量与分析，并判断它是否符合科学与工程要求？

最近受到关注的一类跨学科三维理解与推理基准，正是针对这个盲区设计的。它采用专家级视觉问答（VQA）范式，覆盖生物、化学、医学影像、建筑、机械 CAD 共 5 个科学领域、22 个子领域，包含 250 道基于真实三维数据构建的题目。它的核心特征不是“看图答题”，而是要求模型自主操作三维对象——先观察，再测量，最后给出可验证的分析结论。

三、题目设计：把专家的检视流程搬进考场

这套基准最有参考价值的，是它对“检视流程”的建模方式。可用的三维工具并非随意设定，而是按照领域专家处理三维源数据的真实操作习惯来构建，包括：

• 视角操作：旋转、缩放、剖切、聚焦；
• 遮挡管理：隐藏大分子、外壳等干扰对象，只暴露关键结构；
• 定量工具：距离测量、角度测量、坐标读取；
• 结构操作：晶胞对称操作、装配体拆解、爆炸视图。

评测逻辑也更接近工程师的验收流程，而不是一问一答的考试：先核验结构关系——部件之间如何配合、约束是否成立；再逐项检查几何细节——尺寸、距离、角度、对称性是否符合要求。整个链条可以用一段伪代码概括：

# 示意：三维科学理解评测的典型任务流水线
def evaluate(model, scene):
    scene.load(real_3d_data)             # 真实三维源数据：分子结构/晶胞/影像体数据/工程模型
    plan = model.plan_inspection(scene)  # 模型自主规划检视步骤
    for op in plan:
        obs = scene.execute(op)          # 旋转、隐藏、测量、对称操作等专家级工具调用
        model.observe(obs)               # 基于观测更新判断
    answer = model.report()              # 输出结构化结论：距离、对称性、装配关系……
    return expert_judge(answer, scene.ground_truth)  # 与专家标注真值逐项比对

注意两个关键词：自主规划与多步有状态。模型必须自己决定“先看什么、再量什么”，并在长链条操作中保持空间状态一致——这正是与“看图答题”的本质区别。

四、典型题目拆解：难的不是“看不见”，而是“算不准”

以官方演示中最具代表性的两类题目为例。

生物：量化分子间距离。任务是把整个蛋白质结构隐藏起来，只保留一个柠檬酸分子与旁边几个离子，要求模型测量它们之间的最近距离，并判断结合位点的合理性。难点在于：模型不能凭“看起来挨得很近”作答，必须通过坐标读取与测距工具给出精确数值，再结合化学常识（氢键、静电作用的典型距离区间）进行推断。

化学：晶胞对称堆叠。任务只有 8 步左右：框选一个晶胞，逐步施加对称操作，观察它如何一层层堆叠成完整晶体。难点在于对称操作的规则性——模型需要理解空间群的平移与旋转逻辑，并在每一步操作后正确更新三维空间的累积状态。

这两类题的共同点是：多步、有状态、要求精确的定量输出。而这三点，恰好构成当前多模态模型的“能力洼地”。

五、结果解读：0.53 分说明了什么

在这套基准上，目前表现最好的模型（配合代码与工具增强）也只拿到 0.53 分（满分 1 分）。也就是说，在绘图类榜单上拿到 95% 以上成绩的同一批旗舰模型，到了三维科学理解的考场上只“过了一半”。评测共覆盖 12 个开源与闭源前沿模型，没有一个能在五个学科同时领先。

结合题目结构，可以从三个层面解读这个分数：

1. 感知与推理脱节。模型大多能说出“这是一个蛋白质-配体复合物”，却无法完成“最近距离是多少、是否落在合理结合区间”这样的定量判断。识别是感知，测量与推断才是科学理解。
2. 多步工具调用不稳定。长链条操作中，模型容易丢失此前步骤建立的空间状态，或者规划出冗余步骤，导致结论与观测脱节。
3. 学科能力不均衡。在机械 CAD 上占优的模型未必擅长医学影像，说明所谓“三维理解”更接近训练数据分布的映射，而非可跨域迁移的通用能力。

对使用者而言，0.53 分不是唱衰，而是一个校准器：它量化了“演示效果”与“工程可用”之间的真实距离。

六、对开发者与企业的四点启示

1. 选型别只看演示视频和榜单分数。应优先寻找与业务验收流程对齐的评测任务；如果所在行业没有现成基准，可以参照“专家操作流程 + 真值标注 + 定量指标”的思路自建小型评测集，哪怕只有几十道题，也远比印象分可靠。
2. 把验证做成程序化闭环。任何模型产出的三维结果，都应经过几何校验、约束检查或仿真验证，再由人做最终审核。“生成—校验—修正”的回路是当前最稳妥的工程化路径。
3. 工具增强是必选项，不是加分项。允许模型调用测量、剖切、查询等专业工具，把“凭印象”变成“按数据”。这类“模型 + 工具 + 校验”的流水线，可以借助主流云平台提供的模型服务与编排能力快速搭建，例如百度智能云等平台上通用的模型评测与低代码编排组件，都能显著降低搭建成本。
4. 对“及格线”保持清醒。最高 0.53 分意味着当前模型只适合承担辅助定位——初筛、预检、草图生成，关键工程决策仍必须由人类专家把关。

七、结语

从“画得像”到“画得对”，中间隔着的是精确的空间感知、可靠的多步推理和严格的过程化验证。这类跨学科三维理解基准的价值，在于把这条鸿沟变成了可度量的分数：250 道题、5 个学科、22 个子领域、专家级的操作流程，让“AI 能否像科学家一样观察与推理”从口号变成了一张清晰的诊断报告。分数偏低恰恰指明了下一阶段的主攻方向——对开发者来说，读懂这份报告，比追逐下一个刷屏演示更有价值。