面向三维生成的智能代理工程实践

一、三维生成为何进入智能代理阶段

传统三维内容生产通常依赖建模、材质、灯光、动画和渲染等多个专业环节。即使使用自动化工具，用户仍需要反复在不同软件之间切换：先分析参考图片，再搭建几何结构，随后补充家具、装饰、植被与环境元素，最后进行镜头设计和视频输出。

随着大模型、多模态理解和工具调用能力的发展，三维生成的交互方式正在变化。用户不再只是要求系统“生成一个模型”，而是可以提出完整任务目标，例如：

• 根据一组室内外照片还原建筑结构；
• 根据面积、户型和装修风格生成可编辑场景；
• 自动补齐家具、灯具、软装和环境资产；
• 为不同用途输出看房漫游、营销短片或工程预览；
• 在后续修改中持续保留上下文，例如“将客厅改为更适合亲子活动的布局”。

这种能力的本质，不是单纯提升图片或模型生成质量，而是让智能系统具备“理解目标—制定计划—调用工具—检查结果—继续修正”的闭环执行能力。对于开发者和企业而言，关注点也应从“模型能否生成三维物体”，升级为“如何构建可靠、可控、可审计的三维任务代理”。

---

二、三维智能代理需要具备的核心能力

一个可用于实际生产的三维智能代理，通常需要覆盖五类能力。

1. 多模态空间理解

三维任务的输入并不局限于文本。用户可能提供房屋照片、手绘草图、平面布局、视频片段、尺寸说明或风格参考图。系统需要从这些信息中提取空间约束，包括：

• 建筑主体的轮廓、层高和房间分区；
• 墙体、门窗、楼梯、阳台等结构元素；
• 家具的位置、尺寸关系和遮挡关系；
• 材质、颜色、光照方向和整体装修风格；
• 场景中不确定或不可见的部分。

这里最关键的是区分“可确认事实”和“合理补全”。例如，照片中明确出现的窗户位置应被视为高优先级约束；照片之外的房间布局则属于推断结果，应在后续编辑中允许用户调整。

可以将场景理解结果抽象为结构化描述：

{
  "scene_type": "residential_space",
  "rooms": [
    {
      "name": "living_room",
      "estimated_area": "medium",
      "elements": ["sofa", "table", "window", "lighting"]
    }
  ],
  "style": {
    "primary": "modern",
    "materials": ["wood", "fabric", "glass"]
  },
  "uncertainties": [
    "secondary_room_layout",
    "hidden_wall_dimensions"
  ]
}

这类中间表示不应被视为最终模型，而是智能代理规划和校验过程中的“事实底座”。

2. 场景规划与任务拆分

复杂三维场景不能依赖一次性生成完成。更合理的方式是将目标拆解为多个可验证子任务，例如：

1. 建立建筑主体和主要房间边界；
2. 生成门窗、楼梯、固定柜体等结构资产；
3. 按房间功能布置主要家具；
4. 补充装饰物、绿植、厨卫用品等细节资产；
5. 添加材质、光照和环境背景；
6. 设置镜头路径并输出视频或静帧；
7. 根据质量检查结果局部返工。

任务拆分的价值在于可控性。若最终场景中某一处家具位置不合理，系统只需重新执行“家具布局”或“局部编辑”环节，而不必推倒重来。

在工程实现上，可把任务组织成有向依赖图。建筑框架完成后才能进行室内布置，室内布置完成后才能优化镜头构图。对于依赖不强的任务，例如不同房间的软装补齐，则可以并行处理，以提升整体吞吐效率。

3. 工具调用与可编辑资产生成

智能代理的价值不止于给出建议，还在于能够调度实际工具完成操作。一个通用的三维任务链可包含以下类型的工具能力：

• 场景文件读取与写入；
• 网格创建、变换、合并与简化；
• 材质和贴图配置；
• 资产库检索与摆放；
• 碰撞检测与空间约束检查；
• 灯光、相机和渲染任务配置；
• 视频帧序列合成与输出；
• 任务日志、版本记录和失败重试。

需要注意的是，工具调用不能只依靠自然语言拼接。应为每类工具定义稳定的输入输出结构，并对参数进行范围校验。例如，移动家具时应限制其坐标范围，防止对象被放置到墙体外、地面下方或悬空位置。

一个简化的工具调用请求可以表示为：

{
  "action": "place_asset",
  "asset_category": "sofa",
  "target_room": "living_room",
  "constraints": {
    "near_wall": true,
    "avoid_window": true,
    "walkway_clearance": "required"
  }
}

在生产环境中，所有工具调用都应记录操作前状态、操作参数、执行结果和失败原因，以便回放、审计与问题定位。

4. 长程任务记忆

三维项目通常不是一次交付，而是多轮迭代。用户可能先要求“生成基础户型”，后续再提出“保留整体结构，将餐厅改成开放式布局”，之后又要求“增加适合宣传视频的傍晚光照效果”。

因此，智能代理需要保留的不只是聊天记录，还包括以下状态：

• 当前场景版本及其资产清单；
• 用户已确认和未确认的设计决策；
• 每个空间元素的来源与可信度；
• 已执行任务、待执行任务与失败任务；
• 用户偏好，例如风格、预算、展示用途和修改原则。

建议采用“短期上下文 + 结构化项目状态 + 可检索历史记录”的分层记忆模式。短期上下文负责理解当前指令，结构化状态负责保证模型操作准确，历史记录则用于追溯设计变更。

5. 自动化质量验收

三维内容的“看起来不错”并不代表可以直接交付。智能代理至少需要检查以下问题：

• 几何错误：穿模、重叠、破面、比例失衡；
• 空间错误：门无法开启、通道过窄、家具遮挡窗户；
• 视觉错误：材质不一致、光照不自然、镜头遮挡主体；
• 内容错误：房间功能与布置不匹配；
• 输出错误：文件格式不兼容、渲染任务失败、视频帧缺失。

质量验收应采用“规则校验 + 视觉评估 + 人工确认”的组合方式。规则适合发现硬性问题，例如物体穿透和尺寸越界；视觉评估适合判断构图与风格协调性；人工确认则用于处理审美偏好、业务规范和高价值项目中的关键决策。

---

三、从房源资料到三维宣传内容的标准流程

以住宅展示为例，一个较完整的自动化流程可以设计为以下阶段。

阶段一：资料接入与信息清洗

输入来源可能包含照片、视频、户型图、文字描述和人工标注。进入三维生成流程前，应完成：

• 去除重复、模糊或无效图片；
• 识别室内、室外、公共区域等不同拍摄位置；
• 提取可用尺寸信息和方向信息；
• 标记可能涉及个人隐私的内容；
• 建立项目唯一编号与原始数据版本。

如果数据来源不可靠，应明确标记推断边界，避免将不完整信息包装为精确还原结果。

阶段二：结构重建与空间约束生成

该阶段的目标是优先获得“可用的空间骨架”，而非直接追求高精度视觉效果。系统应先识别墙体、楼板、屋顶、门窗和主要开口位置，再推断房间连通关系。

对于无法从资料中确认的结构，可以生成候选方案，并以可编辑状态交给用户确认。例如，对于未拍摄到的次卧区域，系统可先使用默认布局，但需清楚提示其为估计结果。

阶段三：室内资产匹配与布局生成

场景骨架完成后，系统可以基于房间用途、可用面积、风格要求和动线规则补齐室内陈设。此处不应简单随机摆放资产，而应引入布局约束：

• 沙发、床、餐桌等大件优先确定；
• 保证门、窗、柜体和通行区域不被阻塞；
• 装饰物应与主体家具比例协调；
• 厨房、卫生间等功能区需遵循基础使用逻辑；
• 多个房间之间应保持风格的一致性。

对于企业应用，资产库应建立明确的元数据体系，包括类别、尺寸范围、材质、风格、授权状态和适用空间。缺乏资产治理会导致生成内容风格混乱、版权风险增加，并降低后续检索效率。

阶段四：渲染、镜头与内容输出

场景完成后，可以针对不同目标生成不同形式的输出：

• 用于设计沟通的交互式预览；
• 用于内部审核的多角度静帧；
• 用于营销展示的短视频；
• 用于后续施工或装修讨论的结构化场景文件。

镜头规划不能只依赖随机路径。一个合格的展示视频通常需要遵循“先外部环境、后入口、再核心公共空间、最后功能细节”的叙事顺序，并避免快速穿墙、视角抖动和关键区域被遮挡等问题。

---

四、开发者落地时应重点解决的问题

1. 不确定性表达

三维生成很容易给用户造成“完全真实还原”的错觉。实际上，当输入数据不足时，系统必然会进行补全。建议在产品层提供置信度标识，例如区分“由原始资料确认”“由规则推断”“由风格补全”三类元素。

这不仅有助于提升用户信任，也方便后续人工校正优先处理低置信度区域。

2. 成本与时延控制

高质量三维生成和渲染可能消耗较多计算资源。企业应将流程拆分为不同精度等级：

• 草稿阶段使用低精度模型和快速预览；
• 审核阶段只对关键区域提高细节；
• 交付阶段再执行高质量渲染；
• 对重复资产使用缓存和复用机制；
• 将耗时任务放入异步队列，并提供进度反馈。

通过分层渲染、增量更新和任务缓存，可避免用户每次修改都触发完整重算。

3. 安全、隐私与版权治理

房屋照片、室内视频等资料可能包含人脸、地址、家庭物品、证件或其他敏感信息。系统应在资料上传、处理、存储和分享环节建立安全控制，包括：

• 对敏感内容进行检测和必要的脱敏；
• 按项目和角色实施访问权限控制；
• 为导出内容增加可追溯的版本信息；
• 明确训练数据、资产素材和用户上传内容的权属边界；
• 对外部分享设置有效期和下载限制。

对于采用云端架构的团队，可使用对象存储、身份认证、日志审计、监控告警和容器平台等通用能力搭建基础设施。若业务对数据隔离、访问管控和模型服务稳定性要求较高，也可结合百度智能云等符合企业治理需求的云服务能力进行统一管理，但仍应根据实际合规要求完成独立评估。

---

五、结语：三维生成的重点将从“出图”转向“完成任务”

三维智能代理真正的价值，不在于一次生成多少精美画面，而在于是否能够把分散的空间资料、设计要求和输出目标串联为可靠工作流。它需要理解空间关系，能够调用工具构建场景，能够在长任务中持续保存状态，也需要在每个关键节点接受规则和人工校验。

对于开发团队来说，优先建设结构化场景表示、任务编排、工具接口、质量检测和数据治理体系，比单纯追求单次生成效果更具长期价值。只有当生成过程具备可编辑、可追溯、可验证和可扩展的工程特征，三维智能代理才有机会从演示能力真正进入设计、展示、培训和数字化运营等生产场景。