全扩散架构如何实现无图文对预训练：从视觉先验到语言对齐的机制拆解

一、原理概述：本文讨论的是什么

本文讨论的是一种全扩散（Full-Diffusion）文生图架构及其配套的训练范式。其核心主张可以概括为一句话：训练高质量文生图模型，不必从第一天起就把图文对当作预训练条件；可以先只用图片建立视觉生成先验，再在后续监督微调阶段用经过筛选的图文对完成语言对齐。

要理解这个主张为什么成立，需要先拆开两个常被混为一谈的问题：

1. 视觉生成先验：模型是否学会了“图像长什么样”——纹理、光照、构图、物体结构、材质、透视关系等分布式规律。这部分知识的主要来源是图像本身，而非文字描述。
2. 语言—视觉对齐：模型是否学会了“这段文字对应哪种视觉结果”。这部分知识必须来自文字与图像的配对关系。

传统文生图训练通常把这两件事捆绑在同一个预训练阶段，用海量图文对同时完成。全扩散架构的思路是把它们在时间上解耦：先解决“会画”，再解决“听懂”。这不是简单地省掉图文对，而是重新安排了训练信号的投放顺序与职责归属。

二、背景问题：为什么图文对预训练会成为瓶颈

图文对预训练之所以长期是主流，是因为它同时承担了两个职责：提供视觉分布，以及提供语义条件。但这种捆绑带来若干结构性张力：

• 描述粒度不匹配：一段caption通常只覆盖图像的部分显著内容，大量视觉细节（背景纹理、次要物体、光照渐变）在文本中缺席。模型若只依赖图文对，等于用低带宽信号去学习高维视觉分布。
• 描述质量参差：网络采集的图文对普遍存在错配、过短、模板化、语言混杂等问题，噪声会直接污染条件建模。
• 语言偏置早期注入：在视觉先验尚未成形时就让文本条件深度参与，模型容易学到“文本到模板”的捷径映射，而非真实的视觉生成能力。
• 中英文等多语言排版场景难以覆盖：文字渲染类任务要求模型同时理解字形结构与语义，纯图文对难以提供足够密度的监督。

因此，一个自然的工程问题浮现：能否把“视觉分布学习”和“条件对齐学习”拆成两个阶段，让每个阶段使用最适合它的数据形态？ 全扩散架构正是对这一问题的回答。

三、核心概念：理解该原理前需要掌握的四个基础

（1）扩散模型与扩散Transformer（DiT）
扩散模型通过“加噪—去噪”的过程建模数据分布：前向过程逐步向数据注入噪声，反向过程学习从噪声中恢复数据。DiT将去噪网络的主干从卷积结构替换为Transformer，使模型具备更强的全局建模与规模化能力。生成侧的参数量、深度与注意力结构直接决定视觉先验的容量上限。

（2）扩散语言模型（dLLM）
常规语言模型以自回归方式逐token预测；扩散语言模型则把文本序列视为待去噪的整体，通过迭代式去噪完成理解与生成。其优势在于可以并行、迭代地修正全局表示，适合作为“指令理解器”与生成侧对接。

（3）混合专家（MoE）结构
MoE通过路由机制让每个token只激活部分专家参数，从而在总参数量较大的情况下控制单次计算量。总参数与激活参数的分离，使得“理解能力容量”和“推理开销”可以分别设计。

（4）视觉先验与语言对齐的分离
视觉先验是数据分布的统计结构，语言对齐是条件映射的对应关系。二者可以分阶段训练，是因为它们依赖的监督信号类型不同：前者依赖图像边缘分布，后者依赖图文联合分布。

四、系统组成：三块关键角色如何分工

全扩散架构可以拆成三个逻辑模块。

模块	角色	输入	输出	关键职责
理解侧（扩散语言模型）	指令解析器	用户文本指令（含中英文、排版要求）	语义条件表示	抽取意图、约束、空间关系与文字内容
生成侧（DiT）	视觉生成器	噪声潜变量 + 语义条件	图像潜变量→图像	承载视觉先验，完成去噪生成
对齐层（SFT阶段）	条件注入与校准	图文对（经描述与一致性检查）	对齐后的条件映射	把语义表示稳定地绑定到视觉结果

理解侧采用总参数较大、激活参数较小的MoE扩散语言模型，负责“读懂”；生成侧采用从零训练的6B级DiT，负责“画出”。二者通过条件注入机制连接：理解侧输出的语义表示作为生成侧去噪过程的条件，逐层或逐阶段影响去噪方向。

值得强调的是一套权重同时支持文生图与指令式图像编辑。这意味着编辑不是另起一套模型，而是把“原图 + 编辑指令”作为条件输入同一生成主干，由理解侧解析编辑意图，生成侧在保留原图结构的前提下定向修改。这种统一减少了任务间的表示割裂。

五、工作流程：从训练到采样的完整链路

5.1 预训练阶段：纯图片监督建立视觉先验

第一步，数据准备。训练样本以图像为主，累计规模达亿级，其中绝大多数采用纯图片监督，即不含caption条件。图像来源覆盖抓拍、家庭照片、街边场景、自然景观、建筑与园林等多类分布，目的是让视觉先验覆盖足够宽的边缘分布。

第二步，前向加噪。对每张图像编码到潜空间，按采样时刻注入噪声，得到带噪潜变量。

第三步，条件退化为空。由于不使用caption，条件分支在此阶段被置空或仅保留极弱的全局信号。模型的学习目标退化为纯粹的去噪：仅凭带噪潜变量恢复原始图像。

第四步，反向去噪与参数更新。DiT预测噪声或速度场，计算重建损失，反向传播更新参数。此阶段模型被迫把全部容量用于建模图像内部结构，而不是走“文本→模板”的捷径。

这一阶段的技术意义在于：去噪目标本身就是一种自监督信号，图像自身即可提供监督，无需人工标注或配对文本。视觉先验因此可以在没有语言介入的条件下独立成形。

5.2 监督微调阶段：图文对完成语言对齐

第一步，图文对筛选。用于SFT的图文对需经过描述质量检查与一致性检查，剔除错配、过短或语义漂移的样本，保证条件信号的信噪比。

第二步，条件注入。理解侧解析caption，输出语义表示；生成侧在去噪过程中接收该表示作为条件。

第三步，联合优化。模型学习“给定这段语义表示，去噪结果应朝向对应图像”。此时视觉先验已经存在，SFT的任务不是从零学画，而是学会把语言坐标映射到已有的视觉流形上。

第四步，指令编辑对齐。将“原图 + 编辑指令”作为输入形式加入训练，使同一套权重同时具备生成与编辑能力。

5.3 蒸馏与采样：少步生成的机制

进一步蒸馏得到的加速版本，只需2—4个采样步即可出图。其机制本质是把多步去噪轨迹压缩为少步映射：教师模型在多个时刻的去噪结果作为监督目标，学生模型学习从较粗的噪声状态直接跳向较干净的状态。少步采样的代价是轨迹精度下降，因此需要在蒸馏目标中平衡保真度与步数。

采样链路可概括为：

输入文本指令
  → 理解侧迭代去噪，得到语义条件表示
  → 生成侧初始化噪声潜变量
  → for t in 采样时刻(2~4步或更多):
       条件注入 + DiT预测去噪方向
       更新潜变量
  → 解码潜变量为图像
  → 输出（可选：一致性/排版校验）

六、关键机制：为什么这样设计能成立

（1）训练信号的职责分离机制
视觉先验与语言对齐的监督信号类型不同，强行捆绑会让低带宽的文本信号主导早期表示。分阶段训练让每个阶段的数据形态与学习目标匹配，减少了条件建模对视觉分布的早期干扰。

（2）纯图片监督下的自监督闭环
去噪目标不依赖外部标签，图像自身既是输入也是监督目标。这使得预训练可以扩展到远超图文对规模的图像集合，视觉先验的覆盖面随数据量增长而扩展。

（3）条件注入的“后绑定”机制
SFT阶段才引入强条件，等价于在已成形视觉流形上做条件回归。相比从零联合训练，后绑定的搜索空间更小、收敛路径更短，语言对齐更容易稳定。

（4）统一权重的多任务机制
文生图与指令编辑共享同一生成主干，差异体现在条件构造：生成任务的条件来自纯文本，编辑任务的条件来自文本与原图特征的组合。共享主干带来参数效率，但也要求条件注入方式具备足够的表达力以区分任务。

（5）MoE路由的计算—容量解耦机制
理解侧通过路由只激活部分专家，在总参数较大的情况下控制单次计算量。路由的负载均衡与专家 specialization 直接影响理解稳定性：路由塌缩会导致部分专家欠训练，进而影响复杂指令的解析质量。

七、示例说明：一个编辑请求的状态变化

假设输入为“把图中左侧的红色物体改为蓝色，并保持背景不变”。其状态流转可描述为：

1. 解析态：理解侧将指令拆为“对象定位（左侧红色物体）”“属性修改（红→蓝）”“约束（背景保持）”。
2. 条件态：语义表示被构造为带空间约束的编辑条件，同时注入原图特征以锚定结构。
3. 去噪态：生成侧在去噪中依据条件调整颜色相关区域，同时通过原图条件抑制背景区域的漂移。
4. 校验态：输出后可进行一致性检查，判断修改区域与保留区域是否符合约束。

这个例子说明：编辑能力并非独立模块，而是条件构造方式的变体。架构的统一性来自条件接口的通用性。

八、技术优势与限制

优势方面：视觉先验可在无配对文本条件下规模化建立；语言对齐阶段数据量需求相对可控且质量可筛；一套权重覆盖生成与编辑，降低部署与维护复杂度；少步蒸馏改善推理时延。

限制方面：纯图片预训练无法学习语义条件，因此SFT阶段的对齐质量高度依赖图文对的筛选与覆盖度；文字渲染、中英文排版等任务对字形结构敏感，需要针对性的数据配比与校验；少步采样在复杂构图或细粒度文字场景下可能出现细节损失；MoE路由若负载不均会影响理解侧稳定性。这些边界条件决定了该范式更适合“视觉分布宽、条件可后置”的场景，而非所有任务一刀切。

九、常见误区

• 误区一：不用图文对预训练等于不用图文对。 实际上图文对并未缺席，而是被推迟到SFT阶段，并承担对齐职责。
• 误区二：纯图片监督会削弱语义能力。 视觉先验与语义对齐是两件事，前者不要求语言介入；语义能力由后续阶段补齐。
• 误区三：统一权重意味着生成与编辑完全同构。 二者共享主干但条件构造不同，编辑还需原图锚定，不能简单等同。
• 误区四：少步采样只是速度优化。 它改变了去噪轨迹的监督方式，对细节保真度有 trade-off，需要按场景评估。

十、总结

全扩散架构的核心机制，是把文生图训练中“学视觉分布”和“学语言对应”两件事解耦：预训练阶段以纯图片监督下的去噪目标建立视觉先验，SFT阶段再以经筛选的图文对完成后绑定式语言对齐，理解侧与生成侧通过条件注入协作，一套权重覆盖生成与编辑，蒸馏进一步压缩采样步数。理解这一机制的关键，不在于记住了多少模块名称，而在于认识到：监督信号的类型决定了它应该在训练流程的哪个位置投放。这一原则对设计多模态生成系统具有普遍参考意义——先让模型掌握数据本身的分布，再教它听懂条件，往往比同时灌输两者更可控。