大模型训练过程是什么样的：从预训练到奖励建模的原理拆解

一、原理概述：训练一个语言模型究竟在做什么

大模型的训练本质上是一个分阶段、多目标的参数优化过程。它要解决的核心问题是：如何让一个拥有海量参数的神经网络，从原始文本中学会语言的统计规律，再学会遵循人类指令，最后学会判断回答的优劣。

这个过程通常被拆解为三个前后依赖的阶段：第一阶段是语言模型预训练与监督微调（SFT），让模型具备续写与对话能力；第二阶段是奖励模型训练（Reward Model），让模型具备对回答质量进行相对排序的能力；第三阶段通常基于奖励信号做强化学习优化。本文聚焦前两个阶段的底层机制，重点回答”为什么这样设计””内部如何运行””关键模块如何协作”。

理解这条链路的关键在于：每个阶段输出的不是一个”功能”，而是一组参数状态；下一阶段总是以上一阶段的参数为起点，只改变训练目标与部分结构。因此阶段之间的数据格式、损失函数、模型头部结构，是理解整个训练过程的主线。

二、背景问题：为什么不能一步到位

如果直接用人工标注的问答对训练一个大模型，会面临两个现实约束。

第一，标注成本与规模不匹配。高质量人工问答语料数量有限，而模型参数规模巨大，少量监督数据容易导致过拟合，无法让模型建立广泛的语言能力。因此需要先用海量无标注文本做自监督学习，得到一个具备通用语言表示的基座，再用少量高质量语料做目标对齐。

第二，绝对打分难以统一。让标注员直接给一个回答打 1 到 10 分，不同标注员之间的尺度不一致，同一标注员在不同时间也可能漂移。但让标注员判断”这两个回答哪个更好”则稳定得多。这一现实约束直接决定了奖励模型采用相对排序而非绝对回归标签的设计思路。

三、核心概念：理解训练链路前必须掌握的四个基础

单向注意力与掩码。 语言模型框架通常采用解码器结构，其第一个自注意力层带有掩码机制。掩码的作用是把当前位置右侧的词元在注意力权重上置为不可见，使每个位置的预测只依赖左侧已出现的词元。这保证了训练时的计算方式与推理时逐词生成的方式一致，也避免了模型”偷看答案”。

归一化的位置。 归一化层放在子层之前还是之后，会影响梯度传播路径。将归一化前置（Pre-Norm）的常见解释是：残差通路保持更干净，梯度可以更直接地回传，整体上更不容易出现梯度消失，训练更稳定。需要注意，不同实现对此有不同取舍，并非唯一正确解。

位置编码的外推性。 模型在训练时见过的序列长度与推理时实际输入长度往往不一致，长度分布偏移会导致效果下降，这就是外推性问题。旋转位置编码通过对词元表示施加与相对位置相关的旋转变换，使模型对位置关系的建模更具连续性，相比传统相对位置编码在长度外推上表现更好。

相对排序替代绝对打分。 奖励模型不直接学习”这个回答值几分”，而是学习”在给定问题下，回答 A 优于回答 B”这一偏好关系。偏好关系比绝对分值更易标注、更易统一，也更贴合后续优化只需要相对信号的特点。

四、系统组成：三个阶段与关键模块

阶段	输入数据	模型结构	训练目标	输出
预训练	海量无标注文本	解码器堆叠 + 单向掩码注意力	下一词预测	语言基座参数
监督微调	人工整理问答对	同基座结构	下一词预测（仅对回答部分计损）	对话能力参数
奖励建模	同一问题的多条回答及排序	基座 + 单神经元回归头	相对排序损失	打分模型参数

可以看到，三个阶段共享同一套主干结构，差异集中在数据组织方式、损失函数与输出头。这种”主干不变、头部与目标可变”的设计，是训练链路能够复用参数、逐级递进的根本原因。

五、工作流程：一次完整的训练推进

第一步：预训练。 将文本切分为词元序列，输入解码器。每个位置经过掩码自注意力与前馈网络，输出对下一词元的概率分布。损失为预测分布与真实下一词元之间的交叉熵。反向传播更新全部参数。这一阶段展现的是续写能力：给定前缀，模型给出最可能的后续。

第二步：监督微调。 将问答对按统一模板拼接为”问题 + 回答”序列，仍然使用下一词预测目标，但通常只对回答部分的词元计算损失，问题部分作为条件输入。这样模型学到的是”在给定问题条件下生成回答”，展现对话能力。实操中这两个步骤常被合称有监督阶段，但数据性质与目标侧重不同。

第三步：奖励建模。 对同一问题采样多条回答，由标注员给出两两优先级，形成偏好对（chosen 与 rejected）。将基座最后一层替换为一个输出标量的回归头，分别对两条回答打分，用相对排序损失训练：

loss = -log(sigmoid( score(chosen) - score(rejected) ) )

其含义是：拉大优选回答与劣选回答的分数差。当分数差为正且足够大时，损失趋近于零。反向传播后，优选回答得分升高、劣选回答得分降低。对多条回答形成的多个偏好对重复此过程，模型便学会了全局的相对排序关系。

六、关键机制：为什么这些设计能成立

掩码机制为何保证训练与推理一致。 推理时模型逐词生成，第 t 个位置的输出只能看到前 t-1 个词。训练时若不加掩码，模型会利用右侧信息，产生训练与推理的分布错配。掩码把注意力矩阵上三角置为负无穷，经 softmax 后权重为零，从计算层面强制了因果性。这一约束也带来了更好的泛化表现：模型必须真正基于左侧上下文建模，而不能依赖未来信息走捷径。

归一化前置为何稳定训练。 深层网络中，梯度需穿过多个子层回传。归一化后置时，梯度要经过归一化层才能到达残差通路；前置时，残差通路可直接传递梯度，缩短了有效传播路径，缓解了深层堆叠下的梯度衰减。代价是表达能力的细微差异，需结合具体任务权衡。

旋转位置编码为何改善外推。 相对位置编码通常将位置关系编码进注意力偏置，超出训练长度后偏置分布发生偏移。旋转位置编码将位置信息以旋转矩阵形式作用于查询与键，使注意力分数只依赖相对位移，且该变换对任意位置差都有定义，因此在长度外推时退化更平缓。需要注意的是，外推性提升不等于无限长度可用，超出训练分布过远仍会性能下降。

相对排序损失为何比回归更稳。 绝对回归要求模型拟合具体分值，标注噪声会直接变成标签噪声；相对排序只要求满足不等式约束，对分数整体平移不敏感，标注一致性更高，优化目标也更贴合后续强化学习只需要相对优势信号的场景。

七、示例说明：一个偏好对的训练过程

假设同一问题有三条回答 A1、A2、A3，标注结果为 A2 优于 A1、A2 优于 A3、A1 优于 A3。构造偏好对 (A2, A1)、(A2, A3)、(A1, A3)。每对分别经回归头得到分数 s2、s1、s3，计算各自损失后求和，反向传播更新参数。多轮迭代后，分数关系趋向 s2 > s1 > s3。这一过程说明：奖励模型学习的不是每条回答的绝对质量，而是同一问题下回答之间的偏序结构。

八、技术优势与限制

优势方面：分阶段训练使通用语言能力与目标对齐能力解耦，便于分别优化；相对排序降低标注门槛；掩码注意力保证生成一致性；归一化前置与旋转位置编码提升深层训练稳定性与长度适应性。

限制方面：奖励模型只能覆盖标注分布内的偏好，分布外问题可能给出失真分数；偏好标注本身含主观性，排序矛盾会引入噪声；外推性改善有限，超长输入仍需截断或额外适配；奖励模型作为代理信号，可能与真实目标存在偏差，需要后续优化阶段加以约束。

九、常见误区

其一，把有监督阶段理解为单一过程。实际上它常包含无标注预训练与标注微调两个数据性质不同的步骤。其二，认为掩码会削弱模型能力。掩码是保证因果性的必要约束，而非能力损失。其三，认为奖励模型在给回答打绝对分。它训练的是相对偏好，分数只有比较意义。其四，认为外推性提升意味着可无限扩展长度。位置编码改善的是退化斜率，不是消除长度边界。

十、总结

大模型训练是一条参数逐级演进的链路：预训练用掩码注意力与下一词预测建立语言基座，监督微调用问答数据塑造对话行为，奖励建模用相对排序损失把偏好关系固化进打分模型。每个阶段的结构改动都很小，但数据组织、损失函数与输出头的变化决定了模型能力的走向。理解这些机制为何成立、边界在哪里，比记住阶段名称更重要。