从注意力机制到判断式推理：大模型架构演进与输出形态分化

一、回到起点：Transformer 解决了什么问题

2017 年提出的 Transformer 架构，最初面向的是机器翻译任务。它的原始形态是一个典型的两段式结构：

• 编码器（Encoder）：一次性读入源语言句子，为每个位置输出一组上下文向量；
• 解码器（Decoder）：通过交叉注意力读取这组向量，同时以自回归方式逐词生成目标语言句子。

需要强调的是，两段式框架本身并非该论文的首创——循环神经网络时代的序列到序列模型早已采用同样的编码-解码格局。真正的变革在于用注意力机制完全取代了循环结构。

循环网络必须逐词读入，每一步的状态依赖上一步的输出，第 n 个词必须等待前 n−1 个词处理完毕，天然无法并行。注意力机制则不同：在处理每个位置时，它直接查看句子中所有其他位置，按相关程度加权汇总信息，所有位置可以同时计算。一层注意力加一层前馈网络构成一个基本单元，数十个这样的单元堆叠起来，就形成了一个完整的 Transformer。

这一设计让 GPU 的并行算力得以充分利用，也为后来模型规模扩展到千亿参数级别提供了工程前提。理解这一点非常关键：Transformer 的核心遗产不是某种固定的网络拓扑，而是一套可拆分、可重组、可并行的表示学习框架。

编码器与解码器的差异同样体现在注意力上：编码器读取输入时，每个位置都能看到整句，注意力是双向的；解码器生成时，每个位置只能看到自身及之前已生成的词，注意力是因果的。模型实际处理的单位是分词器切出的 token——中文大致对应一个字到一个词，英文大致对应一个单词或其子词片段。

二、2018—2020：两条主流路线的分化逻辑

研究者很快发现，Transformer 的编码器与解码器可以拆开单独使用，且各自适配不同的预训练任务。由此分化出两条主流技术路线。它们在层结构上几乎相同，实质差异只有两点：

1. 注意力的可见范围：读取输入时能否看到后文（双向 vs 因果）；
2. 预训练任务的形式：训练时做的是填空还是续写。

这两点决定了模型适合什么任务。双向注意力加填空式预训练，擅长从上下文中提取语义表示，适合分类、抽取、匹配等理解型任务；因果注意力加续写式预训练，擅长按概率逐词生成，适合对话、创作、代码生成等生成型任务。

用一个简化示意可以更直观地说明可见范围的差别。假设输入序列为 [t1, t2, t3, t4]：

# 双向注意力掩码（理解型）：每个位置可见全句
mask_bidirectional = [
    [1, 1, 1, 1],
    [1, 1, 1, 1],
    [1, 1, 1, 1],
    [1, 1, 1, 1],
]
# 因果注意力掩码（生成型）：每个位置仅可见自身及之前
mask_causal = [
    [1, 0, 0, 0],
    [1, 1, 0, 0],
    [1, 1, 1, 0],
    [1, 1, 1, 1],
]

掩码矩阵直接决定了信息流动的方向，也决定了一个预训练模型在微调或提示阶段能承接什么样的任务形态。此后出现的各类前沿模型，无论规模如何扩张、训练数据如何迭代，本质上都是在这两个维度上做取舍与组合。

三、第三条路径：不生成文本的判断式推理

在生成式模型成为主流叙事的同时，还存在一类容易被忽视的形态：不生成自然语言文本，而是针对给定输入材料回答限定形式的问题。这类模型的输出被约束为三种形式：

• 从若干候选项中选出一个；
• 在若干等级上给出评分；
• 判断一个陈述是否成立；

并且直接返回各个答案的概率分布，而非一段连贯的文字。

这种设计与主流生成式模型的关系，恰好可以回到前面提到的两个环节来解释：模型如何读取输入，以及如何产生输出。

在读取环节，它复用预训练阶段获得的语义表示能力，将输入材料与问题一起编码为上下文向量；在输出环节，它不展开自回归解码，而是将候选答案映射到统一的计算空间，通过一次前向计算得到各答案的归一化概率。由于省去了逐词生成的串行过程，单组判断可以在百毫秒量级完成，而常见生成式模型完成一次完整回答通常需要数秒到数分钟。

这种形态的工程价值在于三点：

1. 延迟可控：输出长度固定为候选数量，不随内容长度线性增长；
2. 结果可校准：直接给出概率，便于下游设置阈值、做集成或触发人工复核；
3. 成本可预测：单次推理的计算量基本恒定，便于容量规划。

其代价也很明确：它不擅长开放式表达，无法承担创作、多轮对话、复杂推理链展开等任务。它更像一个高吞吐的“判别器”，而非“生成器”。

四、对照视角：输出方式相近、底层网络不同

理解这类判断式模型，还可以引入一个对照维度：输出形态相似，并不等于底层网络相同。业界存在一些开源实现，同样采用“给定材料+限定问题→概率化答案”的输出方式，但在底层网络上可能选择不同的编码结构、不同的池化策略或不同的候选打分机制。

这提示了一个重要的架构认知：输出接口的相似性是表层的，任务适配性取决于读取与输出两个环节的匹配程度。同样是输出概率，有的模型依赖双向编码器对输入做深度交互，有的模型依赖因果解码器在特定位置取表示，二者在长文本、跨段推理、候选数量扩展等场景下的表现会有实质差异。选型时不能只看输出格式，而要回到注意力可见范围与预训练任务这两个根本变量上。

五、架构选型的实践建议

综合上述演进脉络，可以把选型决策归纳为一张简明的判断清单：

• 任务是否需要开放式生成？ 是，则优先考虑自回归生成路线；否，则判断式路线在延迟与成本上更具优势。
• 任务是否依赖对输入的全句理解？ 是，则双向注意力更合适；若任务本质是续写或对话，因果注意力更自然。
• 输出是否需要概率与可校准性？ 是，则固定候选空间的判别式输出优于自由文本，便于阈值控制与流程编排。
• 延迟预算是否严格？ 若在百毫秒级，应避免自回归逐词解码，转而采用单次前向的打分结构。
• 是否需要与现有系统集成？ 概率化输出更易嵌入检索排序、风控审核、质量分级等既有流水线。

从 2017 年的注意力机制，到理解与生成两条路线的分化，再到判断式推理这一轻量形态的出现，大模型架构的演进并非单线替代，而是围绕“如何读入”与“如何输出”两个基本问题不断展开的谱系。认清这两个环节，比记住某个模型的名字更有长期价值。