多模态文档智能的token压缩与跨页理解机制

一、原理概述：文档智能到底在解决什么问题

文档智能（Document Intelligence）指让模型像人一样”阅读”文档：识别版面结构、提取文字与表格、理解图文关系，并在此基础上完成问答、检索增强生成等下游任务。当前主流技术路线以多模态大模型为核心，将文档页面渲染为图像，由视觉编码器转换为视觉token，再与文本指令一同送入语言模型进行推理。

这条链路的核心矛盾在于：文档是视觉信息密度极高的载体，而视觉token是稀缺的计算资源。一页A4文档在常规分辨率下可能产生上千个视觉token，一本数百页的文档则会产生数十万token的上下文，直接冲击推理的计算性能与显存占用。因此，文档智能的技术演进基本围绕两条主线展开：一是”如何用更少的token表达更准确的文档内容”，二是”如何让模型在跨页、长上下文的条件下仍能可靠地定位证据并生成答案”。本文即围绕这两条主线，拆解token压缩、层级解析与跨页强化学习三类机制背后的运行原理。

二、背景问题：视觉token为何成为瓶颈

理解压缩机制之前，必须先理解token数量为何会直接转化为性能压力。多模态大模型的推理计算大致分为两个阶段：

1. 预填充阶段（Prefill）：视觉token与文本token一同进入注意力层，注意力计算量随序列长度呈平方级增长，视觉token越多，预填充越慢、显存峰值越高。
2. 解码阶段（Decode）：每生成一个输出token都要对所有历史token做注意力，长上下文意味着每步解码的访存开销更大。

因此，视觉token数量不仅影响单次推理的延迟，还影响批处理吞吐与可支持的最大页数。token压缩与token剪枝正是针对这一瓶颈的两类手段，二者目标相同但机制不同：

手段	作用对象	典型时机	核心思路
token压缩	视觉token集合	编码后、进入语言模型前	合并、池化或重编码，保留信息的同时降低数量
token剪枝	视觉token集合	编码后或注意力计算中	依据重要性评分丢弃冗余token，保留子集

压缩偏向”融合”，剪枝偏向”取舍”。二者共同的难点是：文档中的小字号文字、表格细线、公式符号等信息密度极高，粗暴降采样会直接损失可读性，因此压缩策略必须与任务目标对齐——例如让模型自主决策哪些区域值得保留，而不是采用固定规则。

三、核心机制一：自适应token压缩

固定比例的池化压缩实现简单，但无法区分”空白页边距”与”密集表格”。一种更精细的思路是引入可学习的决策机制：由模型根据图像内容与任务指令，自主决定压缩粒度或保留比例，并通过强化学习对”压缩后仍能正确回答”这一结果进行奖励。其运行流程可抽象为：

输入: 文档图像 + 用户问题
步骤1: 视觉编码器输出原始token序列 V = [v1, v2, ..., vn]
步骤2: 压缩决策模块输出保留掩码 M（或每区域压缩率）
步骤3: 按 M 聚合/筛选得到压缩序列 V'，长度 m << n
步骤4: V' 与文本指令拼接，送入语言模型生成答案
步骤5: 依据答案正确性与压缩率计算奖励，回传更新决策模块

这一机制的关键在于奖励设计：若只奖励压缩率，模型会倾向于过度压缩导致答案错误；若只奖励正确率，模型会退化为不压缩。合理的奖励通常是”正确性为主项、压缩率为正则项”的加权组合，使模型在保证任务效果的前提下寻找更短的表达路径。这与端到端训练的区别在于：压缩决策作为独立策略被优化，无需重训整个语言模型，工程上更易落地。

四、核心机制二：层级式文档解析链路

单页VLM-OCR方案（视觉语言模型直接输出文字、表格、图片及坐标框）已相对成熟，但存在结构性缺陷。业界常见的改进是采用”级联”架构：

• 版面分析层：先检测页面中的文本块、表格、图片、标题等区域并给出阅读顺序；
• 内容识别层：对每个区域分别调用识别模型，输出区域内的文字或结构化内容；
• 结构重建层：依据坐标与阅读顺序，将区域结果拼装为文档树。

级联架构的优势是各层职责单一、可独立优化，且小参数量模型即可承担识别任务，整体成本可控。但其代价是误差会逐层传递：版面检测漏检一个表格，后续识别层就无从补救。因此近年进展更多集中在训练数据构造上，尤其是拍摄场景（透视畸变、光照不均、折痕遮挡）的样本覆盖，而非架构本身的颠覆。

更进一步的趋势是文档级结构化。由于所有解析方案都基于单页处理，跨页问题无法在页内解决，必须引入后处理层：

1. 段落跨页断裂：依据末行与首行的语义连贯性、行宽与缩进特征进行合并；
2. 大表格分页拆分：通过表头重复检测与列对齐，将上下表身拼接为同一张表；
3. 多级标题层级混乱：利用字号、编号模式（如”1.1””第一章”）重建标题树，恢复从属关系；
4. 图文分离：依据图注位置与正文引用关系，将插图绑定到对应段落。

这一层的输出是”文档树”而非”页集合”，直接决定了检索增强生成场景中切块（chunking）的质量：按树结构切块可保持语义完整，按页切块则容易把一张表切成两半，导致检索命中却无法回答。

五、核心机制三：跨页证据检索的强化学习框架

多页文档问答与单页问答的本质差异在于两个新问题：

• 证据稀疏：答案只依赖少数几页，其余页面是干扰项，模型需先”筛页”再”答题”；
• 双目标平衡：检索错了页面，生成再流畅也无意义；只追求检索召回而不约束生成，则答案可能脱离证据。

传统基于群体相对策略优化的强化学习框架面向单图/单页任务设计，奖励只作用于最终答案，无法对”中间筛选过程”给出信号。针对多页场景的改进框架通常将任务拆为两阶段并分别设计奖励：

第一阶段：全局定位。 模型浏览全部页面（或其摘要表示），输出候选证据页集合。此阶段奖励侧重检索质量，例如证据页召回率、候选集规模惩罚（避免”全选”作弊）。

第二阶段：证据推理。 模型仅在候选页内进行细粒度阅读并生成答案。此阶段奖励侧重答案正确性与格式一致性，例如与标准答案的匹配度、引用坐标是否落在证据页内、输出结构是否符合约定模板。

两阶段奖励加权合并后回传，使模型学到”先找对页、再答对题”的行为模式。其原理价值在于：把不可解释的端到端生成，拆解为可分别监督的”检索策略”与”生成策略”，让强化学习信号能够作用到中间决策点，而不是只在终点打分。

六、模块协作与数据流转

将上述机制放入一个完整系统，可抽象为四层协作：

• 接入层：接收文档上传，完成格式归一化、页面渲染与分辨率控制；
• 解析层：版面分析 + 区域识别 + 结构重建，产出文档树与坐标索引；
• 压缩与表示层：对页面视觉token执行压缩/剪枝，按任务需要选择页级或块级表示；
• 推理层：执行证据页筛选与答案生成，输出结果及引用定位；
• 监控层：记录token消耗、压缩率、检索命中率与答案正确率，用于策略迭代。

数据在各层间的状态变化是：原始文件 → 页面图像 → 区域框与文本 → 文档树节点 → 压缩token序列 → 候选证据集 → 最终答案与引用。任一环节的信息损失都会向后传导，因此工程上通常保留原始图像与坐标作为回溯依据，避免解析错误不可修复。

七、技术边界与常见误区

边界一：压缩率与可读性存在硬约束。 当文档包含大量小字号文本或复杂表格时，压缩的收益空间有限，盲目追求高压缩比会显著拉低识别准确率。压缩策略应按文档类型自适应，而非全局固定。

边界二：级联架构的误差累积不可消除。 只能通过层间反馈（如识别置信度回传触发版面复检）缓解，无法根治。

边界三：强化学习框架依赖高质量奖励。 若证据页标注本身存在歧义，检索奖励会引入噪声，导致策略退化。

常见误区包括：把token剪枝等同于模型压缩（前者作用于输入序列，后者作用于参数）；认为跨页结构重建可由单页模型自动完成（页内模型看不到相邻页，必须外部后处理）；以及认为参数量越小越好（小参数识别模型在拍摄场景下的鲁棒性往往不足，需以数据覆盖弥补）。

八、总结

文档智能的底层逻辑可以归纳为一句话：在token预算约束下，尽可能无损地表达文档结构，并让模型在结构化表示上做出可监督的检索与生成决策。 token压缩与剪枝解决”看得起”的问题，层级解析与文档树解决”看得懂”的问题，跨页强化学习解决”找得准、答得对”的问题。三者不是替代关系，而是同一链路上不同位置的机制配合。理解这一点，才能在选型与调优时判断瓶颈究竟位于表示层、结构层还是决策层，而不是盲目堆叠模型规模。