大模型RAG中文档图表处理与表格结构化

在大模型RAG链路中，文档中的图表往往是最容易被“文本化”破坏语义的部分。普通段落可以按句子切分，表格、流程图、统计图、公式却依赖行列关系、视觉布局、图例与注释共同表达含义。若简单按行抽取文本，遇到合并单元格、多级表头、跨页表格时，数据顺序和归属关系很容易混乱，向量检索返回后大模型也难以准确理解。因此，图表处理不应只做一次格式转换，而应设计为“结构保真、语义可读、可检索、可拼接、可溯源”的多表示流程。总体上可拆为读取、转换、拼接三个核心阶段，并在中间加入语义增强与检索优化。

一、为什么图表是RAG中的高风险内容

图表的风险主要来自三方面。第一是结构风险：表格的行列、合并单元格、表头层级、单位与脚注共同构成语义，线性化后可能丢失“哪个值属于哪个条件”的关系。第二是检索风险：如果只把表格转成一段长文本，向量检索容易匹配不到关键行；如果切得过碎，又会丢失表头上下文。第三是生成风险：大模型拿到不完整的表格片段时，可能把不同行的数据拼接成错误结论。因此，表格处理的目标不是“把表格变成文字”，而是“把表格变成模型可理解、检索可命中、生成可裁剪的结构化上下文”。

二、总体架构：结构化表示与语义表示并行

建议为每个图表建立多表示索引，包括：原始位置与标题、结构化HTML、表格摘要、单元格级文本、单位与脚注、来源页码或段落锚点。HTML负责保留行列与合并关系，摘要负责提升检索召回，单元格文本负责细粒度匹配，位置锚点负责引用溯源。检索时可将查询分别与摘要、表格文本、正文上下文匹配，再融合排序；生成时优先放入表格摘要和裁剪后的HTML片段，避免超长上下文。

三、读取阶段：版面分析与结构识别

读取阶段首先识别文档版面，区分正文、标题、表格、图片、图注、脚注。对表格，需要检测表格区域、行列线、单元格边界，并识别表头、数据区、合并跨度。对跨页表格，应通过表头相似度、列宽、标题延续关系进行合并；对多级表头，应记录层级路径，例如“调整逻辑/市场调研/实际幅度”。读取结果不要直接变成纯文本，而应保留行列坐标、span信息、单元格类型和原始顺序。对扫描件可结合OCR，但需注意数字、百分号、正负号、单位和小数点的校验。

四、转换阶段：HTML结构化与语义增强

将表格转换为HTML是较适合大模型理解的方式之一，因为thead、tr、th、td、rowspan、colspan能显式表达表头与合并关系。转换时要保证行列顺序稳定、特殊字符转义、空单元格保留、表头与数据区分明。例如：

<table>
  <thead>
    <tr><th>区域</th><th>指标</th><th colspan="2">处理逻辑</th></tr>
  </thead>
  <tbody>
    <tr><td rowspan="2">A区</td><td>指标一</td><td>规则一</td><td>示例一</td></tr>
    <tr><td>指标二</td><td>规则二</td><td>示例二</td></tr>
  </tbody>
</table>

仅有HTML还不够。建议为表格生成简短摘要，说明表格主题、行列含义、单位、取值范围和关键条件；同时生成单元格路径文本，如“区域=A区；指标=指标一；处理逻辑=规则一”。这样既能被向量检索命中，也能在生成时帮助模型建立列语义。对于超大表格，还应保留可裁剪的行列索引，便于按查询只取相关行。

五、分块、索引与检索策略

表格分块不宜简单按字符数切分。可采用“表格级摘要块+行组块+关键单元格块”的层级结构。小表格整体作为一个块；大表格按表头加若干行组成子块，每个子块都重复表头与单位信息。索引时使用混合检索：摘要匹配主题，单元格文本匹配数值与条件，正文上下文匹配业务背景。检索结果进入生成前应做去重、补全表头和合并相邻行组，确保模型拿到的是自洽的表格片段。

六、拼接阶段：重建可读上下文

拼接阶段要把图表放回文档语境。建议在原文位置使用占位符，如“[[TABLE_001]]”，再根据生成需要替换为表格摘要、HTML子集或完整表格。拼接内容应包括章节标题、表格标题、表前说明、表后结论、脚注与单位。对于长表格，优先放入与问题相关的行、必要表头和摘要；对于跨页表格，应合并后统一编号。输出中保留来源锚点，便于引用到页码、段落或表格编号，降低幻觉风险。

七、图像类图表的处理

流程图、架构图、统计图等可先由视觉模型或版面模型生成描述，再抽取可结构化数据。例如柱状图可转为“类别—数值—单位”的小表；流程图可转为“节点—边—条件”的列表；无法可靠抽取的图，应保留图片、图注、坐标和摘要，并在生成时使用多模态模型。无论哪种方式，都要让文本描述与原始图注一致，避免模型基于模糊描述过度推断。

八、评估与工程落地

评估应覆盖解析准确率、结构保真度、检索召回率、表格问答准确率、答案忠实度和引用命中率。可构建包含合并单元格、跨页表、多级表头、单位陷阱的评测集，抽样人工复核。工程上应保证流水线幂等、版本可追溯、解析结果可缓存，并对表格解析失败、跨页合并冲突、数字异常等情况监控告警。只有把读取、转换、拼接和评估形成闭环，RAG系统才能稳定处理文档中的图表，让大模型既“看得到”表格，又“读得懂”结构。