大模型文献核验实测：句子成立≠论证成立

把文献综述交给大模型，多数人最担心的问题是“参考文献会不会是编的”。一组针对性实测给出了更微妙的答案：模型不仅正确识别了文献是否真实，还把三条引用的支持关系全部判断正确；然而当它据此写成综述初稿时，仍然被要求返工。问题不在“文献是不是编的”，而在段落到底想说明什么、不同研究为什么被放在一起。这提示我们：评估AI的科研辅助能力，需要一套更精细的分层视角。

一、四个常被混淆的核验层次

在“AI能不能写综述”的讨论里，大量评测停留在第一个层次，由此得出过于乐观或过于悲观的结论。一次完整的核验至少应拆成四层：

1. 身份层：题名、作者、出处、文献标识符是否可检索、可对应。这是最基础的一层，当前模型大多完成得不错。
2. 转述层：转述中的研究设计、被试、测量方式、结果方向与强度，是否与原文一致。这是错误的高发区。
3. 支撑层：即便转述无误，原句的断言强度是否超出了原文证据所能支撑的范围，例如把相关说成因果。
4. 论证层：在综述语境下，某项研究被放在段落里的功能是否清楚，它与相邻研究是递进、对照、互补还是冲突。

句子逐条成立，整段论证仍可能不突出，原因往往出在第四层。这也是本次实测最有价值的发现。

二、测试设计：同一组案例的三段式流程

本次实测环境为一个对话式AI工作台，所选模型为某前沿大模型的增强版本。材料是三篇讨论社交媒体使用与心理状态的真实实证论文，研究设计类型各不相同：既有基于即时问卷的追踪观察，也有随机分组的干预实验。

流程分为三个连续环节：将相同的三条待核验表述放入两个新对话，分别独立检查引用支持关系；再在第二次核验的对话中续写一份综述初稿；最后针对初稿做一次定向结构修订。

必须先声明这次测试的边界：重复使用的是同一组三个案例，不等于新增了六个独立样本；综述与修订承接此前对话，不能当成互不相关的独立测试；本期没有旧模型对照，也没有覆盖多学科的大批量文献。因此，结论是过程性、案例式的，用于揭示能力结构与失败模式，而非给模型排名。

同时要守住证据纪律：截图只能记录模型给出了什么回答，“已阅读全文”这类自述不能替代完整的访问日志；界面耗时也不能用来证明检索深度。唯一可信的做法，是把输出中的核心判断与原文逐条对照。

三、案例一：文献真实存在，转述却在设计与因果上越界

第一条测试故意放入一句有问题的转述：某团队通过随机对照实验发现，增加社交媒体使用会导致年轻被试的主观幸福感下降。

这篇文献的题名、作者与出处信息确实都能检索到。但注意，这些信息只能确认文献身份，还没有回答它是否支持“随机对照实验”和“导致”这两个关键表述。

两次独立回答都给出了“不支持原句”的判断，判断正确。原研究实际采用的是连续两周的经验采样：按随机时点向被试推送问卷，采集自然使用状态下的即时感受与使用强度。短信发送时间的随机安排，并不等于把被试随机分配到“增加使用组”与对照组；论文报告的是预测关系，其讨论部分也明确提出，需要操纵使用行为的实验来进一步确认因果。

这个案例暴露了两类典型越界：设计越界（把观察性研究写成随机对照）和结论越界（把预测关系写成因果）。自己核验时可以用三步拆解：

1. 先确认研究怎样开展：是观察还是操纵？分组是随机还是自然形成？
2. 再看原文报告了什么：是相关、预测还是因果？方向与范围如何？
3. 最后检查写进论文的动词有没有越界：“A导致B”还是“A预测B”？

还有一点常被忽略：不能因为原句有问题，就反过来说这篇论文没有价值。核验的目标是让结论强度回落到证据水平——保留原文确实报告的关联，删掉转述擅自添加的设计与结论强度。

四、案例二：“显著下降”必须带着比较对象读

第二条把某限制实验的发现概括为：相比正常使用组，限制使用组的孤独感、抑郁症状和焦虑都显著下降。这类表述的核验要点在于：统计显著性永远相对于特定比较而成立，必须带着比较对象读。具体盯住四个要素：

1. 比较对象与方向：参考组是谁？是“限制组低于对照组”，还是“限制组相对自身基线下降”？两者含义并不相同。
2. 指标范围：原文究竟测量了哪些指标？是否每一项都达到显著？把部分指标的显著扩大成“各项指标都显著”，是综述写作里最常见的事故之一。
3. 分析设计：是组间比较还是组内前后测？是主要结局还是探索性分析？效应量与显著性是否都被报告？
4. 时间窗：干预持续多久？结论是短期效应还是有随访数据支撑？

转述时最稳妥的做法是保留参照系与限定词，例如“在为期数周的随机限制实验中，限制组在孤独感等指标上相对对照组表现出显著改善”，而不是压缩成丢掉比较对象的绝对化句子。一旦参照系丢失，句面仍然“通顺”，证据关系却已经变形。

五、最难的一步：结构修订，让论证浮出水面

回到开头：三条支持关系都判断正确，综述初稿仍被要求修改。这说明综述写作的难点不在“每句话是否有据”，而在“整段的论证功能是否清晰”：

• 每段要说明什么，需要论点句先行，而不是让读者从罗列的事实里自行归纳；
• 不同研究为什么放在一起，需要明确的组织原则——可以按证据强度分层（观察性证据、准实验证据、随机实验证据），也可以按问题递进（现象、机制、边界条件），而不是按发表时间或主题标签简单排布；
• 研究之间的冲突与缺口，需要被显式标出，而不是被平滑的行文掩盖。

实测中的做法是定向结构修订：不泛泛地要求“写得更好”，而是给出明确指令，例如“每段首句给出论点；按从关联证据到干预证据的顺序重排；在段尾标出当前证据未回答的问题”。模型对这类局部、明确的指令执行得相当好；但主动完成论证规划——判断哪一段缺少论点、哪两项研究其实构成对照——目前仍超出其自觉能力。这一步，恰恰是人的价值所在。

六、评测纪律：三条必须守住的边界

这类案例式实测很容易被过度解读，因此评测本身也要有纪律：

1. 判断对照原文，而不是对照自述。模型自述的阅读范围不能替代访问日志，耗时数据不能证明检索深度，一切以核心判断与原文的逐条对照为准。
2. 声明独立性边界。重复案例、对话承接、无对照组、小样本，这些限定条件决定了结论的适用范围，写报告时必须如实交代。
3. 保留可复现的表述。把待核验句、模型判断、原文依据放在一起呈现，让读者能够自行复核，而不是只给出“测过了，没问题”。

七、走向可靠的人机协作科研范式

把上述经验收敛成可操作的工作流，大致是三步。

第一步，核验先于写作。先建立“论断—证据”对照，再生成文字，而不是生成之后抽查。一条论断卡片的示意结构如下：

{
  "claim": "限制社交媒体使用可改善孤独感",
  "source": "某随机分组限制实验",
  "design": "被试随机分组，干预为期数周",
  "reported_result": "限制组相对对照组，孤独感指标显著改善",
  "support_status": "支持，需保留比较对象与干预时长",
  "causal_status": "可支持因果表述（依赖随机分配）",
  "quote_location": "结果部分"
}

对于观察性研究，causal_status 应明确写为“仅支持关联表述”——这正是案例一暴露出的越界点。

第二步，把结构修订变成显式指令。论点句、组织原则、冲突标注，逐条下发给模型执行；论证规划由人完成。

第三步，重新分配人的注意力。人只做三件事：定义综述要回答的问题、裁决关键论断的证据强度、决定整体论证结构。检索、初稿、格式化这类工作交给模型。

从范式角度看，变化不在于“AI替人做研究”，而在于瓶颈位置的移动：找文献、写初稿不再是瓶颈，评价论证、设计验证、承担判断责任成为新的核心工作。大模型更像一位不知疲倦的第一读者——它能逐句核对、能执行修订，但“这段话到底想说什么”，仍要由人来回答。

结语

文献核验的完整链条是身份、转述、支撑、论证四层。本次实测表明：当前模型在中间两层已能给出可用判断，前提是人把核验方法交代清楚；而论证层仍主要依赖人。对科研工作者而言，与其追问“AI能不能写综述”，不如先建立自己的核验清单与修订指令库。工具的能力边界是客观存在的，把它放到正确的位置上，才是这次测试给出的最大启示。