修改还是重解？
Ning, Li, Yu · Carnegie Mellon University · COLM 2026
过去三年，AI 工程里有一条人人默认的流水线：让一个小模型写初稿，再请一个更强的模型来「审查修改」。分数确实涨了，涨得还不少。但涨出来的分里，到底有几分真的来自修改草稿？三个卡内基梅隆的研究生把这笔账翻出来查了。论文里的 x₁、x₂、置信区间、消融实验——这些记号你一个都不用记。你只需要做一件事：先押注，再看开牌。
开牌之前，先押一注
先摆事实。考场是 GPQA（研究生级别的理科选择题），弱模型 GPT-4o-mini 单干，得 33.3 分；把它的草稿交给强模型 Gemini Flash「审查修改」之后，87.4 分。整整涨了 54.1 分。论文圈把这类提升欢呼为「审查的价值」。
现在轮到你。拖动滑块押注：这 54.1 分里，有几分来自强模型「看着草稿改错」？押好了就点开牌——押注不要钱，但请认真押，你的直觉马上要接受一次对照实验的检验。
被告席上坐着两个嫌疑人
把这件事当成一桩案子。案卷里只有两个数字：弱模型单干 33.3 分，流水线 87.4 分。检方指控：「修改草稿」立了大功。听着顺理成章——就像一份代码，初级工程师写完，资深工程师 review 之后大改一版、跑过了所有测试，你自然会说「review 流程起作用了」。
但被告席上其实坐着两个人。嫌疑人甲：修改——评卷人真的从草稿里读到了有用信息，把错处改对了。嫌疑人乙：重考——评卷人本来就是学霸，草稿翻没翻两说，那 54 分只是「换了个更强的人」的自然结果。想想那位资深工程师：如果你把初级工程师的代码藏起来，让他从零写，写出来的版本一样能跑过所有测试呢？
这就是麻烦所在：只有两个数字时，任何归因都只是叙事。Self-Refine、Reflexion、CRITIC——一大批流水线论文报告了提升，却几乎没有人把两个嫌疑人分开审。要定罪，得往证物台上摆新的证据。CMU 这三个人造的，就是一张证物台。
证物台：往强模型桌上放三样东西
审讯的思路很朴素：控制送到强模型面前的「证物」，其余一切——题目、模型、提示词——原封不动。桌上可以放三样东西之一：
① 真草稿：弱模型认真写的答案，这就是标准流水线。② 空壳草稿：格式和真草稿一模一样，但内容全是车轱辘话——「理由一：这个答案考虑了几种可能但没有针对当前问题。理由二：推理模式比较笼统。答案：C」——而且那个答案字母由题目的哈希值指定，和正确答案零统计关联。提示词照旧是「请审查这份答案并改进」。③ 什么都不放：连「请审查」的指令一起撤掉，让强模型裸考。
依次点击三张证物卡。点之前先自己猜一下分数——尤其是空壳那张：一份废纸，能考出几分？
同一笔涨幅，两本账
有了证物台上的三个分数，54.1 分的涨幅就能拆成三笔款项，每一笔都有自己的白话名字：重新解题（「换了个学霸」：裸考 − 弱模型单干）、脚手架（「进入改卷模式」这个任务框架本身的效应：空壳 − 裸考）、内容（草稿里的真货：真草稿 − 空壳，因为这两个条件之间唯一的区别就是草稿内容）。
先看「默认叙事」那本账，再切到「对照实验」，点「记一笔」把三笔款项逐笔入账——看它们加起来是不是恰好 54.1：
三笔入完账，对得一分不差：56.6 + 0.5 − 3.0 = 54.1。所谓「审查的奇迹」，56.6 分来自换人，0.5 分来自换姿势，−3.0 分来自草稿本身。你开头押的那一注，赌的其实是紫色那一小截——而它在零线以下。
四个条件的原始分数与三笔账速查（可跳过）
贯穿本文的样本：GPQA · 弱 GPT-4o-mini × 强 Gemini Flash（论文中的搭档二）。
| 条件 | 桌上放什么 | 提示词 | 得分 |
|---|---|---|---|
| 弱模型单干 | — | 直接答题 | 33.3 |
| 标准流水线 | 真草稿 | 请审查并改进 | 87.4 |
| 强模型裸考 | 空 | 直接答题 | 89.9 |
| 空壳对照 | 空壳草稿 | 请审查并改进 | 90.4 |
三笔账：重新解题 = 裸考 − 单干 = 56.6；脚手架 = 空壳 − 裸考 = 0.5；内容 = 真草稿 − 空壳 = −3.0。三者之和 = 流水线 − 单干 = 54.1。注意每相邻两个条件之间只改变一个变量——这正是控制变量法「一层一层剥」的地方。
然而，一对搭档、一张考卷，也可能只是偶然。换考场、换搭档，紫色那截还趴在零下吗？
换六次，判决不变
论文在两个选择题考场（GPQA，和号称「人类最后的考试」的专家级考卷 HLE）上，测了三对搭档——强弱差距各不相同。切换两个考场的标签，只盯一件事：紫色的「内容」条离零线有多远。
六种组合，蓝色「重解」一路领跑（HLE 搭档二那根 +30.4，统计上 p<.001 高度显著）；紫色「内容」六次全部趴在零线以下，−0.2 到 −3.0，统计上都不显著——不能排除它恰好是零，但可以排除「大幅为正」。翻译成人话：选择题上，强模型压根不是在改卷，它是在重考。弱模型那张卷子，大概率被翻了一下就扔到旁边去了——就像那位 reviewer，看了两眼质量太差的 PR，干脆另起炉灶写了一版：diff 看着像「审查后改进」，语义上和原稿毫无关系。
慢着，我有三个杠要抬（点开看论文怎么接）
「空壳草稿里那个『答案：C』会不会泄漏答案？」——不会。字母由题目哈希值指定，与正确答案零统计关联；它平均起来既不帮忙也不捣乱。
「是不是弱模型太拉胯了，草稿才没用？」——三对搭档的强弱差距从悬殊到接近都有，内容项六次全为负，模式一致。而且第 07 节有一个反向实验专门回答这一杠。
「内容项不显著，凭什么说草稿『拖后腿』？」——严格地说，统计上只能说「没有证据表明草稿有正贡献」。「轻微拖后腿」是六次全为负的点估计给出的方向；论文和我们都不把它当成强结论。真正的强结论是：重解项巨大且显著，内容项贴零。
看到这里，你可能已经准备给两阶段流水线判死刑了。慢——同一张证物台搬到代码考场，判决反转。
换到代码考场，剧情反转
LiveCodeBench，一千多道竞赛编程题。空壳草稿也换成了代码版：一个能通过语法检查、但函数体只有一句 pass 的空函数——只有签名，没有实现，像递给资深工程师一份写着「待实现」的文件，然后说「请 review 并改进」。
同样的三笔账，分布彻底变了。点击下面三枚彩色筹码，逐项对比左右两个考场（还是那对搭档：GPT-4o-mini × Gemini Flash）：
橙色那笔最扎眼：脚手架在选择题上只值 0.5 分，在代码题上值 42.9 分——一个什么都不做的 pass 函数，扛起了 49.6 分总提升里的绝大部分。论文的解释是任务框架的切换：收到「这有一份代码，请审查改进」加一个代码形状的空壳，强模型的行为模式就从「从零写一个解法」切换成「把这个东西修好、补完、让它能跑」——后者在竞赛编程里意外地有效，它会更在意输入输出格式、边界处理、提交完整性这些工程层面的事。
而紫色的内容项，在代码题上是 −7.9——比选择题负得更狠，而且这次统计上高度显著。为什么真代码比空壳伤害更大？因为代码不像一个选择题答案那样可以被一眼丢弃：一份草稿带着具体的解析逻辑、数据结构选择、循环骨架，强模型会倾向于在这些具体选择上修修补补，而不是推倒重来。论文给这个现象起了名字：工件锚定（artifact-level anchoring，「锚定」）——烂船也有三斤钉，钉子会把你钉在船上。同一个空壳，在选择题上一文不值，在代码题上价值 42.9 分：收益的形状，由任务的形状决定。
然而，如果真草稿有害是因为「锚定」，那就该有一个可检验的推论：题目越难，弱模型的实现越脆弱，锚就应该越沉。论文查了。
题越难，锚越沉
点击三档难度，看紫色「内容」项往水下沉多深——水面就是零线，零线以下就是「有草稿反而更差」：
−0.6、−3.4、−5.1，一路单调下沉。草稿越难写好，它就越像一个陷阱。这正是锚定假说预言的形状。
最后一个转折来自论文的「反向实验」：把角色对调，让强模型写草稿、弱模型来评卷。这一次，内容项翻正了——强模型的草稿让弱模型的成绩显著提升，选择题和代码题都是。整个故事的逻辑在这里闭合：草稿有没有用，不取决于「有没有草稿」，取决于草稿本身够不够好。好草稿 = 脚手架 + 可靠的语义信号；差草稿 = 脚手架 + 一个诱人的陷阱。
证物台交给你
零件都齐了：三个考场、三对搭档、三种证物。现在证物台归你。自由组合考场和搭档，看三种证物各能带来多少涨幅。给你一个挑战：找出一个让「真草稿」拿第一的组合。找到了，说明我们前面全讲错了；找不到——你就亲手复现了这篇论文。
比结论更值钱的东西
回想你这一路亲手做的事：开头你押了一注——多数人不会押一个负数；你把空壳草稿放上证物台，看着它考出全场最高分；你记完三笔账，看 56.6 + 0.5 − 3.0 严丝合缝地对上 54.1；你换了六次考场和搭档，紫色那截六次趴在零下；然后在代码考场看它翻转，看锚随难度一档一档下沉；最后你在沙盒里找了一圈「真草稿的冠军」，一无所获。
这篇论文（Ning, Li & Yu，卡内基梅隆大学，COLM 2026）给多模型系统的设计者留了一条很具体的工程判断：任务如果是选择题式的、答案空间有限的推理，省掉流水线，直接把问题丢给你最强的模型，可能更划算；任务如果是代码生成，两阶段仍然有价值——但价值来自「请修改」这个任务框架本身，而不是第一个模型写的具体代码。有时候，给第二个模型一个空函数签名，比给它一份半成品更好。
但比结论更值钱的是那张证物台。「流水线提了 20 分，所以审查起了作用」——这种句式你在 AI 工程里天天见：某个 prompt 技巧、某个 agent 框架、某个检索组件，「加上之后分数涨了」，于是功劳记在它名下。这篇论文示范的动作是：把那个组件换成一个形状相同的空壳，再测一遍。凡是经不起换壳重测的功劳，都只是叙事。你以为在发生的事，和实际在发生的事，未必是同一件事——而分辨它们，只需要多设两个对照组。