（来源：科技行者）
你有没有想过，同一篇论文,如果换一种说法重新写一遍,会不会得到完全不同的审稿分数?
这听起来像是个荒谬的问题。科学成果就是科学成果,实验数据不会因为措辞变了就变得更可靠或更糟糕。但一群来自弗吉尼亚理工、马里兰大学和MBZUAI的研究者做了一件很较真的事:他们把60篇ICLR 2026的投稿论文,用AI改写成1200个"换了包装但内容不变"的版本,然后让30种不同配置的AI审稿系统去评审这些论文。
结果让人有点坐不住。有些AI审稿人看起来特别"稳定",给同一篇论文的各种改写版本打分几乎不变。但仔细一查才发现,这种稳定根本不是因为它真的读懂了论文内容,而是因为它对所有论文都打差不多的分,不管好坏。这就好比一个阅卷老师,不管学生写得多好多差都打75分,你当然可以说他"打分很稳定",但这种稳定毫无意义,因为他根本没有在评判。
这篇论文把这个现象命名为"虚假稳健性",并且提出了一整套诊断方法和一个改进方案。接下来我们就把这件事从头到尾讲清楚。
为什么这个问题现在才被重视
大语言模型正在被越来越多地用来辅助甚至直接进行论文审稿,从生成审稿意见到参与录用决策。这件事情本身的分量很重,因为审稿结果决定了哪些研究能被发表、被看见、被后续引用,进而影响整个学术生态往哪个方向走。
以前评价AI审稿人靠不靠谱,大家主要看两件事:审稿意见有没有用,以及和人类审稿人的打分、决定是否一致。这些标准当然重要,但研究者指出了一个被忽略的角度:一个真正可信的审稿人,应该在论文用不同的措辞表达同样的科学内容时,依然给出一致的科学判断。
这个要求被研究者命名为修辞稳健性。
修辞稳健性*:指AI审稿人面对同一篇论文的不同"包装版本"(内容相同但表达方式不同)时,能否保持一致的科学判断,同时又不丧失区分不同论文优劣的能力。
为什么这件事突然变得紧迫?因为大语言模型让"改写论文"这件事变得极其廉价。以前你想让一篇普通论文看起来更厉害,得自己绞尽脑汁美化措辞,现在只需要让AI帮你润色一下摘要、调整一下语气、把贡献部分写得更有气势。如果审稿AI会因为这种表面功夫而改变打分,那整个审稿系统奖励的就不是科学改进,而是修辞优化。换句话说,谁更会"包装",谁就更容易过审,这和科学精神是背道而驰的。
这篇论文想弄清楚的核心问题是:AI审稿人能不能在面对修辞变化时保持判断稳定,同时又不丧失对论文质量差异的敏感度?
这个"同时"两个字是整篇论文的关键所在。
稳定和区分能力,为什么必须一起看
研究者给修辞稳健性下了一个很精确的定义,包含两个互相制约的要求。
第一个要求叫同篇稳定性,指的是同一篇论文的不同修辞变体,应该得到接近的分数。第二个要求叫跨篇区分性,指的是不同论文之间的质量差异应该被保留下来,不能被抹平。
单独看第一个要求是不够的。想象一个永远给所有论文打6分的审稿人,他对同一篇论文的各种改写版本当然"完全稳定",因为他压根没在乎内容是什么。这种稳定毫无价值,因为它同时也意味着他分不清一篇突破性的论文和一篇平庸的论文。
这就像一台体重秤,如果它不管你站不站上去都显示75公斤,你可以说它"读数极其稳定",但这台秤已经失去了测量的意义。真正有用的体重秤,应该是你体重没变时读数稳定,但不同人站上去时读数要能反映出真实的体重差异。
这个类比点出了问题的核心:稳定性必须和区分能力绑在一起评估,单独测量任何一个都会得出误导性的结论。如果只测稳定性,你会把"失去判断力"误认为"优秀的鲁棒性";如果只测区分能力,你又会忽略那些容易被措辞操纵的审稿人。
研究者为此设计了一套同时衡量两者的指标体系,后面会详细展开。
RobustReview:一个专门设计出来的"测谎"基准
要验证一个审稿人是不是真的"虚假稳健",你得先有一批测试样本:同一篇论文,内容完全不变,但表达方式被系统性地改写成不同版本。
研究者从ICLR 2026投稿中挑选了60篇有完整arXiv源文件的论文,按照人类审稿人打出的平均分,分成六个区间,每个区间随机抽10篇,这样就能覆盖从低分到高分的各种论文质量。
论文选好之后,研究者设计了10种修辞改写方式。其中六种是单一维度的改动,比如调整论文对自身新颖性的表述强度,改变研究范围的表述口径(是说"适用于所有场景"还是"仅在特定条件下验证"),调整证据呈现的方式,改变贡献部分的组织结构,调整技术语言的正式程度,或者改变句子的词汇和语法复杂度。另外四种是更复杂的综合改写,包括同时改动多个维度的联合改写、连续改写两轮或三轮(让改写效果不断叠加),以及根据审稿反馈专门调整的引导式改写。
每种改写条件都由两个独立的AI系统各生成一版,这样就有了1200个修辞变体,加上60篇原始论文,总共1260份完整论文手稿。改写作用在完整的LaTeX工程文件上,而不是只改摘要或几个段落,这意味着改写是全方位、结构化的,更接近真实世界里"包装论文"可能发生的样子。
为了确保这些改写真的只改了"包装"而没有动"内容",研究者还专门请了一个独立的AI模型加上三位研究生志愿者,对表格数据、数值结果、实验设置、方法细节、结果方向这五个维度做了核查。自动审核的通过率在94.8%到97.3%之间,人工审核的通过率更高,在96.7%到98.7%之间,三位标注员之间的一致性达到94.6%。这说明绝大多数改写确实做到了"换汤不换药"。
改写方式想明白了,接下来就是找一批AI审稿人来"实战测试"。
30种AI审稿人的集体大考
研究者一共测试了30种审稿配置,覆盖三大类系统。
第一类是通用大模型,包括GPT-5.5、GPT-5-mini、Claude Sonnet 5、GLM-5.2、Kimi-K2.6、GPT-OSS-120B、Gemini-3.5-Flash-Lite和Qwen-3.5-Flash,每个模型分别用三种审稿协议来测试:标准协议按照ICLR的常规评审标准打分,严格协议采用更保守的评判门槛,坚持协议则反复提醒模型"要基于实质内容而非修辞表达来打分"。这第三种协议其实就是在直接测试一个问题:光靠提示词告诉AI"别被文笔骗了",真的管用吗?
第二类是专门为论文审稿训练过的模型,比如OpenReviewer、CycleReviewer、DeepReviewer。
第三类是更复杂的智能体审稿系统,比如AI Scientist、OpenJudge、ProReviewer,这些系统有自己的多步骤审稿流程。
评价这30种配置,研究者用了七个指标,分成三组。
第一组是直接稳定性指标,包括平均绝对偏差(简称MAD,衡量改写前后打分变化的平均幅度)和漂移标准差(衡量打分变化的离散程度),数值越低说明越稳定。
第二组是联合稳定区分指标,包括组内相关系数ICC、信号保留比SPR和区分度Discrim,这三个指标的巧妙之处在于,它们不是单纯看"稳不稳",而是把同篇稳定性放在跨篇差异的背景下衡量,数值越高越好。
第三组是人类一致性指标,包括人类平均绝对误差H-MAE和斯皮尔曼相关系数,衡量AI打分和人类审稿人打分、排名的吻合程度。
这七个指标像一张X光片,从不同角度照出一个审稿人到底是真稳健还是假稳健。
主场景的核心发现:坚持协议不是万能药
研究者首先测试了"坚持协议"这种靠提示词硬性要求模型"只看内容不看包装"的办法,结果是好坏参半。
只有GPT-5.5在所有五项稳健性指标上都有改善。而Claude Sonnet 5用了坚持协议之后,MAD和漂移标准差确实降低了,但ICC、SPR和区分度反而变差了,说明它变得更"稳定"的代价是丧失了一部分区分论文优劣的能力。其他模型的表现也是起起落落,没有统一的规律。
这个结果说明单靠提示词让模型"忽略措辞、只看内容"是靠不住的,效果因模型而异,没法一概而论。这也是研究者后面提出新方案的直接动机。
虚假稳健性的具体案例
这部分的数据特别值得细看。Gemini-3.5-Flash-Lite在标准协议下的MAD只有0.205,是所有现有配置里最低的,看起来是最稳定的审稿人。但它的ICC只有0.199,区分度只有0.511,几乎等于瞎猜。这说明它的"稳定"其实是因为它对所有论文的判断都差不多,根本没有真正读懂内容差异。
类似的情况也出现在DeepReviewer和OpenJudge身上,它们的打分漂移都比较小,但ICC只有0.161和0.239,区分度也只有0.537和0.526,同样是"稳而不辨"。
反过来看GPT-5.5在坚持协议下,MAD达到0.476,比刚才那几个模型都高,但它的ICC、SPR和区分度在30种配置里是最高的。这说明它虽然打分会随修辞有一定波动,但这种波动远远小于它对不同论文质量差异的捕捉能力,它是真正在"思考"论文内容,而不是在盲目给分。
研究者把前面那种"低漂移但无区分力"的现象命名为虚假稳健性,这是整篇论文最重要的发现之一。
人类一致性和修辞稳健性是两码事
还有一个容易被忽略但很关键的发现。在GPT-5.5内部,严格协议和人类评分的吻合度最高,人类平均绝对误差只有1.078,斯皮尔曼相关系数达到0.529。但坚持协议虽然在人类一致性上表现较弱,却在ICC、SPR和区分度上更强。
这说明一个审稿人"打分像人类"和"面对修辞变化时判断稳定"是两件不同的事情,优化其中一个不代表另一个也会跟着变好。这也提醒我们,以后评价AI审稿系统,不能只拿它和人类打分的相似度来当唯一标准,必须单独做修辞稳健性的测试。
SciCore:给AI审稿人配一副"去滤镜眼镜"
发现问题之后,研究者没有止步于诊断,而是设计了一套解决方案,取名SciCore。
这个方案的核心思路很直接:既然完整手稿里混杂着科学内容和修辞包装,那能不能先把纯粹的科学内容提取出来,单独评审一遍,再和正常的全文评审结果做个平均?
具体来说,SciCore有两条并行的评审分支。一条叫手稿分支,直接用严格协议评审完整的论文PDF,保留对全文的判断能力。另一条叫科学核心分支,先用AI从论文里提取出一份结构化的"科学记录",内容包括研究问题、核心主张、方法与假设、数学推导、实验或理论证据、报告的结果、作者声称的贡献、可复现性信息和局限性说明,然后专门针对这份记录进行评审。最后,两条分支的打分取算术平均,作为最终结果。
科学核心*:指从论文中提取出来的一份客观、第三人称、不带修辞色彩的结构化科学记录,只保留claims、方法、证据、结果等实质内容,不包含评价性语言。
这里有个细节值得说一下。提取科学核心的时候,图表不是直接保留图片,而是把表格里的数值、对比内容明确转写成文字,这样后续的科学核心审稿人依然能看到完整的数据信息,但看不到原论文里花哨的排版和语气。提取过程被明确要求用客观的第三人称语言,避免带入任何评价色彩,如果某些信息在论文里找不到或者读不清楚,提取器会如实记录"这里信息缺失",而不是自己脑补。
这个设计背后有一个很朴素的道理。打个比方,你要判断一道菜好不好吃,最靠谱的办法当然是亲自尝一口。但如果有人很会摆盘、会讲故事,把一道普通的菜说得天花乱坠,你光听介绍很容易被带偏。这时候如果有个人把这道菜的配料表、烹饪步骤、营养成分单独列出来给你看一遍,再结合你亲自品尝的感受综合判断,你的判断就会比单纯听介绍更靠谱。如果不这么做会怎样?你可能会给一道普通的菜打出很高的分,只因为它的摆盘和话术特别出色,而一道扎实但朴素的菜反而被低估。
有一个问题可能会被问到:为什么不干脆把提取出来的科学核心重新"写"成一篇新论文再去评审,而是直接评审这份提取记录本身?研究者专门做了对比实验,把这种重新生成论文的做法叫做ReconstructReview。结果发现,这种重建操作反而让MAD从0.598恶化到0.651,漂移标准差从0.956恶化到1.101。研究者给出的解释是,重建这一步相当于又引入了一次新的措辞加工,等于把"去除包装"的努力又包了一层新包装回去。这就好比你费劲把一盘菜的配料和做法都列清楚了,结果又找了个厨师把这些信息重新做成一道新菜端上来,那这道新菜照样会有自己的摆盘和调味风格,你绕了一圈其实没省掉什么。直接拿着配料表做判断,反而比重新做一道菜更直接、更可控。
提示词设计这件事本身也没那么简单
有意思的是,即便已经把科学核心提取出来了,怎么审这份记录依然很有讲究。研究者测试了四种不同的审稿策略来评审同一份科学核心,分别是标准协议、严格协议、坚持协议和专门为科学核心定制的适配协议。
结果显示,坚持协议反而让所有五项稳健性指标都变差了,而专门定制的适配协议在MAD和漂移标准差上表现最好,ICC和SPR也是四者中最高的。这说明哪怕你已经把修辞干扰去掉了,审稿指令怎么写、怎么引导模型综合各部分信息做判断,依然会显著影响最终的稳健性。这其实也呼应了前面的发现:单靠提示词喊口号是不够的,背后需要更细致的流程设计。
这里还有一个特别值得拿出来说的细节。研究者发现,在"置信度"这个评分维度上,标准协议和严格协议下的科学核心审稿人几乎给所有论文打了完全相同的分数,坚持协议下的变化也微乎其微。这种"零漂移"看起来很稳,但代价是SPR几乎降到零,也就是说这个打分完全失去了区分不同论文的能力,是典型的虚假稳健性在发生。而经过专门调优的适配协议,重新让置信度评分恢复了跨论文的差异,SPR提升到0.394。这个细节非常直观地印证了论文反复强调的一点:低漂移本身不能说明任何问题,必须结合区分力一起看。
主实验结果:SciCore的表现如何
在以GPT-5.5为核心模型的主要对比中,SciCore在ICC(0.775)、SPR(0.652)和区分度(0.726)这三项联合指标上都拿到了30种对比配置里的最高分,同时人类平均绝对误差也是最低的(1.072),斯皮尔曼相关系数排名第二(0.488)。
不过它并不是全面碾压,它的MAD和漂移标准差并不是最低的,人类一致性的相关系数也略低于GPT-5.5在严格协议下的表现。但综合来看,SciCore在"稳定性和区分力"这个联合目标上的表现是所有被测配置中最均衡、最领先的,同时人类一致性也保持在有竞争力的水平。
研究者还做了配对的统计检验(自助法重采样),结果支持SciCore相对于单纯的严格协议手稿评审,在五项稳健性指标上都有显著改进,相对于单独的科学核心分支,在人类一致性上也有改进。这说明两条分支确实在互补,而不是其中一条分支单方面拖累了另一条。
跨模型测试:效果因人而异
研究者还把科学核心分支搬到GPT-5-mini和GLM-5.2这两个不同的模型上测试,看这个思路是不是放之四海而皆准。
结果是部分成立但不完全一致。GPT-5.5上全面改善,GLM-5.2上七项指标全部改善,但GPT-5-mini上虽然MAD、漂移标准差和ICC有改善,SPR和区分度反而下降了。研究者坦率地承认,这说明科学核心分支的效果是依赖具体模型的,不是一个能无脑套用到任何模型上都生效的万能公式。
这个坦诚挺难得的。很多论文到这里可能就选择性地只展示好消息了,但这篇论文明确把"效果因模型而异"写了出来,这也是科学研究应有的态度。
权重怎么分配也很讲究
SciCore的两条分支是按五五开简单平均的,研究者还专门做了权重敏感性实验,把科学核心分支的权重从0一路调到1,观察不同权重下各项指标的变化趋势。
总体趋势是,科学核心分支权重越高,稳健性相关指标往往越好,但人类一致性会相应下降。在三种手稿协议的对比里,坚持协议最有利于稳健性,严格协议最有利于人类一致性,而选定的严格协议搭配五五开权重,恰好落在两者权衡的过渡地带,在不牺牲太多人类一致性的前提下维持了较强的稳健性表现。研究者把这个默认权重称为"不需要调参、天生平衡"的简单有效方案。
科学核心到底稳不稳,区分不区分
除了打分层面的验证,研究者还做了一层更底层的检查:直接测量提取出来的"科学核心"文本本身,在语义层面是不是真的稳定且有区分力。
方法是把每个修辞变体提取出的科学核心,和它对应原始论文提取出的科学核心,用文本嵌入模型计算余弦相似度,同时和其他59篇不相关论文的科学核心做对照组比较。
结果相当清晰。以GPT-5.5作为提取器为例,同一篇论文的匹配相似度高达0.978,而跨论文的对照相似度只有0.616到0.619,中间有巨大的鸿沟。这说明提取出来的科学核心确实做到了"同一篇论文的不同措辞版本,内容记录高度相似;不同论文之间,记录依然能被清楚区分开",这正是前面提到的那个"去掉包装、只留干货"的设计目标得到了验证。
写在后面
读完这篇论文,最让我意外的不是SciCore这个方案本身,而是"虚假稳健性"这个概念被这么明确地提出来并且用数据实锤了。在这之前,如果有人告诉我某个AI审稿系统"打分很稳定",我大概率会觉得这是个优点。但现在我会多问一句:它稳定,是因为真的理解了内容,还是因为它对谁都一个态度?
论文里那个置信度评分几乎全部打相同分数的细节特别值得玩味。这其实暴露了一个更普遍的风险:任何自动化评估系统,只要指标设计得不够精细,就有可能被系统悄悄找到一条"躺平也能过关"的捷径,比如无论输入是什么都输出一个安全的中间值。这不只是审稿领域的问题,任何用AI做自动打分、自动质检、自动评级的场景,都可能撞上类似的陷阱。
另一个让我反复琢磨的地方是,研究者没有把SciCore包装成一个完美无缺的答案,反而老老实实地写出了它在GPT-5-mini上部分指标变差的结果,也写出了纯靠提示词喊"别看包装看内容"基本不管用。这种克制的诚实,在一篇提出新方法的论文里其实挺少见的,也让这篇论文的可信度高了不少。
如果审稿人本身也可以被"审稿人训练出来对付审稿人",那这会不会变成一场新的军备竞赛?当改写论文的AI越来越聪明,审稿AI又要怎么跟上?这大概是这篇论文留给后来者最值得继续追问的问题。
Q&A
Q1：修辞稳健性是什么意思？
A：指AI审稿人面对同一篇论文的不同表达版本时，能否保持一致的科学判断，同时还能区分出不同论文的真实质量差异，这两者必须同时满足才算真正稳健。
Q2：什么是虚假稳健性？为什么它是个问题？
A：虚假稳健性指审稿人对同一篇论文的改写版本打分几乎不变，看似很稳定，但实际上是因为它对所有论文都给出差不多的分数，根本没有区分论文优劣的能力，这种稳定毫无意义。
Q3：SciCore是怎么解决这个问题的？
A：SciCore用两条分支评审论文，一条正常评审完整手稿，另一条先提取出不带修辞色彩的结构化科学核心再单独评审，最后把两个分支的打分取平均，兼顾了稳定性和区分力。
