（来源：科技行者）
你有没有遇到过这种情况：两份作文,一份答对了三道难题但漏了两道简单题,另一份答对了两道简单题漏了三道难题,老师给的总分一模一样。你心里总觉得不对劲,这两份卷子的水平明明不一样。
这正是现在训练大语言模型时遇到的真实问题。
当AI要完成那些没有标准答案的任务,比如写一段医疗建议、做一次科学推理,人们通常会用评分标准表来打分。给每条标准设定一个分数,AI满足了就加分,最后把分数加起来除以总分,得到一个最终得分。这个得分会被喂给强化学习算法,告诉模型"这次表现好不好"。
问题就出在这个加分的过程上。
**评分标准表加权求和看起来很公平,但它悄悄丢掉了一个关键信息:两份得分相同的答卷,它们满足的到底是哪些标准。**
想象你在批改两份数学试卷,每道题值相同的分。学生A做对了三道最难的题,学生B做对了三道最简单的题,两人总分一样。但任何一个老师都知道,学生A展现出的能力水平更高。可如果你只看总分,这两个学生在系统眼里是完全一样的。这就是现在训练AI时正在发生的事情。
这篇论文的作者们给这个老问题找到了一个新角度的答案,他们管这个方法叫做**RRT**(Rubric Response Theory,评分标准反应理论)。听名字就能猜到,这是把心理测量学里的项目反应理论(Item Response Theory, 简称IRT)搬到了AI训练的场景里。
IRT原本是干什么的
要理解RRT,得先搞懂IRT是什么来路。
IRT是一套用来做标准化考试分析的统计工具,已经有半个多世纪的历史了。它的核心想法很朴素:一场考试里,每道题的难度是不一样的,每道题区分学生水平的能力也是不一样的。有的题目简单到谁都能答对,放在卷子里基本测不出什么信息;有的题目特别巧妙,只有真正掌握知识的学生才能答对,这种题的"区分力"就很强。
IRT不是简单地把答对的题目数加起来当分数,而是通过数学模型,根据一个人在一整套题目上的作答模式,反推出这个人真实的能力水平。这个能力水平是一个连续的隐变量,题目答对答错的概率都跟着这个隐变量变化。
这篇论文的作者想:评分标准表里的每一条标准,不就跟考试里的一道题很像吗?有的标准很容易满足,有的标准很难满足;有的标准一旦满足就说明回答质量确实高,有的标准满足了也说明不了太多问题。
**既然IRT能从答题模式里推断出学生的真实能力,那它应该也能从AI回答满足评分标准的模式里,推断出这次回答的真实质量。**
这个思路听起来很自然,但要真正落地,还有一堵墙要翻。
两个绕不开的硬骨头
论文一开头就点出了现有方法的两个根本性缺陷。
第一个问题前面已经说过了,就是加权求和这种聚合方式会把不同的答题模式"压扁"成同一个分数,丢掉了信息。论文里专门做了理论证明,结果显示一旦两条标准的"难度"和"区分力"参数不一样,就不存在任何一组固定的权重分配方式,能让加权求和达到信息利用的最优水平。换句话说,这不是工程细节没调好,而是这套方法从数学原理上就注定了信息损失。
第二个问题更现实:评分标准表上的条目越多,每次打分就要调用越多次的评审模型(通常是另一个更强的大模型来当裁判),这个开销会随着标准数量线性增长。
**对企业来说,这不是小事,因为每一次调用评审模型都是真金白银的成本和等待时间。**
这就好比一家餐厅想做菜品满意度调查,如果每道菜都要问顾客十个问题,顾客问卷疲劳,餐厅处理问卷的人力也吃不消。能不能只问顾客最关键的那两三个问题,就大致判断出满意度?
RRT想同时解决这两个问题:既要让评分更准确地反映真实差异,又要少问几个问题就能把事情说清楚。
把每条评分标准当成"一道题"
RRT给每条评分标准设定了两个参数,直接借用了IRT里的术语。
> 难度*:一条标准被满足的难易程度。难度越高,说明这条标准越不容易被满足,只有质量确实很高的回答才能通过。
> 区分力*:一条标准区分"好回答"和"差回答"的能力强弱。区分力越强,说明这条标准对回答质量的变化越敏感,一点点质量提升就能让它从不满足变成满足。
有了这两个参数,再加上一个叫做响应函数的东西(论文选用的是标准正态分布的累积分布函数,专业点叫高斯CDF),就可以写出一个概率公式:给定某次回答的真实质量,它满足某条标准的概率是多少。
> 高斯CDF*:一种S形曲线函数,用来把一个连续的数值(这里是回答质量)转换成一个0到1之间的概率(满足某条标准的概率)。
这里有个关键的设计选择,论文花了不少篇幅去论证:用高斯CDF而不是更常见的逻辑斯蒂函数(也就是深度学习里到处都是的sigmoid函数)。
这个选择看起来是个数学细节,但背后的用意很深。论文证明了,如果用逻辑斯蒂函数,那么推断出来的质量排序只取决于"区分力加权后的满足标准数",跟每条标准的难度完全无关。换句话说,逻辑斯蒂函数本质上还是在做加权求和,只是换了个包装。
而高斯CDF不一样,它让难度真正参与到排序里。论文给出了一个具体的例子:两条标准,一条难一条简单,一个回答满足了难的标准但没满足简单的那条,另一个回答反过来。在高斯CDF下,随着难度差距拉大,满足了难标准的那个回答会被判定为质量更高,即便两边"满足的标准数"是一样的。
**这正是研究者想要的效果:让系统真正理解"过了一道难题"和"过了一道简单题"是不一样的分量。**
这就跟招聘面试很像。如果一家公司招工程师,面试官只记录"候选人答对了几道题",那答对三道基础题的人和答对三道算法难题的人在系统里会被记成一样的分数。但任何一个有经验的面试官都知道,这两种"答对三道题"根本不是一回事。如果不区分题目难度,公司最后招到的可能不是能力最强的人,而是刚好押中题库的人。RRT想避免的正是这种"押题式"的误判。
贝叶斯推断:从答题模式反推真实质量
有了难度和区分力这两个参数,接下来RRT要做的事情是:给定一次回答在所有评分标准上的满足情况(论文里叫"verdict pattern",也就是每条标准是过还是没过的那一整串记录),反推出这次回答的真实质量是多少。
这一步用的是经典的贝叶斯推断。先给质量设一个先验分布(论文用的是均值为零、方差固定的高斯分布),然后把每条标准的满足概率乘起来,构成似然函数,再乘上先验,得到一个后验分布。最后取这个后验分布的峰值(也就是最大后验估计,MAP),作为这次回答的最终质量分数。
> 最大后验估计*:在贝叶斯统计里,先假设一个"大概率"的先验信念,再结合观测到的证据(这里是满足了哪些标准),算出让后验概率最大的那个值,把它当作最合理的估计结果。
论文证明了这个后验函数是严格凹的,意味着它只有一个最高点,不会有多个局部最优让人迷惑。实际计算的时候,RRT用了一种叫二分查找的简单数值方法,一步步缩小范围,直到锁定这个最高点的位置。
这里有个很直观的性质值得说一下:如果一个回答在其他条件都一样的情况下,多满足了一条标准,它的质量分数一定会提高,不会出现"多满足一条标准反而扣分"的怪异现象。这个性质保证了RRT的打分逻辑符合常识。
论文里举了一个具体例子来说明RRT跟传统打分方式的区别。五条标准按难度从易到难排列,两个回答都拿到了0.80的加权总分,但满足的标准完全不同:一个满足了前四条简单的标准,没过最后一条难的;另一个没过第一条最简单的,但过了后面四条更难的标准。按老方法,这两个回答得分一样。按RRT,后面那个回答因为通过了更难的标准,得到的质量分数明显更高(论文给出的具体数值是+1.61对+1.00)。
这个落差直观地告诉我们:**同样的总分,背后的真实水平可能相差很大,而RRT能把这种差距找出来。**
费舍尔信息量:哪些标准最值得问
解决了打分准确性的问题,RRT还要解决成本问题。这里用到的工具叫费舍尔信息量,它衡量的是一条标准在特定质量水平附近"透露了多少信息"。
> 费舍尔信息量*:统计学里用来衡量一个观测值能提供多少关于未知参数信息的指标。信息量越大,说明这个观测对精确估计参数越有帮助。
论文做了一个漂亮的理论证明(Theorem 2):在他们的模型假设下,把所有标准的似然得分加起来形成的"评分标准似然得分",是所有可能的打分函数里,局部信噪比最高的那一个,达到了费舍尔信息量给出的理论上限。
这个结论的实际意义是,如果想选出当前最该去问评审模型的那几条标准,应该优先选那些费舍尔信息量最高的标准,也就是那些最能帮助精确判断当前这批回答质量的标准。
论文还给出了费舍尔信息量的一个漂亮性质:每条标准的信息量曲线,在它的难度值那个点达到峰值,然后向两边对称衰减。换句话说,**一条标准最有信息量的地方,恰好是在这条标准"刚好一半人能过一半人不能过"的那个难度点附近。**
这个道理其实很好理解,出题老师都懂。一道所有人都能做对的题,考不出任何区分度;一道所有人都做不出来的题,同样考不出区分度。真正有价值的题目,是那种"水平刚好卡在及格线附近的人会纠结要不要选这个答案"的题。费舍尔信息量就是在数学上把这个经验直觉精确地量化了出来。
这里又能联想到医院的分诊台。如果一个病人身体状况明显健康或者明显危重,医生一眼就能判断,不需要再做额外检查。真正需要做更多检查的,是那些症状介于两者之间、看不出轻重的病人。如果医院把检查资源平均分配给所有病人,那些明显健康或明显危重的病人占用的检查资源其实是在浪费,真正该多做检查的中间状态病人反而没得到足够关注。费舍尔信息量选择标准的逻辑跟这个完全一样:把评审资源优先投给那些"结果不确定"的标准,而不是平均分配给每一条标准。
RPN:让系统提前预判标准的难度和区分力
光有理论框架还不够,RRT还需要一个实际可用的组件,去预测每条评分标准的难度和区分力参数。这个组件叫做**响应参数网络**(Response Parameter Network, 简称RPN)。
RPN读取提示词和评分标准的文本内容,输出这条标准的难度和区分力这两个数值。这意味着即便遇到从没见过的新评分标准,RPN也能根据文字内容猜出它大概有多难、区分力大概有多强。
RPN的具体结构是,先用一个冻结不动的文本嵌入模型把提示词和标准文本编码成向量,拼接起来,再分别送进两个独立的三层神经网络,一个输出难度,一个输出区分力。
有了RPN,RRT在面对一条从没评过的新标准时,不需要积累大量历史数据,就能先给出一个合理的参数估计。这跟经验丰富的老师看一道新题就能大致判断难度完全是同一个道理,老师不需要先找一千个学生来做这道题,他凭经验就能估个大概。
在线EM算法:让系统跟着模型一起成长
但这里有个麻烦。AI模型在训练过程中是不断变化的,它今天写出来的回答和一个月前写出来的回答,质量分布可能完全不一样。一条标准在训练初期可能很难满足,但随着模型越学越好,这条标准可能慢慢变得容易满足。
**如果RPN的参数永远不更新,它迟早会跟不上模型的进步节奏。**
论文用了一种叫**在线期望最大化**(Online EM)的算法来解决这个问题。
> 期望最大化算法*:一种统计学里常用的迭代方法,交替进行两步,一步是根据当前参数估计隐变量(E步),一步是根据估计出的隐变量更新参数(M步),反复迭代直到收敛。
具体来说,每一轮策略训练迭代里,系统先用当前的RPN推断出这批回答的质量分数(这是E步),然后把这些质量分数当作暂时固定的目标,去更新RPN的参数(这是M步)。跟传统EM算法不一样的地方是,RRT只做一次随机的、局部的M步更新,而不是每次都做到完全收敛,这样才能跟上策略模型快速迭代的节奏。
论文用两个具体的标准轨迹图说明了这个机制的效果。随着训练推进,某条标准的预测难度在逐渐下降,与此同时这条标准的实际通过率在逐渐上升。这正是我们期待的现象,因为模型变强了,这条标准理应变得容易满足,RPN的参数也应该跟着调整,实时反映这个变化。
这跟健身教练调整训练计划很像。刚开始带一个新手,教练会把深蹲重量设得比较低,因为新手做不了太重。但三个月后,新手的力量涨上来了,如果教练还死守最初设定的重量标准,这个标准就失去了判断进步的意义。真正有用的教练会随着学员进步不断调整训练强度基准,让每一次训练都卡在"有点难但能完成"的那个甜蜜点上。在线EM做的正是这件事,让难度估计跟着模型能力一起校准。
实验结果说了什么
理论说得再漂亮,终究要看实际效果。论文选用了Qwen3.5-4B作为主力模型,在医学、科学、Rubrics as Rewards科学数据集、RubricBench四个数据集上做了对比实验。
对比的基线方法包括标准的GRPO算法(用加权总分当奖励),还有另外两个近期提出的改进方法POW3R和DIVA。
| 条件 | 医学 | 科学 | RaR科学 | RubricBench | 宏观均值 |
| 基础模型 | 64.1 | 76.5 | 68.7 | 74.7 | 71.0 |
| Vanilla GRPO | 67.7 | 78.3 | 70.6 | 77.0 | 73.4 |
| POW3R | 70.6 | 79.0 | 70.1 | 77.4 | 74.3 |
| DIVA | 64.9 | 78.8 | 70.6 | 75.8 | 72.5 |
| RRT + 在线RPN | **70.9** | **79.8** | **70.9** | **78.7** | **75.1** |
从这张表能看出,RRT配合在线RPN在几乎所有维度上都拿到了最高分,相比标准GRPO的提升是1.7个百分点。这个数字看起来不大,但在训练效果的边际提升上,1.7个百分点已经是不小的进步,尤其是在那些本来就很难满足的标准上,RRT的优势更加明显,在医学和科学数据集的"困难"和"非常困难"难度区间,RRT比标准GRPO高出2.8到5.6个百分点。
更有意思的是训练出来的回答变短了。在三种不同规模和架构的模型上,RRT训练出的回答中位数长度都比标准GRPO更短,平均短了10.6%到47.9%。这意味着RRT不是靠让AI说更多话来凑分,它是在真正提升回答的"信息密度"。
减少评审调用次数的实际效果
再看看选择性评审能省下多少成本。论文设计了一个实验,目标是找到最小的评审标准预算,让部分评审得出的训练信号跟全量评审的训练信号保持95%的相关度。
| 选择方法 | 医学 | 科学 | RaR科学 | RubricBench | 宏观均值 |
| 随机选择 | 10.7% | 15.2% | 5.1% | 8.9% | 10.0% |
| 仅用区分力 | 20.0% | 18.0% | 5.1% | 8.9% | 13.0% |
| 静态费舍尔选择 | 20.0% | 20.5% | 18.3% | 18.6% | 19.3% |
| 自适应费舍尔选择 | **20.8%** | **22.9%** | **18.3%** | **21.9%** | **21.0%** |
这张表里的数字是"可以不评审的标准占比",数字越大说明省的越多。自适应费舍尔选择在宏观均值上能省下21%的评审调用,比随机选择多省了11个百分点。
更关键的是,这种省钱不是以牺牲训练效果为代价的。在只评审一半标准的情况下,配合自适应费舍尔选择的RRT,最终训练出来的模型criterion score跟全量评审的标准GRPO相比,差距只有0.1个百分点。而如果用随机选择来省这一半的评审,criterion score会直接掉2.3个百分点。
这个对比很说明问题。**不是所有的"省钱方式"效果都一样,挑对了该省的地方,几乎可以做到白捡便宜。**
这就好比一家公司要削减开支,如果盲目地把所有部门预算都砍一半,业务肯定要受影响。但如果先搞清楚哪些花钱的地方对业绩影响最小,专门砍那些地方,留下真正关键的投入,公司完全可能在削减开支的同时业绩不降反升。自适应费舍尔选择做的就是这种精准识别,它不是随便砍一半标准不管,而是先判断出哪些标准对当前这批回答的质量判断"信息量低",专挑这些去省。
另外论文还测了实际的时间成本,在削减一半评审标准的情况下,评审环节的中位耗时直接减少了49%左右,整体训练步骤的总耗时也减少了23.5%到28.7%。而且重要的是,这些计算成本的节省几乎没有带来额外的工程负担,RPN的在线更新只占用整个训练步骤时间的0.123%,训练好的策略模型在部署的时候也不需要增加任何额外参数或推理组件。
验证模型假设是否成立
论文还花了很多篇幅去验证这套IRT建模思路本身到底靠不靠谱,这部分内容虽然技术性强,但很值得一提,因为它展示了研究者对自己方法的审慎态度。
一个核心假设叫"局部独立性",意思是不同评分标准的通过结果,在给定真实质量的前提下应该是互相独立的。论文做了专门的诊断实验,发现拟合出的质量变量能解释72.8%到85.3%的标准对之间的互信息,也就是说大部分标准之间的关联,确实是通过共同的"回答质量"这个隐变量产生的,而不是标准本身存在额外的、模型没捕捉到的相关性。不过论文也坦诚地指出,在文字内容特别相似的标准对里,残余的冗余度确实偏高,这提示未来可以考虑给相似标准建模额外的依赖关系。
另外论文还测试了评审员本身的判断波动。即便是同一个评审模型,面对同一个回答同一条标准,重复判断三次,也会有1.27%的不一致率。在这种评审噪声存在的情况下,RRT配合边际校准方法得到的奖励排序,比传统加权求和方法更稳定,在重复评审下保持排序一致的比例高出5.4个百分点。
这个发现其实很重要,因为它说明RRT不仅在理论上更精细,在面对真实世界里不可避免的评审误差时,也表现得更稳健。
写在后面
读完这篇论文,我印象最深的不是IRT搬进AI训练这个大的创意,而是论文花了大量篇幅去证明一个看起来很"显然"的东西:逻辑斯蒂函数本质上还是加权求和的变体,只有高斯CDF才能让难度真正参与排序。这个发现挺出乎意料的,因为逻辑斯蒂函数(也就是sigmoid)在深度学习里几乎是默认选项,大家用它用得太习惯了,很少有人去追问"换个响应函数会不会从根本上改变这套系统的行为模式"。这篇论文把这个隐藏的等价关系挖出来并给出严格证明,是一个挺扎实的理论贡献。
还有一个细节让我觉得挺真实的:论文作者并没有把RRT包装成一个"完美替代方案",反而专门做了对比实验,发现在某些特定的噪声类型下,比如误差均匀分布在所有标准上、或者误差跟回答长度相关,传统的criterion score反而表现更好。这种诚实地展示方法边界的做法,比一味鼓吹方法多强有力要可信得多。
另外一个值得琢磨的地方是,这套系统本质上是在给"质量"这个抽象概念建立一个单一维度的度量尺子。但现实里的评分标准表,有时候明明是在衡量几个互相独立甚至有点冲突的目标,比如一份回答既要简洁又要全面,这两者有时候是矛盾的。论文结尾也提到了这一点,未来可以考虑引入多维度的质量目标。这个方向如果真能走通,可能会打开一个新的问题空间:怎么在多个互相制约的目标之间,找到一个既尊重各个维度差异、又能给出单一可训练信号的办法。
这篇论文留给我的最后一个念头是:给AI评分这件事,本质上跟给人打分是同一类问题,心理测量学几十年积累下来的工具,原来真的可以在AI身上找到新的用处。那考试理论里还有哪些别的工具,也在排队等着被重新发现?
Q&A
Q1：RRT是什么？
A：RRT全称Rubric Response Theory,是一种借用心理测量学里项目反应理论的训练奖励计算方法。它不再把评分标准表上的分数简单加起来当奖励,而是把每条标准当作一道"考题",通过难度和区分力两个参数,从AI回答满足标准的整体模式里反推出一个真实质量分数,用这个分数去指导强化学习训练。
Q2：RRT相比传统的加权求和打分方式有什么优势？
A：传统方式会让满足标准不同但总分相同的回答拿到一样的奖励,丢失了关键信息。RRT能区分出"通过了难标准"和"通过了简单标准"这两种情况的真实差异,在Qwen3.5-4B上实测criterion score比标准GRPO提升1.7个百分点,困难标准上提升2.8到5.6个百分点,而且训练出的回答更短更精炼。
Q3：RRT怎么减少评审模型的调用次数和成本？
A：RRT利用费舍尔信息量,只挑那些对当前判断最有信息价值的标准去请评审模型打分,这叫自适应费舍尔选择。实验显示只评审一半标准,配合这种选择方式,最终效果跟全量评审相比只差0.1个百分点,但评审耗时能减少约49%,整体训练步骤耗时减少23.5%到28.7%。
