读懂每个字,却做出错误选择:AI决策模型的"知行不一"困境
(来源:科技行者)
有一个场景你可能觉得很熟悉。
一个客服系统接到用户请求,要求更改订单地址。AI模型读取了所有相关信息:用户身份确认无误,订单状态显示可修改,地址格式也合规。每一个事实判断都做对了。可它最终选择的动作却是去调用一个完全不相关的工具,或者干脆什么都不做,错失了唯一正确的那一步。
这不是读题读错了,而是读懂了却选错了。
卡内基梅隆大学的研究团队盯上了这个诡异的现象。他们给这类问题起了个专业名字,叫System One模型。
**System One模型**:一种只做"选择题"的AI决策系统,给定一个状态和一组候选动作,它直接输出每个选项的概率分布,不写任何推理过程,也不生成文字解释。
这类模型的卖点很简单:快、便宜。论文里测的十几个System One模型,回答一个完整状态只需要27到225毫秒,而普通大语言模型做同样的事要300到900毫秒,一个专门的推理模型甚至要2.3秒。对于需要频繁做决策的AI代理系统来说,这个速度差距是真金白银的成本。
但问题也出在这里。
当一个会写推理过程的大模型选错了动作,你至少能看看它的思路链,猜猜哪里出了问题。可System One模型不输出任何文字,它选错了,你面前只有一个孤零零的错误答案,没有任何线索告诉你这是读错了信息,还是信息读对了但判断错了。
这篇论文想解决的,正是这个"黑箱里的错误到底是什么性质"的问题。
那道分岔路口:误读还是误判
想清楚这件事的难点在于,表面上看起来一样的"错误动作",背后可能是两种完全不同的失败。
第一种是误读。模型没看清上一步动作是成功还是失败,忘了自己手里拿着什么东西,或者漏掉了某个关键的环境反馈。这种错误的病根在于"信息输入"这一环,要么是状态描述方式有问题,要么是上下文窗口装不下该记住的内容。
第二种是误判。模型把所有相关事实都读对了,但还是选错了动作。这种错误的病根在"决策"这一步本身,信息齐全,推理却翻车了。
如果你只看最终的动作对不对,这两种错误完全无法区分。打个比方,这就像你去医院看病,医生说"治疗没效果",但你根本不知道这是因为医生看错了化验单,还是化验单看对了但开错了药方。不把这两件事分开,你永远不知道该去换个检验科,还是换个主治医生。
研究团队的解法是,在每一个决策状态上,除了问"接下来该做什么",还单独、独立地追问一串事实性小问题,比如"上一步动作成功了吗""现在手里拿的是什么""这个动作是否被允许"。这些小问题的答案完全由环境本身决定,有标准答案,不依赖模型怎么想。
这样一来,每个状态就有了两组独立的判分:决策对不对,事实读得对不对。把这两组判分交叉起来,正好得到四种结果组合。
**事实对、决策对**:模型读懂了,也做对了,理想情况。
**事实对、决策错**:模型把所有相关事实都读对了,动作却选错了,这正是研究团队重点追查的情形。
**事实错、决策对**:模型某个事实判断错了,但歪打正着选对了动作,说明它可能用了某种捷径而非真正依赖那个事实。
**事实错、决策错**:读错了,也选错了,最直观的那种失败。
论文配的那张图特别能说明问题。一个ALFWorld(家居模拟环境)的真实测试状态里,任务是"把一个凉的番茄放进微波炉"。历史记录显示,AI已经去了水槽旁边,看到了一个番茄,拿起了它。此时有31个可执行动作,正确答案是"去冰箱"(因为番茄还需要先变凉)。结果测试的JEV模型给"去微波炉"打了1.00的概率,"去冰箱"只有0.00分,选错了。但同时问它的四个事实问题,上一步是否成功、现在在哪里、手里拿着什么、番茄是否已经变凉,全部答对。这就是一个典型的"facts right, action wrong"案例,事实全对,动作全错。
搭建这套检验体系,研究团队用了六万五千多条记录,其中将近两万条带有配对事实探针,数据来源覆盖模拟游戏环境、客服策略场景、工具调用、网页导航和编程任务,涵盖了十七个快速决策系统和一个慢速但会推理的参照模型GPT-6.1。
当准确率越高,犯的错误反而越"诡异"
这里出现了论文里最反直觉的一个发现。
一般人会猜,越厉害的模型犯的错误应该越少属于"读懂了却选错了"这种类型,因为厉害的模型理应在决策环节也更强。但数据显示的恰恰相反。
对于六个准确率最高的系统,73%到85%的决策错误,都发生在它们把所有相关事实都答对的状态上。而且这个比例随着系统整体准确率的提高而上升。
换句话说,一个模型越厉害,它犯的错误里,"误判"所占的比重反而越大,"误读"的比重越小。这是因为强系统已经把"看懂状态"这件事基本解决了,剩下能犯的错误自然只能来自推理决策这一环。
用GPT-6.1这个带推理能力的参照模型来对比更明显。它的整体决策准确率是88.4%,比最好的快速系统高出七到十二个百分点,代价是成本高出JEV大约七十倍。可它剩下的那部分错误里,85%依然属于"事实全对、动作选错"的类型,比例比快速系统还要高。
这说明一件挺扎心的事。花更多钱买更强的推理能力,确实能减少总体错误,但不会改变错误的性质。推理模型解决的是"读不懂"的问题,但"读懂了不知道怎么用"这个毛病,它也没有根治。
这些错误不是噪音,它们扎堆出现
研究团队接着检验了一个关键假设:这些"facts right, action wrong"的错误是不是随机分布的,还是说它们集中出现在某些特定的状态上。
如果错误是随机噪音,应该均匀地撒在所有状态上。结果完全不是这样。
十四个表现合格的快速系统,在同一批141个状态上,全部都犯了"事实对但动作错"的错误,而按照纯随机的统计模型,这种重合的概率几乎为零。换句话说,这141个状态像是某种"通用陷阱",不管用哪个模型去测,都会在那里摔跤。
这个发现很重要,因为它说明这类错误不是模型个体的偶然失误,而是和特定状态的某种结构性属性绑定在一起的。这也意味着,如果你想用一个评测集来检测AI决策系统的弱点,专门挑这种"容易摔跤"的状态去测,比随机抽样测试要敏锐得多。
就连GPT-6.1这样的推理模型,在这141个"通用陷阱"状态上,正确率也只有40%,远低于它在全部状态上88%的平均水准。可见这不是靠砸算力就能绕开的坑。
当事实足够推出答案,模型依然组合不起来
研究团队接下来做了一个很巧妙的控制实验,想搞清楚"事实对、动作错"这种情况里,到底是探针问的事实不够用,还是模型读对了事实却不会拼起来用。
他们专门构造了一批人工状态,设计了一个决策清单,相当于一套"如果A成立就做X,否则如果B成立就做Y"的规则链条,外加一些无关的干扰事实。关键是,这批状态的探针问题被设计成"充分的",也就是说,只要把四条规则相关事实答对,唯一正确的动作就能被唯一确定下来,不存在模棱两可的空间。
这就排除了"探针没问到关键信息"这个可能性,如果模型在这种状态下依然读对事实却选错动作,那只能说明它不会把读到的事实组合成正确的决策。
结果相当震撼。JEV和另一个系统Qwen3.8-27B,在把事实单独列出来问的时候,几乎是满分应答(100%和99.4%);给它们看原始轨迹(也就是正常的决策场景)再问事实,也几乎满分;但让它们从原始轨迹里自己提炼事实再决策时,准确率分别只有79.1%和79.7%。
这里出现了20个百分点的落差。20个百分点意味着什么?意味着每5次决策里,就有一次是模型明明能分别答对四个事实,却在同时读轨迹和做决策的时候翻车。这不是信息不够,是信息没能被正确地"攒"到一起去支撑那个决策。
研究团队又做了个验证,把正确的事实答案直接拼接到原始轨迹后面再问一次决策,JEV的准确率立刻跳回97.4%,几乎补满了那20个点的差距。但如果拼接的是等量的无关干扰信息,准确率反而降到75.1%,比不拼接还差。这说明缺口确实是"缺少一份整理好的事实清单",而不是单纯怕看到更长的文本。
这个现象让我想起一个生活中的类比。你去考试,每道小题单独做,全都能做对。但考卷把这些小题的条件分散写在题干的不同段落里,你需要自己先把散落各处的条件在脑子里拼成一张完整的图,再去套用那条"如果……就……"的规则。如果你平时做题从来不练这种"先汇总再判断"的能力,哪怕每个单独条件你都懂,考试时还是会因为漏看了某一句话而选错选项。模型在这里暴露的,正是这种"信息汇总"能力的短板,而不是基础的阅读理解能力。
但不是所有模型的毛病都一样。研究进一步追查发现,有的模型错误集中在"抓错了重点",比如Clef这个系统,它会被那些无关但为真的干扰事实吸引过去,选中一个看似合理但其实跑题的动作,去掉干扰事实后它的准确率直接飙升33个百分点。这和JEV那种"信息汇总失败"是完全不同的病因,同样表现为"事实对动作错",药方却不一样。
用模型自己的答案去修正决策,效果立竿见影
既然问题出在"模型读对了事实但没把这些事实用进决策",一个自然的想法冒出来了:那就让模型自己先把事实答案写出来,再把这份答案喂回去帮它做决策。
研究团队真这么干了,把模型自己对那些事实探针的独立回答,拼接到决策请求里,再让它重新做一次决策。效果立竿见影。JEV从79.1%跳到96.8%,涨了17.7个点;Qwen3.8-27B从79.7%涨到95.5%,涨了15.8个点。
更进一步,既然规则是明确写出来的"如果……就……",研究团队干脆绕开模型本身,直接用代码把模型给出的事实答案套进规则逻辑里去推导动作。这一步把准确率又往上拉了一截,JEV到了99.6%,一个叫Clef的系统甚至做到了100%。
这个结果其实是个很重要的工程启示。如果一个决策任务的规则是显式可写出来的,那最稳妥的做法根本不是指望AI一次性把"读信息"和"做决策"都做对,而是把这两件事拆开:让AI专门去回答一堆窄范围的事实问题,然后用普通代码把这些答案组装成最终决策。这就像一个餐厅的流程设计,与其让一个服务员同时记住顾客点了什么、算清楚总价、还要心算找零,不如让他只负责把顾客说的菜名记下来,算账这件事交给收银机去做。如果硬要服务员一心多用全凭脑子算,出错率一定比"记录加计算器"这套分工高。
但这套"自问自答再组装"的办法,放到真实世界的状态里,效果却打了不小的折扣。
真实世界里,缺的往往不是事实,是下一步该干嘛
研究团队把同样的思路拿到2783个真实的配对测试状态上去验证,结果出乎意料地平淡。给模型补充基准测试自带的那批事实探针的正确答案,大多数系统只提升了2.9到7.1个百分点,远不如在人工构造的充分探针场景里那样惊艳。
原因其实不难理解。之前那批人工状态里,探针问题是专门设计成"足以唯一确定动作"的,但基准测试里的真实探针,原本是为了衡量"模型有没有读懂状态"而设计的,并不保证它们涵盖了决策所需要的全部信息。给模型补充这些事实,相当于给它补了一些它本来就读对的东西,却没补上它真正缺的那块拼图。
那真正缺的是什么?研究团队转向ALFWorld家居环境做了更深入的挖掘。他们专门设计了一批"决策导向"的探针,不再是泛泛的事实问题,而是直接服务于任务规划的信息,比如物体上次在哪个容器里被看到过、目标物体是否已经被清洗加热过、哪些容器还没搜索过,外加一个更关键的问题:接下来这一步,应该算是"搜索""去拿目标""去用家电"这几个子目标里的哪一种。
结果揭晓了一个挺扎心的事实。对JEV来说,给它补充"接下来该完成哪个子目标"这一条信息,直接拉高16.3个百分点的准确率,把事实和子目标一起给它,能冲到21.3个百分点,把总体准确率推到92.9%。而单纯补充各种细碎事实,顶多贡献5个百分点。
更有意思的是,JEV自己回答"下一步子目标是什么"这个问题时,只有66.8%的正确率,明显比它的决策准确率还低。研究人员进一步拆解JEV犯的错误,发现其中41%的情况,是模型把所有事实都答对了,唯独子目标答错了;还有37%的情况,是模型分开问的时候,事实和子目标都答对了,但真要做决策时却没照着自己认同的那个子目标去走。
这相当于一个人清楚知道自己该去买菜做饭,把需要的食材清单也背得滚瓜烂熟,可是真到了超市门口,却鬼使神差地走进了旁边的理发店。不是信息不够用,是那一刻脑子里没把"我现在该干这件事"这个念头真正立起来并付诸行动。对于JEV这样的模型,真实世界里剩下的错误,本质上是规划层面的毛病,而不是阅读理解或信息整合的毛病。
但别的强系统又不一样了。Clef和Gemma这两个模型,补充子目标信息带来的提升都不超过10个点,它们对"下一步子目标是什么"这个问题本身答得很准(Clef能答对89.1%),可答对了也没帮上决策,它们将近一半的错误发生在事实和子目标都单独答对、组合起来却还是选错的场景。这说明同样是"事实对动作错",不同模型卡在的那道坎完全不是一回事。有的卡在"没想清楚该干嘛",有的卡在"想清楚了但没照做"。
一个耐人寻味的细节是,给模型塞更多信息有时反而帮倒忙。在某些状态下,如果一个所需物体已经被看到、另一个还没被看到,研究人员给Gemma列出所有还没搜索过的容器清单之后,它的准确率反而从65.9%暴跌到34.1%,因为它被这份清单带偏,跑去继续搜索,而不是直接去拿它已经知道位置的那个物体。这就像你本来已经想好晚饭吃什么、材料都买齐了,结果朋友又发来一份"附近还有哪些餐馆没去过"的清单,你盯着清单纠结了半天,反而忘了自己其实已经准备好在家做饭了。信息不是越多越好,错位的信息反而会把原本清晰的判断搅乱。
读懂了历史记录吗?去掉记忆会怎样
论文还做了一系列边界测试,想弄清楚这些模型到底依不依赖执行历史这类上下文信息。
他们把执行历史整个删掉,只留下目标和当前观察,结果发现在BabyAI这种"当前画面基本决定下一步"的环境里,去掉历史影响不大,JEV的准确率甚至从73.3%略微下降到70.1%,Gemma反而从75.5%涨到79.9%。但在ALFWorld这种需要记住"我之前去过哪里、看到过什么"的环境里,去掉历史带来的打击是灾难性的,所有强系统的准确率都暴跌到14%到24%之间,JEV从87.2%直接掉到13.7%。
这说明这些模型确实在用历史信息,而且用得挺依赖。换句话说,前面那堆"事实对动作错"的错误,不能简单归咎于"模型压根没看历史",历史确实被看了,被用了,只是用得不够到位。
研究团队还测试了一个更细腻的场景:当策略规则发生变动时,模型会不会真的跟着调整动作。在客服场景里,如果某个用户记录字段被修改导致策略要求换一种工具调用方式,JEV、Clef、Gemma这几个系统即便把修改后的那个事实百分之百答对,真正跟着改变调用方式的比例也只有22%到57%。这就是整篇论文里最直白的一个"知行不一"的例子:事实被正确接收了,行为却没有跟着更新。这就像你明明被告知今天公司临时改了下班时间,你也点头确认记住了,结果到点还是习惯性地按老规矩走人。信息进了脑子,却没有真正接管那个决定行动的开关。
信心能不能当信号灯用
既然这些模型会输出一个概率分布,那这个概率本身的置信度,能不能用来判断"这次该不该相信模型的答案"?
研究团队测了校准误差,结果发现差异巨大。有一个叫Cygnet的系统,因为设计里专门加了一步校准处理,误差只有2.6%,算是相当可靠的"自我认知"。JEV的误差是6.8%,也还不错。但Gemma这种直接用似然值读出概率的方式,几乎对什么都异常自信,平均置信度0.98,可实际准确率只有79%,误差高达19.1%。还有个叫Vega-27B的系统,误差达到26.6%,是所有被测系统里校准最差的。
这意味着置信度这个信号的可用性,因模型而异,差别极大。对于像JEV这样置信度校准得还不错的模型,研究团队设计了一个"信心级联"策略,只有当模型自己对首次决策的信心低于某个阈值时,才启动第二轮追问(把事实答案补充进去再决策一次)。这个策略只需要在38%的状态上多问一轮,就能把JEV的准确率推到93.2%,等于用较低的额外成本拿到接近顶格的效果。但如果换成一个校准很差的模型,同样的阈值设置基本形同虚设,因为它的置信度跟实际对错根本对不上号。
写在后面
读完这篇论文,最让我意外的不是"AI会读懂信息却做错决定"这件事本身,这多少能预料到,真正让我愣住的是那个关于准确率和错误类型的反比关系。
一个系统越准,它犯的错误里"明明都对却还是错了"的比例反而越高。这意味着,如果你只盯着总体准确率这一个数字去评判一个AI决策系统是否可靠,你可能完全看不见它正在系统性地犯着同一种诡异的毛病,只是这种毛病被越来越高的整体分数给盖住了。一个考了95分的学生和一个考了70分的学生,错的那几道题可能根本不是同一种性质的错误,前者或许每次都是"会做却算错了",后者可能还有不少"压根没看懂题"。分数相近或分数更高,不代表问题的结构相似或更少。
另一个让我反复琢磨的地方,是那141个让所有十四个系统都栽跟头的"通用陷阱"状态。这说明某些决策场景本身具有一种结构性的"难度",它和模型大小、训练方式无关,是状态本身的某种属性在起作用。这让我很好奇,这些陷阱状态到底有没有一个共性特征可以被提前识别出来,如果能找到,是不是可以反过来设计一种专门的"压力测试集",用极少的样本就能快速暴露一个新模型的潜在短板,而不需要跑完整个几万条记录的大型评测。
论文里还有个细节我觉得值得单独说一下。GPT-6.1在客服场景里,面对用户已经确认、该去调用工具写入数据的情况,它有16.7%的概率选择"回复用户"而不是真的去执行那个工具调用,这个谨慎程度远高于其他系统的2.8%到7%。研究者把这解读为"过度谨慎导致的误判",因为基准答案都来自成功执行的轨迹。但我忍不住想反过来问一句:这种谨慎,真的是错误吗,还是说在真实世界里,这种"再确认一下"的倾向,恰恰是更负责任的行为模式,只是现在的评测标准没法给它加分?
如果一个AI在该大胆的时候谨慎了,到底该算它聪明还是算它笨,这个问题恐怕比这篇论文给出的任何一个百分点都更值得继续想下去。
Q&A
Q1:System One模型是什么?
A:System One模型是一类只做选择题式决策的AI系统,给定当前状态和一组候选动作,它直接输出每个选项的概率分布,不生成任何文字推理过程,优点是速度快、成本低,但出错时没有思路链可供排查原因。
Q2:为什么AI模型会出现"事实读对了但动作选错"的情况?
A:研究发现这主要是因为模型把分散在轨迹中的多条相关信息正确读取之后,未能把这些信息正确组合起来支撑最终的决策判断,也可能是被无关但为真的干扰信息带偏,或者在开放式任务中没能明确下一步该完成的子目标。
Q3:怎样能减少这种"读懂却做错"的决策错误?
A:研究发现让模型先独立回答一系列窄范围的事实问题,再把这些答案重新输入决策环节,或者用代码直接根据这些事实答案组装出最终动作,能大幅提升准确率,在规则明确的任务里甚至能达到接近满分的效果。