新浪财经 股票

AI管家教新手做事,查遍百万份别人家的说明书却越帮越忙

市场资讯 10.28 14:21

(来源:科技行者)

你有没有遇到过这种情况:家里新买了个智能音箱,设置好之后你问它怎么用,它说得头头是道,可一旦你让它干点稍微复杂的事,它就开始胡言乱语,或者干脆照搬说明书上的话,而那说明书根本是另一个牌子的产品的。

这其实就是现在AI智能体面临的真实困境。

你可能不知道,现在网上已经有数百万份教AI智能体怎么干活的"说明书"被公开分享出来。这些说明书专业名字叫"agent skill"

智能体技能:一份可复用的自然语言文档,用来指导AI智能体在特定执行环境下完成任务,简单说就是一份"操作手册"

按理说,有这么多现成的操作手册摆在那里,新来的AI智能体应该可以直接抄作业才对。可现实却是,几乎所有做"技能优化"的研究团队,都选择视而不见这些现成资源,宁愿让AI自己笨拙地摸索、反复试错,一遍遍花钱跑真实任务来慢慢打磨出一份属于自己的操作手册。这就好比你搬进新公寓,发现隔壁十户邻居家都贴着详细的"洗衣机使用说明",你却偏偏要自己对着洗衣机瞎按一通,直到把衣服染花了才总结出"不能和红色衣服一起洗"的教训。

这篇来自韩国高丽大学、KAIST和Meta AI联合团队的论文,就是盯着这个怪现象动了手。他们提出了一个叫RASO的框架,核心想法说起来挺朴素:既然网上有这么多别人攒下来的经验,为什么不把它们用起来?

直接抄作业会抄错

但事情没那么简单。研究团队做了个很扎实的调查,在SpreadsheetBench(一个让AI操作Excel表格的测试集)上,他们发现当系统去外部知识库检索相关技能时,92.9%检索到的内容来自完全不同的执行环境。

执行环境(harness):定义了AI智能体能用什么工具、能访问什么文件、怎么被打分的那套运行规则,不同的产品、不同的接口,就是不同的执行环境

这个数字相当惊人。意味着你问一个Excel操作问题,系统递给你的答案里,差不多每十份有九份是从别的软件、别的场景里抄来的,可能是写代码的技巧,可能是处理卫星图像的流程,字面意思对不上号,直接拿来用大概率要翻车。

这就像你想学包饺子,去网上搜菜谱,搜到的九成都是教你做意大利饺子的,面皮厚薄、调味习惯、包法手势全都不一样,你要是照着做,大概率包出来的饺子不是漏汤就是破皮。如果系统图省事,直接把检索到的内容原样塞给AI用,这正是论文里提到的"直接复用"方案的问题,研究显示这种做法有时候甚至还不如什么都不做。因为错误的、水土不服的指导反而会把AI带偏,还不如让它凭自己的常识瞎试。

所以关键不是"要不要借鉴别人的经验",而是"借鉴过来之后要不要先翻译一遍"。

跨环境改造:把别人的经验翻译成你能听懂的话

RASO框架给出的答案叫做"Cross-Harness Adaptation",中文可以理解成"跨环境改造"。

跨环境改造(Cross-Harness Adaptation):一个专门的转换步骤,把从别处检索来的操作经验剥去原来场景的专属细节,用目标场景能理解的工具、命令和说法重新表达一遍

具体怎么做?论文里讲得很细。系统会先把检索来的技能文档按标题切成一个个小段落,而不是整篇整篇地搬运。

这个设计有讲究。如果直接搜整篇文档,很容易搜出那种"整体目标相似但具体操作完全不对路"的文档,比如你搜"怎么统计数据平均值",可能搜出一整篇讲"卫星图像植被覆盖率分析"的长文,这篇文章里确实藏着一段关于"如何处理空数据分组"的宝贵经验,但如果你把整篇文档都搬过来,九成内容是关于遥感图像处理的,跟你的表格操作毫无关系,噪音淹没了信号。所以RASO选择按段落检索,像是把一本厚厚的菜谱按菗页裁开,只抽出讲"如何处理没有食材时该怎么办"的那一页,而不是把整本书都端给你。

抽出相关段落之后,还有一道"翻译"的工序。系统会调用一个专门的AI代理,把这段检索来的内容重新改写,去掉具体领域的专有名词,剔除目标环境里根本没有对应功能的操作步骤,只保留真正能解决当前问题的那部分逻辑。

论文里给了一个特别生动的例子。有一个Excel任务,要求计算各部门某项指标的平均值,但有个部门因为没有满足条件的记录,它的结果应该是空白。系统检索到的最相关的一段知识,居然来自一份研究卫星遥感图像的技能文档,里面讲的是如何用布尔掩码处理"某个分类没有像素点"的情况。两个场景风马牛不相及,一个是分析卫星图像里的植被覆盖,一个是统计公司部门的业绩表格,但底层的逻辑是一样的:遇到"该组没有数据"这种情况,不要强行凑出一个数字,而应该把它标记为缺失。经过跨环境改造,这条来自卫星图像处理的经验被转译成了"用条件判断筛选符合条件的行,如果数量太少就把结果视为缺失,而不是硬凑一个计算结果",这条改写后的建议,直接让最终生成的Excel操作代码正确地把那个部门的单元格留空,通过了测试。而当研究人员把这条关键的检索结果从输入里拿掉之后,AI生成的代码就出错了,它把后面部门的数据错位填进了前一个空缺的单元格里,造成了一次典型的"索引错位"故障。

这个案例说明一件事:知识的价值不在于它表面上长得像不像,而在于它底层的逻辑结构能不能迁移。遥感图像和Excel表格,字面上毫无关联,但"如何处理空结果"这个抽象问题是共通的。

两步走:先搭骨架,再边做边改

RASO框架不是一次性的,它分成了两个互相配合的阶段。

第一阶段叫RASI,全称"检索增强的技能初始化"。

RASI(Retrieval-Augmented Skill Initialization):在AI还没有开始实际执行任何任务之前,仅凭任务描述和执行环境说明,就从外部知识库里检索相关经验,经过跨环境改造后,直接攢出一份完整的初始操作手册

这一步最大的特点是不需要任何真实的试跑成本。换句话说,AI还没动手干活,脑子里已经先装进去了一份经过提炼和翻译的"参考答案"。

这就好比新员工入职第一天,公司没有让他自己瞎摸索着上岗试错,而是提前帮他翻遍了同行业其他公司的操作案例,把那些真正通用的经验挑出来、按本公司的习惯重新写一遍,装订成一本"新人上岗指南"交到他手上。如果没有这一步,新人就只能靠自己第一周反复出错来积累经验,而公司要为每一次出错付出实际代价,这个代价对应到AI系统里,就是每多试一次就要多花一笔调用大模型的费用。

实验数据证实了这个设计的价值。在GPT-5.6-Luna这个模型上,RASI生成的初始技能,相比不借助任何外部知识、单纯让大模型凑出一份说明书的做法(论文里称为RFSI),在OfficeQA(一个企业文档问答测试)上提升了5.63个百分点,在SpreadsheetBench上提升了4.77个百分点。更夸张的对比是,如果直接检索一份最相关的技能文档,不经过跨环境改造直接拿来用,这种做法在ALFWorld(一个家居机器人模拟测试)上的表现甚至低于什么都不做,55.97%对比64.43%。这再次印证了前面说的,没有经过翻译和改造的"抄作业",有时候比不抄还糟糕。

第二阶段叫RASU,全称"检索增强的技能更新"。

RASU(Retrieval-Augmented Skill Update):当初始技能手册投入实际使用后,根据AI执行任务时暴露出来的具体失败案例,有针对性地去外部知识库里检索能解决这个具体问题的知识,再经过跨环境改造,更新到技能手册里

这个阶段的运作逻辑更接近真实世界里"复盘改进"的过程。系统先让AI带着当前这份操作手册去跑一批训练任务,观察哪里出了问题。遇到失败案例,系统会分析失败的原因,一方面凭借大模型自己的知识生成一条修改建议(论文里管这个叫"文本梯度"),另一方面生成一条检索查询,去外部知识库里找有没有现成的解决方案。两条路径的信息汇总之后,再经过跨环境改造,形成新的操作建议,更新进技能手册。更新后的版本不会直接替换掉老版本,而是要先拿到一个独立的验证集上考一考,只有确实表现更好才会被采纳,否则就继续沿用旧版本。

这个"先考试再上岗"的机制挺关键。如果没有这道验证关卡,技能手册可能会在修改过程中越改越偏,毕竟AI自己判断"这样改应该会更好",不代表实际效果真的更好。有验证集卡着,相当于每次改版前先在小范围内测试一下反馈,确认有效才正式推广。

四大测试场合,两套模型齐上阵

研究团队把RASO拿到四个风格迥异的测试场景里考验:OfficeQA是让AI在近百年的美国财政部文件里查数据做计算;SpreadsheetBench是让AI操作真实的Excel表格完成各种复杂需求;ALFWorld是一个文字版的家居机器人模拟游戏,AI要在虚拟房间里走来走去完成拿取物品之类的指令;WebShop则是让AI在模拟电商网站上按照用户要求搜索并下单购买商品。

两套不同体量的大模型也被拉来对比:一套是体型更大的GPT-5.6-Luna,另一套是相对轻量的Qwen-3.5-9B,用来验证这套方法是不是只对大模型有效,还是能够普遍适用。

结果显示,RASO在几乎所有组合下都稳稳跑赢了一众现有的技能优化方法,包括TextGrad、GEPA、SkillOpt、WikiSkill这几个此前被认为比较强的对照方法。拿GPT-5.6-Luna来说,RASO在OfficeQA上比最强的竞争对手高出3.49个百分点,在SpreadsheetBench上更是拉开了6.31个百分点的差距,从57.02%一路冲到63.33%。换到小一些的Qwen-3.5-9B模型上,差距反而更大:在WebShop这个电商购物测试上,RASO领先第二名多达11.30个百分点。

这个现象值得多想一层。模型越小,往往自身"脑补"知识的能力越弱,这时候外部知识库的作用反而显得更重要,就像一个经验尚浅的新手,比一个老油条更需要一本靠谱的操作手册来兜底。

拆开看,两个零件各自有用,合起来更有用

研究团队还做了细致的拆解实验,想弄明白到底是初始化阶段还是更新阶段在起作用,还是两者缺一不可。

结果显示两个阶段都各自贡献了实打实的提升,而且叠加起来效果最好。在OfficeQA上,如果完全不用外部知识,纯靠大模型自己瞎编初始手册,再自己瞎编着改进,最终得分是40.70;只上线更新阶段的检索增强(RASU),不改初始化方式,得分提升到47.56;反过来只用检索增强的初始化(RASI),后续更新还是老办法,得分是45.93;两者都用上,得分冲到49.03。这组数字说明一件事:这两个环节解决的是不同性质的问题,一个管起点高不高,一个管纠错准不准,二者并不是互相替代的关系,而是互相补足的关系。

跨环境改造这道"翻译"工序本身的价值,研究团队也专门验证过。在RASI阶段,去掉改造这一步,也就是把检索来的内容原样塞进初始手册里不做任何转译,OfficeQA的分数从45.74直接掉到41.86,SpreadsheetBench更是从49.17掉到41.43。这说明光是检索到相关内容还不够,内容对不对口、能不能被目标场景理解和使用,才是真正决定效果的那道关卡。

还有一个挺有意思的发现,是关于"检索多少条内容才合适"的问题。研究团队测试了检索1条、3条、5条、10条相关段落分别带来的效果,发现大体上是检索5条时效果最好,继续加到10条反而略有下滑。这个现象不难理解,检索太少容易漏掉关键信息,检索太多又会把噪音也一起搬进来,稀释掉真正有用的那部分。这跟平时查资料的经验是一致的:翻遍整个图书馆未必比精读五篇靶向性强的论文更有效。

至于外部知识库规模大小对效果的影响,研究显示即便只用知识库里1%的数据,大概相当于把数百万份技能文档砍到只剩几千份,也已经比完全不用知识库效果好得多。这说明哪怕是很小一部分现成经验,只要用对了方法去检索和改造,也能带来实质性的帮助,知识库继续扩大规模还能带来进一步的提升,尤其是在SpreadsheetBench这个场景里涨幅最明显。

便宜还是贵,这事也得算一算

值得一提的是,论文还专门算了一笔经济账。既然要去外部知识库检索内容、还要调用额外的AI代理做跨环境改造,这是不是意味着整个流程会变得更贵更慢?

答案出乎意料。研究团队保证RASO使用的真实任务试跑次数和TextGrad、WikiSkill完全一致,在这个公平的前提下比较花费的美元成本,结果RASO在四个测试场景里的三个成本最低,在WebShop这个场景上,TextGrad花了41.03美元,RASO只花了10.28美元,省下了四分之三的开销。这说明检索和改造这道额外工序虽然看起来多了一步,但省下的是让AI反复试错、反复调用大模型生成冗长推理过程的那部分开销。相当于多花一点时间先查查资料,省下的是后面瞎撞墙浪费的时间和力气。

写在后面

读完这篇论文,最触动我的其实不是RASO这套流程本身设计得多巧妙,而是它揭示的一个更普遍的现象:在AI智能体这个领域,大家似乎有一种默认的信仰,相信只要让AI自己多跑几次、多试几次,就一定能摸索出好方法。这篇论文用92.9%的那个数字,狠狠地戳破了另一个默认信仰,相信"检索到相关资料"就等于"检索到有用资料"。这两个信仰都不成立,而真正起作用的,是中间那道容易被忽略的"翻译改造"工序。

这让我想起一个更广泛的类比。人类社会积累知识的方式,从来不是每个人都重新发明轮子,而是靠书籍、经验、师徒传承。但传承从来不是原样照搬,一本写给古代航海家的生存指南,不能直接拿给现代飞行员用,中间必须经过一次"提炼出底层逻辑、剥离掉过时细节"的转译过程。AI智能体现在面临的,恰恰是这样一个知识传承体系刚刚萌芽的阶段,而这篇论文做的事情,某种程度上是在给这个传承体系补上一道至关重要的工序。

论文里那个卫星图像和Excel表格互相借鉴的案例,让我反复回味。两个看起来毫不相干的领域,底层居然共享着同一个处理逻辑,如何面对"空分组"这种边界情况。这是不是也在提示我们,很多看起来专业壁垒森严的知识领域,底层的方法论可能远比我们想象的更容易打通?

Q&A

Q1:RASO是什么?

A:RASO是一个让AI智能体学会操作技能的新框架,它会从网上公开的海量技能文档库里检索相关经验,经过一道"跨环境改造"工序转译成目标场景能用的指导,再分别用于技能初始化和后续的迭代更新,整个过程不完全依赖AI自己反复试错。

Q2:为什么直接套用检索到的技能文档效果不好?

A:因为检索到的技能文档往往来自完全不同的任务和执行环境,论文发现在SpreadsheetBench测试中92.9%的检索结果都来自不匹配的环境,直接套用会带来错误的工具假设和操作逻辑,有时甚至比完全不参考任何文档的效果还差。

Q3:RASO相比其他技能优化方法效果提升有多大?

A:在GPT-5.6-Luna模型上,RASO在SpreadsheetBench测试中比最强的对比方法高出6.31个百分点,在Qwen-3.5-9B模型上,WebShop测试中领先幅度达到11.30个百分点,同时整体API调用成本在多数场景下还更低。

加载中...