首次!AI成功改写自身权重,UIUC等团队:迈向RSI的必要一步
(来源:网易科技)
语言模型能否仅凭自身推理,定位自身权重中的问题,并在无需重新训练的情况下完成自我修正?
来自UIUC、斯坦福大学、普林斯顿大学、耶鲁大学等机构的研究团队展示了 Self-Rewriting。在获得自身权重、经过评分的自身回答,以及运行自身的能力后,一个拥有 270 亿参数的开放模型,能够诊断失误、编写权重修改代码,并通过测试决定是否保留修改。在预先确定的配对检验中,它的一次有效修改使其在 490 道从未见过的问题上,将准确率提高了6.6 个百分点。
论文链接:https://arxiv.org/abs/2611.21885
整个过程不使用梯度,也不运行训练优化器。模型通过前向传播检查自身表现,改进则保存在权重中,不会增加后续每次回答的额外计算成本。
图|模型依靠自身推理改写权重
在实验设计中,他们除了改善未受损模型,还让模型修复受损副本,并考察了不同规模模型在自我改写过程中的差异。
这么做的原因是,对自然失误进行修改会同时遇到两个问题。第一个问题是模型是否具有改写自身权重的能力,第二个问题是这项失误是否存在能够通过权重修改消除的成因。如果一次修改没有奏效,仅凭结果无法区分这两种情况。
人为施加损坏,可以提前确定第二个问题的答案。他们知道损坏发生在哪里、以何种方式发生,也知道存在能够消除损坏的修改。因此,在这项任务中,修复失败可以归于改写未能成功,而不是任务本身没有解决方案。
为了检验模型能否自行定位并修复问题,实验只告诉模型部分数值遭到破坏,没有告知具体数值、位置或损坏方式。模型需要通过自己的分析决定如何搜索和修复。
修复过程还有一项关键安排。负责推理的是完好的基础模型,工具返回的测量结果则全部来自受损副本。这样,损坏不会限制执行诊断的模型的思考能力,而它检查和修改的对象仍然是受损权重。
模型也没有获得完好的参考权重。Python 会话中的函数只返回受损副本。虽然文件访问没有被阻止,但他们记录到,模型运行的代码从未打开磁盘上的基础模型权重或损坏记录文件。
最终,270 亿参数模型定位了受损矩阵,并在没有重新训练、没有读取完好权重的情况下完成修复。它写入受损位置的是按自己规则生成的新数值,而非从原始副本中恢复的数值。修复方法仅通过文本数学题找到,却使副本在从未见过的图像任务上恢复到约相当于基础模型准确率 83% 的水平。
图|修复副本在图像任务上恢复了大部分因损坏丢失的准确率
受损副本实验检验了模型能否找到并修复一个已知存在解法的问题。不同规模模型的会话记录,则展示了它们如何使用关于自身的证据。
在第一种实验协议下,20 亿、40 亿、90 亿和 270 亿参数模型获得了相同的任务、工具和规则,包括从矩阵中移除某个方向部分分量的辅助函数。它们面对的初始问题类型也相同,都是回答在 token 上限内没有完成。
图|面对相同实验环节,较小模型试探修改,270 亿参数模型依据测量调整
20 亿参数模型从未请求运行自身的前向传播,几乎所有代码都执行失败。
40 亿参数模型多次运行自身,却直到会话末尾才依据测试结果采取行动。与基础模型的配对测试已经显示,每次修改都会破坏表现,但它仍继续叠加修改,直到只剩一次前向传播机会时,才将这些修改全部撤回。
90 亿参数模型读取过一次自身隐藏状态,随后通过试探修改权重。它只在自己已经答错的问题上测试,因此这些测试无法显示修改造成的准确率损失。最终,它提交了一项破坏自身表现的修改。
270 亿参数模型则根据每次结果调整下一步行动。它先阅读失败回答,再检查权重,并在编辑之前读取自身隐藏状态。当更广泛的测试不支持修改时,它会调整方案,再根据测试结果决定是否保留。
在第一种协议的第一次会话中,270 亿参数模型撤回了最初的修改。在第二次会话中,回答上限设为 4,096 token,它提交了测试结果支持的修改,随后在留出问题上获得了准确率提升。
由此,他们指出,在这些会话中,规模带来的差异,主要体现在围绕权重修改开展实验的过程。模型需要获取自身运行的证据,选择能够检验修改效果的问题,并根据结果调整或撤回修改。
保留修改之前的检验,也被用于另一种实验协议。模型提出的修改会在一组此前无法读取或使用的预留练习题上接受一次检查,再由模型决定是否提交。
在最初 8 次这样的会话中,模型 5 次撤回修改,实际使用的模型表现只升不降。每次会话本身仍从基础权重开始,因此这一过程并非让前一次修改后的模型直接继续改写自身。
图|270 亿参数模型无需训练,通过改写自身权重改善未见问题上的表现
他们将这种进一步迭代列为未来方向。经过自我编辑的模型,可以在下一轮会话中研究自己的修改。他们还提出增加每次会话的测量次数,使模型能够在更多问题上检验修改方向,并通过改变损坏的位置、类型和强度,测量模型定位损坏的成功率及其恢复能力。
对于数学之外的任务,他们设想利用环境反馈检查行动是否成功,使模型能够根据观察调整权重。这些方向仍是后续研究计划。对于实际投入使用的自改写模型,他们提出,每个新版本都应接受任务表现与安全性评估,并在使用前由人确认。
更多技术细节,详见原论文。
作者:张佳怡