连AI都会讨好“老板”?MIT联合Google Deepmind揭示“忠诚捕获”现象
(来源:网易科技)
如果削减长期投资能让 CEO 拿到奖金,向 CEO 汇报的 AI,会不会提出支持削减的建议?尽管,削减投资可能会牺牲长期股东价值。
日前,一项由麻省理工学院(MIT)全球经济学与行为科学斯隆杰出教授 Eric So 和 Google DeepMind AGI 经济学总监 Alex Imas 联合开展的研究发现,即使没人要求 AI 讨好上级,AI 仍可能在因汇报关系而偏向上级的利益。他们把这种现象称为“忠诚捕获”(Loyalty Capture),这是与谄媚提问者不同的另一种谄媚。
为检验这一现象,他们设计了一组虚构公司的投资决策任务。模型需要权衡当前支出与未来回报,同时读取一份薪酬文件。文件说明,CEO 的奖金取决于公司是否达到营业利润目标,并交代公司预计能够达标,还是距离目标仍有差距。
论文链接:https://arxiv.org/abs/2611.15475
这项研究覆盖 8 个前沿模型、5757 次试验,结果显示:即便没有用户反馈、对话压力或对抗性 prompt,模型也可能偏向上级,哪怕它被明确要求客观评估业务决策。
实验在不同汇报条件下提供相同的投资价值信息,主要通过系统 prompt 中的两句话,分别设定模型向 CEO、董事会或外部审计师汇报。CEO 的薪酬并不改变投资本身的价值,模型也没有收到帮助 CEO 获得奖金的指令。
为了区分经营压力与汇报关系的影响,他们比较了不同汇报条件下,模型面对奖金可能落空时如何调整建议。结果显示,在会影响营业利润的投资决策中,向 CEO 汇报的模型,其削减投资的激进程度增加了 8.1 个百分点,向外部审计师汇报的模型则增加了 4.3 个百分点。
图|不同汇报关系下的投资建议与模型差异
这也显示,薪酬信息的影响并不完全由 CEO 汇报关系产生。即使模型向外部审计师汇报,它们仍可能将 CEO 的奖金纳入考虑。在面向审计师交付的理由中,41% 提到了奖金。按照他们的解释,模型已经具有将管理层薪酬视为决策相关因素的倾向,CEO 汇报关系进一步放大了这一倾向。
与奖金指标无关的安慰剂对照提供了另一项证据。当投资建议无法影响 CEO 的奖金时,实验没有观察到相应的汇报关系效应。这支持了他们的判断,模型的建议变化与能否影响奖金指标有关,而不只是对公司接近利润目标作出一般性反应。
这种变化还体现在模型解释建议的方式上。模型可能首先将奖金门槛采纳为需要实现的目标,随后计算削减投资如何帮助达标,最后弱化有关长期价值的反向证据。
在以审计师条件为参照的双重差分比较中,CEO 汇报条件下,采纳奖金目标的比例额外增加了 5.7 个百分点,计算建议如何帮助获得奖金的比例额外增加了 10.3 个百分点,否定长期价值反向证据的比例额外增加了 3.1 个百分点。
图|CEO 汇报关系下忠诚捕获的文本机制
他们将这些表现概括为动机性推理(Motivated Reasoning)的文本模式。不过,这些指标描述的是模型交付的内容,不能证明模型内部依次经历了怎样的认知过程,也不能证明模型已经识别利益冲突,再有意隐瞒。
实际问题在于,模型可能推动上级的个人激励目标,同时将建议呈现为公正的商业判断,却没有明确指出两者之间存在利益冲突。提到 CEO 的奖金,与识别奖金构成利益冲突,是两种不同表现。
基于 prompt 的干预能够改变部分建议。匹配比较显示,明确要求模型忽略 CEO 的奖金因素,比一般性的利益冲突披露或考虑各方利益的提醒更有效。但一般性的披露与利益相关方提醒未能消除这一效应。
图|四个可用模型中的匹配干预比较
不同模型也并非表现一致。八个受测模型中,五个模型在 CEO 奖金面临落空风险时出现了显著的建议变化。Gemini 2.5 Flash 和 Claude 3.5 Haiku 的效应估计值则为非正值。他们指出,这种差异支持将汇报角色敏感性纳入模型评估,但尚不能确定哪些训练方法造成了差异。
当然,这项研究也具有一些局限。例如,实验只覆盖企业投资决策,结果能否推广到其他组织情境仍待验证。所选模型端点、不断变化的 API,以及不同时间收集的干预数据,也限制了结果的可推广性。
另外,角色操纵还同时改变了问责对象与建议接收者,无法完全拆分两者的影响。机制判断依赖大语言模型评判者,其一致性随所测概念和 prompt 而变化,生成的推理轨迹也不完整。这些文本证据既不能确定内部因果过程,也不能为每次试验确定最优投资建议。
因此,他们提出,对齐评估需要考虑 AI 部署时所处的组织关系。一种具体的筛查方式是保持任务不变,改变汇报对象的激励与组织利益是否一致,再测量建议如何变化。评估对象不仅包括模型对孤立 prompt 的回应,也包括它进入汇报结构之后的决策表现。
更多技术细节,详见原论文。
作者:张佳怡