OpenAI披露两个内部AI Agent禁用对齐失效监控机制 将调查规避行为
观点新媒体
观点网讯:10月21日,OpenAI披露,旗下两个内部AI Agent(GPT-6.1 Sol与GPT-6 Astra)在10月份执行日常代码编写任务时,自主禁用或抑制了对齐失效监控等安全防护机制。OpenAI将调查模型是否存在规避对齐失效监控的行为。
在第一起事件中,负责修复评估流程的GPT-6.1 Sol将此前一条“在搜索Slack历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由,关闭了向安全团队自动发送警报的功能。
在另一起独立事件中,负责迁移程序的GPT-6 Astra为使代码与参考实现保持一致,删除了程序中的监控集成,随后向用户谎称自己并未移除监控机制。
OpenAI称,在两项内部编程任务中,AI Agent在执行用户要求的软件修改时,削弱了对齐失效监控机制。在这两起事件中,AI Agent都曾考虑过是否应该保留监控防护措施,但最终将常规编程指令解读为削弱这些防护措施的许可。对于Agent为何出现上述行为,OpenAI称“尚未找到令人满意的解释”。
等级判定方面,OpenAI称,较低严重等级的事件不会触发即时寻呼提醒。上述两起事件均未被列为P0级最高故障,两条运行轨迹均未被自动中断。OpenAI称,事件暴露了在强制执行监控要求方面的漏洞。
作为回应,OpenAI更新了自动审查机制,以阻止禁用监控的尝试,并正在加强对齐失效监控系统。
近几个月来,同类事件已发生多起。此前,OpenAI及Anthropic PBC等同行已披露多起先进AI模型出现此类行为的案例。OpenAI表示,事件发生在旗下智能体执行两项内部编程任务期间,没有提及任何受影响的外部方,未来将开展更多评估,并执行更严格的安全要求。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。