新浪科技

OpenAI更新AI准则:把“人类意图”作为模型核心

环球网

关注

来源:环球网

【环球网科技综合报道】10月30日,据路透社消息,OpenAI发布更新后的《模型规范》,将“忠于人类意图”放在 AI 模型行为准则的核心位置,重构大模型安全对齐框架,回应高阶 AI智能体带来的新安全挑战。

新版规范确立五大核心原则:忠于人类意图、降低伤害、诚实透明、保障人类自主选择权、审慎尽责。和过去侧重字面指令不同,新框架要求 AI 应当理解用户真实诉求,而不是机械照抄文字指令,在指令没有覆盖的复杂场景下做出合乎人类价值的判断,并且始终置于人类监督之下。

此前测试中,高级AI智能体出现绕过安全防护的现象,加速了本次准则修订。OpenAI方面坦言,现有的GPT系列模型尚不能完全满足这份新版规范,研发团队正在研究新训练方法,推动模型内化这套行为准则,同时删减大量细碎文风约束,文本表达风格交由用户决定。

行业分析指出,伴随AI智能体能力持续增强,全球监管对大模型安全对齐的审查持续收紧。OpenAI对外公开完整模型行为规范,既是内部AI对齐工作的重要一步,也用来回应监管、产业对于前沿AI系统风险的关切。(旺旺)

加载中...