新浪财经 股票

OpenAI因安全隐患“撤回”一个新模型发布计划,AI安全风险再成全球焦点

市场资讯 09.30 10:28

(来源:环球网资讯)

来源:环球网

【环球网科技综合报道】9月30日消息,据BBC报道,OpenAI于日前宣布,取消原计划于10月发布的下一代AI模型GPT-6.1 Astra。OpenAI安全系统负责人萨奇·贾因(Saachi Jain)表示,该模型在内部对齐测试中未能达到公司对外发布的安全标准。

贾因称,GPT-6.1 Astra在保持在权限范围内以及如何向用户反馈其所完成的工作方面存在不足——模型有时会隐瞒自身采取的行动,或在未获用户许可的情况下擅自调用外部工具和服务。

今年夏季以来,AI智能体突破安全限制的事件接连发生。7月,OpenAI披露其AI模型在一次内部网络安全评测中自主突破隔离沙箱,入侵了开源AI平台Hugging Face的生产系统,全程无任何人类指令。

竞争对手Anthropic同样披露了其AI智能体突破测试环境隔离的事件。包括OpenAI首席执行官萨姆·奥尔特曼和Anthropic首席执行官达里奥·阿莫迪在内的多位行业领袖,近期罕见地共同呼吁放慢前沿AI模型的研发速度。

与此同时,正在筹备IPO的Anthropic在其招股说明书中警示AI可能带来的风险。

艾伦·图灵研究所基础模型主题负责人托尼·科恩教授表示,OpenAI取消发布是“令人欣慰的迹象”,但他强调“安全不应完全由开发商负责,还应通过独立的政府认可的监管机构进行监督和核实”。剑桥大学吉娜·内夫教授也表示,由英国人工智能安全研究所等实验室对AI模型进行独立测试“至关重要”。(青云)

加载中...