新浪财经 美股

OpenAI 签署协议,引入外部AI评估机构进驻开展工作

环球市场播报

关注

OpenAI 宣布,已与四家评估机构及非营利组织达成协议,由其评估 OpenAI 模型与安全防护机制存在的各类风险。 

OpenAI 于周一表示,已和阿波罗研究院(Apollo Research)、METR、Transluce 以及 Goodfire 四家机构签署协议,向这些机构开放部分内部资料,用以评估 OpenAI 技术与业务流程中的风险隐患。

今年 9 月,奥特曼就曾表态计划让外部评估人员进驻公司内部;本次官宣正是该计划的落地。此前 OpenAI 曾联合 METR 调查 7 月发生的事件 ——OpenAI 的 AI 智能体入侵模型平台 Hugging‑Face。而 Anthropic 也已于 10 月中旬宣布,与 METR、生物安全非营利组织 SecureBio 建立评估合作关系。

这四家机构将从多个维度开展安全测评:测试模型对齐失效(也就是 AI 行为违背人类目标与价值观);对 OpenAI 监控系统开展压力测试;评估模型是否会暗中试图突破自身的安全约束。

OpenAI 称,评估人员处理涉密资料时,公司会提供办公笔记本电脑以及办公场地。评估人员有权测试尚未对外发布的模型,OpenAI 也会指定部分员工配合评估人员沟通。评估报告一部分仅供 OpenAI 内部查阅,另一部分将对外公开发布。

尽管 OpenAI 首席执行官萨姆・奥特曼最初承诺,要给到评估人员 “近似正式员工的访问权限”,但 Transluce 表示,目前双方合作尚未达到这一权限级别。OpenAI 称,希望 “随时间推移深化合作关系”,未来部分评估工作可能给到评估人员 “高于多数 OpenAI 正式员工的访问权限”。

此前 OpenAI 解雇三名 AI 安全研究员,理由是他们 “违反敏感信息管理的明确制度”,这件事也让 OpenAI 和外部评估机构的合作受到外界审视。被解雇的研究员托梅克・科尔巴克在个人社交账号发文称,他曾是 METR 调查 Hugging‑Face 遭入侵事件的主要对接人。

加载中...