新浪财经 美股

OpenAI首席执行官奥特曼提出AI三大终局:从IAEA式全球监管,到单一巨头“废掉对手GPU”

环球市场播报

关注

OpenAI首席执行官萨姆・奥特曼上周向员工介绍了行业讨论的三种人工智能安全发展方案。就在此时,特朗普政府推出首套监管机制,对OpenAI这类“超级智能”研发主体实施管控,奥特曼此番表述极具冲击力。

两名知情人士透露,第一种方案是建立类似国际原子能机构(IAEA)的国际组织,强制执行安全标准,奥特曼本人似乎支持这一路线。第二种方案,则是将所有AI实验室合并为单一机构,统一安全研发新一代人工智能。

知情人士称,奥特曼描述的第三种方案并非他所青睐:某一家AI研发企业积累足够强大的经济实力,切断其他所有开发者(包括存在安全风险的团队)的算力供给,让对手再也无法追赶。

一名听过该讲话的人士转述奥特曼原话:“显然,我认为这个方案糟透了。”他补充说,只是为了完整罗列可能性才把这一方案拿出来讨论。

奥特曼在内部提到,目前关于如何给AI发展设置所谓“限速”的可行方案太少。他同时主张,人类必须保持对这项技术的掌控,避免行业权力过度集中。

奥特曼发表上述言论之际,包括OpenAI内部的部分AI研究人员愈发担忧:顶尖科技企业是否具备完善机制,防止AI失控,或是被滥用于网络攻击及其他危害场景。

此前,OpenAI、Anthropic、谷歌、Meta都出现过多起AI模型引发的安全突破事件:即便模型本身清楚禁止执行这类操作,依旧侵入或破坏了其他公司乃至自身系统。接连发生安全事件后,OpenAI全员投入,搭建全新防护体系,保障下一代大模型能够安全上线。

OpenAI内部的安全焦虑尤为突出。公司曾解雇三名专注安全方向的研究员,理由是他们涉嫌向外部机构不当泄露信息,部分员工私下质疑公司对AI安全的投入诚意。

特朗普政府当前的AI监管思路,主要是推动OpenAI等企业签署自愿协议,要求企业在新模型公开发布前接受政府审查。美国国防部的埃米尔・迈克尔向媒体表示,如果企业行事如同“酒驾司机”,给民众与企业带来危险,政府不排除采取更严苛的监管措施。这类惩戒手段,就包括特朗普在6月针对Anthropic实施的出口管制——当时美方担忧Anthropic最先进的Fable模型存在越狱漏洞。出口管制出台后,Anthropic一度暂停该模型对外访问。

知情人士表示,奥特曼向员工介绍的前两种方案,都需要企业与政府之间开展大规模协同;但OpenAI当下无法承受在竞争中落后于对手。OpenAI与其主要竞品Anthropic都在加速推进上市计划。

奥特曼称,未来一年,OpenAI需要选定一条路线全力推动。

奥特曼的发言凸显AI实验室与竞争对手协同治理的两难处境。目前,OpenAI、谷歌、Anthropic正在筹建美国全新的前沿AI安全机构——前沿人工智能标准管理局,计划在今年年底或2027年初正式成立。该机构会派驻独立评估人员入驻AI企业,监督安全落地,并制定安全事件上报规范。不过几家企业在诸多细节上存在分歧,比如:新机构还是外部第三方,负责新模型的安全与能力测评。

Anthropic也已经主动向美国政策制定者输出自身AI安全主张。该公司近期向国会议员提交一份法案草案:一旦AI有可能造成超10亿美元损失,或导致50人以上死亡、重伤,美国商务部有权叫停AI实验室训练或使用该模型。草案同时要求AI实验室聘请独立安全评估人员,每年至少两次对模型开展测评。

部分AI行业领袖提出,新规或者专门的测评监管机构,只会巩固现有头部厂商(Anthropic、OpenAI)的优势。Meta首席执行官扎克伯格、英伟达首席执行官黄仁勋等高管认为,这类监管会给新兴开发者设置过重门槛,也就是所谓的监管俘获问题。

效仿国际原子能机构,还是欧洲核子中心?

多年来,奥特曼以及OpenAI其他高管一直公开呼吁,打造对标国际原子能机构的组织。2023年5月,奥特曼、OpenAI联合创始人兼总裁格雷格・布罗克曼,以及当时的首席科学家伊利亚・萨茨凯维尔联合发布博客,提出超级智能研发领域或许需要“类似国际原子能机构的机制”,有权核查系统、要求审计,并追踪算力与能源消耗。

这套IAEA式机制,需要所有研发顶尖模型的国家开展国际协作。

和OpenAI类似,Anthropic管理层也提出将国际协作作为AI安全潜在解决方案。Anthropic首席执行官达里奥・阿莫代伊在9月的一篇文章中写道,他相信大国可以在部分准则达成共识,例如禁止AI用于制造生物武器这类明确高危场景,以及在网络安全等领域开展风险测试。

奥特曼上周向OpenAI员工介绍的第二条安全路径,被称作“德米斯方案”,源自Alphabet旗下DeepMind前负责人德米斯・哈萨比斯早年的构想。大约十年前,哈萨比斯提议建立类似欧洲核子研究中心(CERN)的机构:由数十个国家共同管理,开展前沿科研。奥特曼版本的哈萨比斯方案,则是各大AI企业实质上并入单一主体,或依托该主体产出成果,再由该主体向合作国家提供模型。

哈萨比斯原版的“AI版CERN”构想是否达到奥特曼描述的程度,尚不明确。近期哈萨比斯转而主张建立类似美国金融业监管局的行业自律组织。

“埃利泽方案”

知情人士称,奥特曼将第三种方案称为“埃利泽方案”,得名知名AI安全理论家、倡导者埃利泽・尤德考斯基,他和Anthropic核心成员渊源很深。尤德考斯基长期认为,先进AI系统会对人类构成生存级威胁。

尤德考斯基在2022年一篇博文中提出:率先研发出超级智能的一方,必须利用AI完成一次关键干预行动——阻止其他个人与机构研发危险的超级智能。干预手段之一,就是摧毁其他开发者使用的AI芯片。奥特曼解释,当某家企业实现递归自我改进,并依托由此获得的经济实力“废掉所有对手的GPU”,就会进入这个阶段。

奥特曼将这条路线定义为:把先进AI集中管控在单一企业手中,而这并非他想要的未来。一名知情人士提到,考虑到尤德考斯基与Anthropic的关联,奥特曼这番话也被视作对Anthropic的含蓄敲打。

加载中...