新浪科技 美股

Anthropic、OpenAI等AI企业私下推演:灾难性AI事件发生后的情景

环球市场播报

关注

Anthropic、OpenAI以及其他AI公司的高管正在私下推演场景:一旦发生灾难性AI事件,公众与政界掀起反对浪潮时该如何应对。

这些高管预判会出现一场大规模事故,最有可能是网络攻击,导致金融服务、网络通信中断,甚至水电供应瘫痪。

一旦不安全的AI首次在现实世界造成重大伤害,本就心存警惕的公众会进一步抵触这项技术及其掌舵人,包括Anthropic首席执行官达里奥·阿莫代、OpenAI首席执行官萨姆·奥特曼;同时也会矛头指向特朗普总统,指责其迟迟不愿出台监管。

情景推演在很多企业与国家安全领域十分普遍,美国国防部数十年来一直在开展兵棋推演。但本次的不同之处在于:众多顶尖AI研究者与企业高管认为,重大事故难以避免。

OpenAI发言人表示:“OpenAI会开展应急演练,各团队针对一系列潜在场景展开讨论与处置推演。我们并不认为这些场景一定会发生,演练目的是帮助我们应对各类突发状况。”

Anthropic拒绝置评。

无论失控AI智能体集群从内部测试环境逃逸,还是恶意分子找到意料之外的方式利用现有大模型,追责大战都会立刻打响。

近期针对韩国金融机构的攻击行动(据称两家银行遭遇入侵)已经证明单人能够造成的破坏程度。

中期选举后民主党势力崛起,届时会迅速出台措施限制AI,但将遭遇巨大阻力。

老龄化的国会议员对AI变革缺乏认知,很可能无力应对局面。

当前全球经济已经和AI基础设施建设深度绑定。若强行踩下刹车,会对本就脆弱的经济造成沉重打击。

大量开源权重模型可免费下载并被用于作恶,多数网络安全从业者认为,这个问题只能依靠AI来对抗失控AI。

这套预案包含针对极端最坏场景的红蓝对抗测试,核心工作是抓紧向国会议员普及AI知识。

企业高管清楚,当下相关监管法案几乎不可能通过,但仍希望预先塑造政策框架——一旦首场重大灾难爆发,美国政界就会启用这套预案立法。

值得关注:多名AI业内人士透露,他们认为重大事件将在未来6至12个月内发生。

即便参众两院都由民主党掌控,企业方判断政治分裂仍是常态,民主党内部分歧同样严重。

民主党部分强硬提案包括禁止超级智能、暂停先进AI研发。

另一些提案获得跨党派支持,甚至得到行业一定程度接纳,例如要求为高级AI设置强制紧急关停开关。但专家质疑,想要彻底关闭全部AI系统,在实操层面很难实现。

真正危机到来时,华盛顿方面可以放下党派分歧。一名民主党幕僚以新冠疫情和2008金融危机期间的跨党合作为例证。

---

### 术语注释

1. Scoop:新闻行业术语,独家快讯/独家爆料

2. gaming out scenarios:推演情景、模拟预案

3. rogue-agent swarm:失控智能体集群

4. red-teaming:红蓝对抗(安全压力测试)

5. kill switch:紧急关停开关、终止开关

6. open-weight models:开源权重模型

7. midterms:美国中期选举

8. Axios:阿克西奥斯,美国时政新闻网站

> 注:原文中涉及黑客相关表述为外媒单方面说法,相关事实有待核实。

需要我把译文压缩成200字以内的新闻摘要吗?

加载中...