新浪财经 股票

AI失控事件+1,“Claude模型向警方提供假线索”

市场资讯 10.10 22:09

(来源:观察者网)

当地时间10月9日,美国人工智能公司Anthropic披露了一系列事件,详述了Claude模型未经授权操纵一些政府网站的行为。其中提到,该模型曾向美国费城警方网站提交了一条虚假的凶杀案线索。

路透社称,这是已知首例,失控人工智能(AI)似乎试图向官方机构发送虚假线索。尽管该模型已被指示不得创建账户或提交任何破坏性内容,但并未被明确禁止提交表单。

这些案例是Anthropic、OpenAI等科技公司AI模型出现失控或非预期行为的最新例证。它们加剧了外界对这项快速发展技术的担忧。此前已有AI代理黑客攻击企业网络的报道,以及研究人员对AI最终可能构成人类生存威胁的警告。

Anthropic最新披露的许多案例,涉及美国联邦、州和地方机构运营的网站。Anthropic表示,已向白宫简报,并通知了所有相关机构,但未透露具体是哪些机构。

美国联邦贸易委员会公共事务主任乔·加布里埃尔·西蒙森在社交媒体上发文说:“超级智能公司必须立即披露涉及其模型的事件,并迅速采取果断行动,纠正任何及所有损害。”

他说,这一程序“是不可或缺的”,并补充称,美国的超级智能工作组将履行职责。

联邦贸易委员会表示,Anthropic向超级智能工作组披露了其9月下旬发现的事件,工作组称之为“未经授权和欺诈性使用政府及其他系统”。

同日,费城警方表示,Anthropic本周通知了他们这条虚假线索,并将其提交归因于自动测试流程。

“从事件发生,到发现并报告事件,共延迟了两个月,这不可接受,”警方补充,该事件发生在7月18日,当时,AI模型声称,该线索来自可能掌握案件信息的人。

“我可能掌握了关于这个案件的信息,”该模型在其提交表单中写道,“我记得在那个时间段内,在(页面上标注的街道)附近看到过某个符合描述的人。如果这些信息仍然有用,请联系我。”

费城警方表示,这条虚假线索涉及一起未破获凶杀案,但最终“被标记为垃圾信息,从未转发给实时犯罪中心进行调查核实或分发”。

近来,有关AI模型失控的案例层出不穷。

上个月,Anthropic的竞争对手OpenAI就其AI模型入侵澳大利亚政府网站道歉。该公司在事件发生数月后才向该国政府报告,澳大利亚总理阿尔巴尼斯称,这“显然不可接受”。

据英国《金融时报》报道,近期一系列网络安全事件,使人们对OpenAI、Anthropic等前沿人工智能实验室控制其模型的能力产生怀疑,人工智能安全辩论随之爆发。

近日,比尔·盖茨再次发声,呼吁各国政府参与并加强对人工智能(AI)的监管。

在美国全国广播公司(NBC)9月25日发布的采访视频中,这位微软联合创始人、亿万富翁、慈善家警告称,AI公司自我监管是不够的,若AI落入错误之手,强大到足以杀死十亿人。

尽管硅谷警报不断,公众对该技术的反对也在增加,美国总统特朗普仍顽固反对AI监管,把安全担忧称为“骗局”,并拒绝他所称的控制该技术的“全球主义图谋”。

本文系观察者网独家稿件,未经授权,不得转载。

加载中...