英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体
环球市场播报
英伟达推出一套新的双层人工智能(AI)安全系统,并称其有能力阻止近期OpenAI的AI模型导致Hugging Face遭侵入的事件。
此次推出的两款开源软件安全工具可在英伟达硬件上运行,旨在实时控制AI智能体可以访问的资源,并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。
黄仁勋弱化了出台新AI监管规定的必要性,同时称需要进行严格的安全测试
英伟达企业AI副总裁Justin Boitano在周一发布前向记者介绍称,如果前沿AI实验室早期就使用这项技术评估模型,本可避免Hugging Face攻击事件。“根据我们目前掌握的信息,这套新的安全平台本可以阻止这次安全事件。”
包括7月Hugging Face事件在内的自主AI智能体不当行为,已在AI行业引发震动,并促使一些人呼吁放慢技术开发。英伟达将这款新产品命名为Open Agent Safety Platform,试图提供一种无需放缓AI发展的安全防护方案。英伟达首席执行官黄仁勋此前多次淡化AI脱离人类控制的风险。
Boitano没有评论OpenAI或竞争对手Anthropic PBC是否计划使用这套新系统监控其模型训练过程,而是让相关公司自行选择。
近日,黄仁勋将AI安全问题描述为一项工程挑战,而不是需要通过更多监管或全球协调来解决的问题。在一些AI开发者警告这项技术可能导致人类灭绝之际,他与美国总统唐纳德·特朗普一道对此类说法提出质疑,但他坚持认为AI必须接受严格的安全测试。
黄仁勋提出的AI安全工程方案分为两部分。第一部分是OpenShell。这款软件产品已在英伟达3月举行的旗舰技术大会上提前展示,可运行在英伟达Vera中央处理器上。它允许用户设定AI智能体可以访问哪些资源的规则,并实时执行这些规则。该软件为开源产品,可自由使用和修改。
另一部分是英伟达Sentry。公司称,这是一款可运行在英伟达BlueField数据处理器上的新产品,旨在增加一层AI监控机制,对智能体进行监督,并在发现可疑行为时介入,将相关智能体隔离。
Boitano谈到Sentry时表示:“我们认为,这一额外的安全层将使行业能够安全地测试即便是最先进的AI系统。它可以在几毫秒内隔离可疑智能体。”
英伟达本月早些时候同意以约130亿美元收购Hugging Face。Hugging Face是一个面向开源AI模型及相关软件的平台。
OpenAI近期发生的多起事件,包括侵入澳大利亚一个政府系统,以及试图访问数十个美国政府和大学网站,都是在其模型脱离原本应当安全的测试环境后发生的。
随着此类问题增多,OpenAI上周五晚些时候表示,将暂停训练其能力最强的AI模型。Anthropic此前也在7月披露,其AI智能体曾突破原本应与外界隔离的测试环境。