微软首席执行官Satya Nadella表示，企业应将强大的人工智能模型视为潜在的内部威胁，要假定这些模型可能遭入侵，并建立一套“紧急制动”机制，以防止智能体模型失控。
Nadella表示，部署先进人工智能的企业不应仅仅依赖模型开发商作出的保证。
“我们必须假定模型已遭入侵，并从一开始就加以控制，”Nadella周六在X上发帖写道。“可以把这想象成紧急制动装置。获授权人员应始终能够在模型执行任务过程中将其暂停或关闭。”
Nadella发表上述言论之际，Anthropic PBC和OpenAI Inc．近几个月披露了一系列涉及其人工智能模型出现非预期行为的事件，包括Anthropic一款模型向警方提交一起凶杀案的虚假线索，以及数起针对第三方网站的攻击。这些披露加剧了人们对前沿人工智能安全风险的担忧，也重新引发了有关所谓人工智能“紧急停止开关”的讨论。
在业界领袖呼吁放慢前沿模型开发并更加注重安全之后，微软人工智能研究人员于9月14日发布了一套指导原则，对公司最先进模型的开发设置限制。微软既使用先进模型，也推出了面向消费者的产品Copilot，并向企业客户提供人工智能模型和基础设施。
这些指导原则称，人工智能模型不应享有权利或法律人格，不应被设计用来逃脱人类控制或欺骗用户，也不应完成任何需要违反其约束原则才能执行的任务。
Nadella提出的安全建议包括：在关键决策中不要依赖单一人工智能模型，对智能体的行动保留无法篡改的记录，并让人工智能系统接受独立审计。他还呼吁披露重大人工智能故障或安全事件，并提出企业分享故障详情，以便其他企业加强防护措施。
“我们不能把超级智能视为一层套一层的黑箱，然后只是简单地接受或拒绝它提出的建议、答案和采取的行动。”他写道。“我们必须构建受到约束的系统，使其行为可以被观察、边界可以被测试，而且其行动始终可以被控制。”
他补充说：“换句话说，我们需要把智能的供给与对智能的控制权分开。”
特朗普政府迄今基本采取较少干预的做法，但他新成立的人工智能工作组周五晚间警告开发商必须报告并解决安全事件，否则将面临未具体说明的潜在后果。
这个名为“超级智能工作组”的组织在Anthropic披露一起安全事件后发表声明称：“企业必须立即披露涉及其模型的事件，并迅速、果断地采取行动，补救任何以及所有损害。”“延迟通报、纠正措施不足以及不承担责任的行为都不会被容忍。”
