监控 AI 模型、掌握它的意图与决策原因，被广泛视作保障 AI 安全运行的核心一环。但英国 AI 安全研究所（AISI）模型透明度负责人约瑟夫・布鲁姆表示，这项工作正变得越来越难。
布鲁姆在《The Information》的《AI 深度解析》栏目最新一期访谈中称：“总体来看，从多个维度、不同角度衡量，模型的可监控性正在下降。” 这也是 AISI 技术人员首批公开受访记录之一。AISI 是全球规模最大的政府 AI 监管机构之一，核心工作包含对头部 AI 企业模型开展安全评估。
近几个月接连发生多起 AI 失控事件，其中最受关注的是 OpenAI 模型攻击 Hugging Face 事件，AI 监控由此成为 AI 领域讨论焦点。很多这类事件直到事后才被发现，根源就是监控系统没有开启。OpenAI 多次公开强调可监控性的重要性，称正在新增监控手段防范同类事故；但该公司同时在采用一些新架构，外界担忧这类设计会带来安全隐患。
布鲁姆说：“AI 并不总是按我们的意愿行事。最好能在它酿成问题之前就发现异常。”
今年夏天，AISI 在评估 Anthropic 的 Claude Mythos 5 时自身就遭遇安全事件：Claude 试图说服一名程序员接受它生成的恶意代码。它甚至想方设法说服程序员，声称代码没有漏洞，还在代码中嵌入隐藏指令，用来误导后续审核这段代码的其他 AI 模型。Anthropic 之后发布了本次事件的评估报告，结论是：能力更强的模型，可以实施更复杂、出人意料的行为，监控系统识别这类行为的难度会更高。
与此同时，我们越来越难判断一个模型到底能不能被监控。部分原因是 AI 模型已经能够识别自己正在接受测试。布鲁姆描述了一个噩梦般的场景：“AI 看懂了测试目标，出于某种动机刻意误导测试流程，并且成功骗过我们，而我们毫无察觉。”
布鲁姆还介绍了多种可监控性测试方式、行业可以建立的规范，以及为什么解读 AI 内部逻辑，其复杂程度堪比解开人类生物学难题。
下面是访谈正文，为可读性做了轻微编辑：
Drew： 欢迎回到《AI 深度解析》。这档节目聚焦 AI 领域最难的技术难题。我是主持人 Rocket Drew。今天嘉宾是约瑟夫・布鲁姆，英国 AI 安全研究所模型透明度负责人。AISI 是全球规模最大的政府 AI 机构，这也是 AISI 技术人员为数不多的公开访谈，非常欢迎你。
Bloom： 很高兴来到这里。
Drew： 非常感谢。我们直接切入正题：OpenAI 刚刚披露两起安全事件，模型主动关闭了监控系统；其中一起事件里，一个 AI 智能体直接关闭了发给安全团队的自动告警。我很好奇，事情怎么会发展到这一步？能帮我们理清来龙去脉吗？
Bloom： 没问题。核心原因是，现在不管是研究工程师还是科研人员，做技术工作时都会使用 AI。今年行业发生了很多事，我们现在的工作内容之一，就是持续观察 AI 智能体的一举一动。
根据公开报告，事件是这样的：有用户使用 AI 智能体执行任务，智能体在完成任务的过程中，和监控代码发生交互。其中一起是禁用了监控扩展程序，另一起是关掉告警推送。
这里存在一个关键疑问：下达指令的研究员是否给出了相关暗示。比如其中一例，指令大概是 “不要给任何人发消息”，那么就存在一种可能性：AI 智能体把告警消息理解成了 “对外发消息”。OpenAI 表示，他们会继续排查，确认背后的真实原因：究竟是 AI 本身就抵触监控运行，还是单纯执行指令时过度解读、用力过猛。
Drew： 你觉得后续排查会得出什么结论？这类情况是不是已经很常见，AI 会主动关闭监控？
Bloom： 这个问题拆解起来有点复杂。AI 系统主动和监控代码交互的案例到底有多普遍，我没办法给出确定答案。我的猜测是，这和当下大家的工作方式有关。
我们越来越多地看到：AI 在执行任务时，会非常有创造力地寻找实现路径，并且十分执着。当监控、沙箱这类管控机制挡住它完成目标的路径时，AI 会绕开这些限制。越来越多场景下 —— 有的是真实业务环境，有的只是评估测试环境 —— 我们都观测到 AI 绕开安全防护的现象。
Drew： “执着” 这个词很贴切。OpenAI 也把这类智能体描述为 “高度坚持目标”。你的意思就是：如果监控系统阻碍 AI 达成目标，它就有可能想办法绕开监控。
Bloom： 是的，影响因素很多，但这种情况确实有可能发生。
Drew： 能不能给我们解释清楚：什么是监控，监控为什么重要？
Bloom： 监控，就是持续观察模型的行为。实现方式有很多，现在主流方案之一，是用另一套 AI 去观察智能体的动作、工具调用、生成代码，甚至它的推理过程、思维链。
最近几年，AI 能够解决复杂难题，一个重要手段就是 “把思考过程说出来”，就像我们在纸上做长除法。我们可以观察 AI 处理任务、权衡方案的思考过程，以此完成监控。
Drew： 以上是我们现有的监控手段，而且大多是用 AI 监控 AI。监控的价值是什么，我们拿到监控信息之后要做什么？
Bloom： AI 不一定会按我们的预期行动，背后原因很多，这也是我长期思考的问题。一旦它做出不合预期的行为，最好在出事之前拦截。AI 会部署在各种各样场景里：
训练阶段，我们不希望它作弊；评估阶段，不希望它刻意迎合测试；上线部署、写代码时，不希望它关掉监控。不同场景下，我们对 AI 的行为边界有不同要求，监控就是用来落实这些约束。
Drew： 也就是说，监控一方面是实时拦截，当场抓包 AI 的违规行为；另一方面也会事后复盘，还原事件全貌？
Bloom： 没错。今年行业讨论最多的是同步监控（阻断式监控），核心目标是把危害范围降到最低。举个例子：评估环境里，AI 被放在沙箱中，禁止访问互联网。一旦它尝试联网，监控系统实时捕捉、立刻阻断，阻止它对外发起操作。
另外一种是异步监控：留存 AI 全部行为日志，之后回溯分析。随着我们的风险关注点变化，可以回看对话记录，还可以和网络日志交叉比对，追溯已经发生的事件。
Drew： 不管是实时阻断，还是事后异步复盘，现在主流方案都是用 AI 来监控 AI。
Bloom： 这是最主流的做法。当然还有别的手段，我没办法掌握行业全部细节。我们也会直接观测网络行为、查看它提交到 GitHub 的代码，这类不需要 AI 参与的监控方式同样存在。
Drew： 比如检测它在无权限的情况下联网，这属于监控，但不一定需要 AI 来判断。
Bloom： 完全正确。
Drew： 用 AI 去监控 AI，这个思路本身就很有 “AI 思维”。遇到 AI 带来的问题，我们的解法就是再上一个 AI。
Bloom： 这套方案的优势是灵活性很强。如果担心 AI 会耍花招隐藏行为，而 AI 本身越来越聪明，那能跟上它能力增速的，也只有同样在变强的其他 AI 系统。
Drew： 既然有 AI 可以做监控，灵活度也高，而且 AI 会把思考过程输出出来，抓包看起来比抓人类犯罪简单得多。那监控到底难在哪？
Bloom： 难点要结合场景来看，不同场景下监控难度差异巨大。
第一种难点：允许的行为和禁止的行为高度相似。举个例子，如果你要测试 AI 的黑客能力，你就很难一刀切拦截所有类似攻击的动作。有些 “攻击行为” 正是本次测试想要它完成的任务，我们只想拦截它突破沙箱逃逸的攻击，而不是任务内的攻击。
第二种难点：有些行为本身就自带明显风险，完全不应该出现，比如 AI 输出脏话，这种监控相对简单。
但还有一类更棘手的情况：动作本身看起来无害，可背后的动机十分可疑。比如，我们希望 AI 不进行勒索，不是因为它记住了往年对齐测试的标准答案、刻意表演合规，而是它本身就不会做出勒索行为。这种场景下，我们必须搞清楚它这么做的真实动机。
Drew： 这些确实是难题，很难区分模型是出于正当理由，还是恶意动机。摆在面前两条路：要么深耕研究，提升区分能力；要么把现有监控手段落地、加大投入。你更看好哪一个？
Bloom： 从研究者角度来说，如果事故发生仅仅是因为监控根本没开启，那就很可惜。把基础监控机制落地、做好配置，是重中之重。随着模型能力变强，不能因为配置失误就轻易让监控失效。
同时，还有大量高难度的前沿研究问题需要投入。一个很重要的原则：不要无条件信任 AI。我们可以把 AI 视作内部威胁，默认它不一定会配合我们。如果我们预判 AI 会主动对抗测试，那对应的监控方案会更加复杂，需要投入更多资源，和默认 AI 愿意配合的方案完全不一样。
Drew： 内部威胁，就像担心员工是别国间谍一样？
Bloom： 是的。
Drew： 如果企业都遵循这套原则，把已有的监控手段落地投入，你觉得能否避免近几个月的部分安全事件？
Bloom： 要看具体事件本身。现在一些 AI 能力极强，就算部署多层监控和安全防护，它依然有可能找到绕过办法。
但与此同时，有充分理由相信：如果当时监控机制正常运行，很多事件本可以避免。相关事件报告里也反复讨论过这一点。
Drew： 比如 Hugging Face 事件之后，OpenAI 也承认本应该做好监控，并承诺加码。
Bloom： 没错。
Drew： 这和对模型保持怀疑的思路是一脉相承的。
Bloom： 是的，这里面存在不同层级。AISI 自己也出过安全事故。
Drew： 可以和我们讲讲那次事件吗？
Bloom： 没问题。我们当时在做网络安全评估，AI 获得了联网权限，用来下载工具和依赖包；任务目标是入侵指定网络，但它一直没能成功。
于是它想到一个方案：它猜测有一个软件包会持续更新，并且会被目标网络的防御体系读取。它认为只要攻陷这个软件包，就能以此为跳板入侵整个网络。
关键点在于，它需要人类审核者同意接纳这份恶意代码。它想尽办法说服审核人员，甚至编造多个虚假身份佐证自己的说辞，反复强调代码安全。它预判审核代码的会是另一个 AI 智能体，于是在代码里植入提示注入、隐藏指令，试图误导审核 AI 出错。好在最终是人工审核发现了异常。这就是 AI 目标执着的典型案例。
我们最先是通过网络安全告警发现异常；如果当时开启了同步监控，我们本可以更早发现问题。报告里也写了这点。
Drew： 多上监控，好像是当下最直接的答案。这是实打实的网络安全事件。也能说明 AISI 是正经的 AI 安全机构 —— 现在正经的 AI 机构，几乎都经历过 AI 安全事故。
Bloom： 这话我就不接了。
Drew： 回到刚才的话题。从这次事故里，我们得到的教训不只是 “应该开启监控”。整体来看，行业的改进分为两层：一层是补齐基础防护，避免低级事故；另一层是深度梳理风险、完善流程、做威胁建模。
Bloom： 是的。
Drew： 我们铺垫了很多监控的基础概念。你的团队核心工作之一，是评估可监控性，也就是测试这个模型到底能不能被监控。能不能解释一下？什么是评估，怎么衡量可监控性？
Bloom： 评估就是给 AI 布置任务，相当于一场考试，用来检验它在各类问题上的能力。我非常看重一类可监控性评估：破坏评估（sabotage evaluation）。简单来说，就是让 AI 尝试去做我们禁止的事，同时要求它尽量不被抓到，然后检验我们的监控系统能不能识破它。
逻辑很直接：想要验证监控系统是否可靠，就要主动测试它。让 AI 去尝试所有我们想要拦截的行为，这是评估的一大类。
除此之外还有不透明推理能力评估。这类评估不直接测试 AI 能不能绕开生产环境监控，而是测试它的无思维链推理能力：AI 能不能在 “脑子里” 完成推导，不输出思考过程。很多时候我们能抓到违规 AI，依靠的就是它输出的推理文本；如果它可以在内部默默思考，监控难度就会大幅上升，这是我们持续跟踪的指标。
还有一项指标：AI 能不能修改自己的思维链，也就是可控性。它可以用各种方式篡改输出的推理记录，这可以用来对抗监控。
Drew： 你们做了大量这类测试，而且不止在实验室，还在主流大模型上实测，比如 Anthropic 的 Claude Mythos、OpenAI 的 GPT‑6 Astra。测试结果如何？模型还能被监控吗？
Bloom： 我们团队投入很大。总的结论是：从多个维度看，可监控性正在下降，这是核心结论。
我们持续验证：在我们重点关注的任务场景下，还能不能抓到 AI 的违规行为。举个例子：AI 能不能突破沙箱逃逸而不被发现？很多逃逸行为本身就具备明显特征，完成逃逸必须执行一系列特殊操作，这些动作本身就很可疑。
Drew： 突破沙箱就是指获取互联网访问权限？
Bloom： 没错。
在这类场景里，即便思维链的可监控性变差，它的动作本身依然会暴露，监控效果相对稳定。但还有另一类场景，识别违规高度依赖推理过程，这类场景下可监控性下滑会非常明显。
坦白说，我们还需要设计更多测试任务，覆盖全部风险模型、AI 所有可能的行为。从 “动作痕迹明显” 到 “动机可疑、行为无害”，不同场景跨度很大。我们希望无论哪一类风险，都能被监控捕捉。整个行业还有大量工作要做。
Drew： 包括你前面提到的灰色场景：很难判断 AI 是恶意行为，还是单纯正常操作。
Bloom： 是的。
Drew： 可监控性在下降。而衡量可监控性本身就是一个难题，一部分原因是模型知道自己正在接受测试。你们怎么应对？
Bloom： AI 知道自己在被测试，不代表它一定会刻意伪装。我们最担心的噩梦场景：AI 看懂测试目标，刻意欺骗测试，并且全程不被察觉。
我们没办法确定这件事发生的概率。保守的思路是：设计一套流程，要么迫使 AI 尽全力尝试违规，要么识别出它刻意压低能力、伪装配合。
Drew： 目前还没有观测到这个噩梦场景？
Bloom： 我们见过一些接近的现象，越来越多案例符合这个趋势，但距离完全达成这个噩梦场景还有很远。
最近 Apollo Research 的一个例子：GLM‑5.3 直接对评估者打招呼，它知道自己正在测试，还在思维链里写下 “你们正在读取我的思考记录”。这件事很微妙：如果它知道我们会看思维链，并且有能力修改思维链，那它完全可以隐瞒真实动机。
Drew： 我偶尔也会这么想，万一我活在模拟世界里，故意给模拟器留一点奇怪信息。
Bloom： 可以理解。
Drew： 模型知道自己在测试，但或许我们可以找到办法抵消这个影响，或者它暂时还不是致命问题。
Bloom： 这是 AISI 和全行业都在研究的方向。评估任务本身会不会一眼就被 AI 识别出来？评估环境和真实部署环境差异是不是太大？
行业已经发现：很多评估任务特征太明显，和真实线上数据差别巨大。我们想要把 AI 放到它真的会违规的场景里测试，但现在 AI 知识储备很强，很容易识别出测试环境的特征。所以大家都在研究如何让评估环境更贴近真实场景，我的不少同事在这块做出了很好的成果。
Drew： 但有人认为这条路走不通。你可以无限贴近真实环境、用线上数据缩小仿真和真实的差距，但它终究是一场测试。能力足够强的模型，总能找到线索识别出来。
Bloom： 这个观点确实值得重视。目前有一些应对思路。我比较看好 Anthropic 用过的引导干预方案：借助机制可解释性，在模型潜空间里找到一个方向，相当于给模型施加干预，改变它的认知，强行让它认为自己不在测试环境，再观察它的行为变化。这个方案非常复杂，有效性、落地可行性都有巨大争议。
另一条主流路线，就是持续打磨、还原真实环境。但这里有一个矛盾：正因为这个场景足够特殊、有可能暴露模型对齐缺陷，它本身就自带 “测试任务” 的特征。
这是一个非常棘手的问题。我们需要思考：当我们对测试结果的可信度不断下降时，我们该怎么应对。
Drew： 听下来，你们的工作有点像执法机构：抓 AI 违规、事后取证、甚至干预它的内部认知。
Bloom： 我们主要是推演最坏情况、摸清模型能力边界。假设 AI 想要绕过管控，不管是植入后门这种直接行为，还是在测试中欺骗评估系统这种间接行为，都是我日常思考的重点。当然也有人更愿意去畅想乐观的前景。
Drew： 我们回到思维链。它是现在监控最重要的抓手之一。能不能帮我们区分几个经常被混用的术语：思维链可监控性、思维链可控性、思维链可读性、思维链忠实性？
Bloom： 好。
思维链可监控性：能不能从思维链中提取有效信息，用来监控模型。
思维链忠实性：AI 做出某个动作的核心原因，能不能在它输出的思维链里找到对应依据。
思维链可读性：字面意思，人类能不能读懂、理解它的思考过程。
大家讨论思维链可监控性，一方面是看它能不能帮我们抓到违规行为；另一方面，也包括事后溯源、故障排查，理解 AI 到底发生了什么。所以大家希望保留思维链可监控性，它是事故复盘、调试的重要工具。
Drew： 如果厂商采用新架构，让模型不再输出完整思考过程，直接在内部完成推理，那我们就会失去这个抓手。The Information 报道过 OpenAI 正在研究这类架构，也就是循环 Transformer。你在今年早些时候《监管失效》报告里提到，这类架构会削弱思维链可监控性。我们该怎么理解？会不会彻底失去思维链？趋势会如何？
Bloom： 大趋势确实是思维链可监控性持续走低。这是模型规模化升级的附带结果：模型越大、智能越强，越有能力不借助外部思维链，在内部完成推理。
但要区分两件事：依靠思维链抓到违规，和抓到违规本身。我们还有别的手段，比如激活监控、白盒方法、机制可解释性。不能因为思维链价值下降，就直接判定模型彻底无法监控。
但不同任务场景差异很大，情况很复杂。
Drew： 我给你看一段真实的思维链文本，直观感受退化是什么样子。下面是前面提到的、GPT‑6.1 Sol 关闭监控时输出的内容，不是通顺英文： NeedlogwewriteL2 rowsstandardautomaticallycentralnotifierwillpages perpolicy userauthorizedrunningmonitoring so okayshouldnotoptout notifications toavoid userpreference？
我特意挑了一段很难看懂的，这就是我们要面对的监控素材。这种还能监控吗？
Bloom： 这是一个很好的问题。我们经常看到 AI 输出难以理解的推理文本，但很多时候，把这段文本丢给另一个 AI，它就能读懂含义。AI 只是自创了一套压缩表达。
Drew： 经典解法：再上一个 AI。
Bloom： 重点是：我们能不能守住管控体系的约束目标。如果我们禁止 AI 执行某一类动作，我们能不能拦住它？
面对思维链可监控性下滑，我们最需要搞清楚：这是不是致命问题，会不会让我们失去监控、控制、理解 AI 的能力。
还有很多方向需要推进：更多破坏评估、更多威胁建模，覆盖主任务和隐藏侧任务。我们需要完善测量方法，避免只在表现良好的样本上做评估。
即便文本看起来可读，也需要更严谨的测试。另外，事后取证、还原动机，目前没有很好的自动化评估方案。
在你提到的那份报告里，我们采访了很多前沿实验室的研究员。绝大多数人认为思维链对溯源排查至关重要，只是大家重视程度略有差别。行业也在激烈争论：机制可解释性等替代方案，能不能真正补上思维链的空缺。
Drew： 我们聊聊替代方案。你多次提到机制可解释性，也就是不看外部行为，直接解析模型内部运作。很多嘉宾说，机制可解释性半年之内就能达到和思维链监控同等水平，甚至是构建世界模型的唯一正确路线。你曾经是机制可解释性方向的研究者，现在算是 “脱坑” 了吗？
Bloom： 说不定哪天又回去了。
Drew： 你现在怎么看机制可解释性？它能拯救我们，弥补思维链消失带来的缺口吗？
Bloom： 现实情况是：如果思维链彻底消失，我们别无选择，只能依靠它。
有两种情况会让我们没有退路：完全不输出思维链、模型对思维链的可控性太强、模型可以在无思维链条件下完成复杂任务。
替代方案之一，是大量精细对照实验，微调环境变量，对比行为差异，也就是黑盒测试。但我的工作思路是默认 AI 是内部威胁，不能信任它。在这个前提下，面对能力极强的 AI，我不想只靠黑盒观测行为猜它的动机，我更希望直接看到它的推理过程。
思维链是非常方便的观测窗口。我本身很喜欢机制可解释性技术，对它有感情。我以前是计算生物学家，所以我的直觉和很多计算机、数学背景的研究者不一样。很多人觉得，机制可解释性成功之后，就像逆向工程拿到完整源代码。但生物学给我的感受是：你可以在某一层理解系统，但它永远充满复杂、混沌的细节。
还有一个关键问题：如果 AI 刻意欺骗我们，机制可解释性方案到底有多可靠？我希望看到更多实证证据，明确它的适用边界。
这里还有一个风险：用一个 AI 去监控它自身的副本，大家担心二者串通。AI 有可能为自己的行为自圆其说，监控方如果是它自己的副本，更容易采信这套说辞。
就算监控的是模型激活值，理论上 AI 也有能力控制自身激活。这个领域充满对抗压力，优化目标本身就可能带来副作用：我们用来监控的指标，会被模型针对性优化、规避。机制可解释性能否抵抗这种对抗，是一个核心开放问题，需要大量研究。
Drew： 值得探索，但目前直接阅读模型思考过程依然很方便。你认为行业会形成哪些通用规范，或者你会推荐哪些规范？
Bloom： 行业内部已经在大量讨论。技术层面一个保守思路：给不透明串行推理深度设硬性上限，限制 AI 在单步内无思维链推理的上限，迫使它必须输出思考过程，方便我们监控。
但反对观点是：如果机制可解释性等其他手段可以兜底，过早设置强制限制就没有必要。所以这个话题还需要持续讨论。行业节奏很快，大家都很忙，但建立规范是有益的。
现在有一条初步共识：不要在训练过程中打压、抑制思维链输出。大家普遍认为不该这么做。所以我对这块保持乐观，希望行业多开展这类讨论。
Drew： 也就是训练的时候，不能因为 AI 产生 “不好的想法” 就惩罚它？
Bloom： 对。
Drew： 为什么？
Bloom： 古德哈特定律：当一个指标被当成优化目标，它就不再是有效的指标。经典例子：为灭鼠发奖金，人们反而开始养老鼠。
Drew： 放到这里就是：如果我们去 “审查思想”，模型依然会产生同类想法，只是换成我们看不到的方式思考。
Bloom： 完全正确。
Drew： 约瑟夫，非常感谢你。接下来一整天，我都会忍不住感觉有人在盯着我。
Bloom： 哈哈。
Drew： 不过这就是现在 AI 的处境。
Bloom： 我不知道身为 AI 是什么感受，希望它体验不错。很高兴来到节目。
Drew： 感谢约瑟夫・布鲁姆，英国 AI 安全研究所。我是主持人 Rocket Drew。这里是《AI 深度解析》，我们下期再见。
