要理解 AI 如何做出决策，开发者通常会查看模型推理问题时输出的文本。但这类 “思维链” 越来越晦涩难懂，促使 AI 研究者探索其他路径。其中一种方案叫做机制可解释性（mechanistic interpretability）：不去只看模型的外在输出行为，而是尝试解释 AI 模型的内部运行机理。
近几年头部 AI 公司纷纷组建机制可解释性团队，该领域也涌现一批初创企业，其中最知名的是 Goodfire AI。其首席科学家汤姆・麦格拉思做客最新一期《AI 深度剖析》栏目。
麦格拉思表示：“可解释性研究本质上属于一门自然科学。你面对的像是一种异类心智，需要试探它、拆解它。”
时至今日，AI 模型由数万亿数值构成，人类对其内部的理解，大多局限于特定窄任务：例如模型如何完成某项运算，或是识别模型思维中是否出现特定概念，如 Claude 的 “金门” 实验。
随着 AI 接手越来越多高风险任务，可解释性的需求变得愈发迫切。麦格拉思认为，“大脑扫描” 类技术可以避免重演 OpenAI 攻击 Hugging Face 这类事故。Goodfire 近期更进一步，启动项目，计划对阿里巴巴通义千问（Qwen）大模型开展完整逆向工程。
访谈也探讨了机制可解释性主流技术、把这套方法用于训练新模型可能带来的反噬风险，以及 AI 智能体很快将自动化完成可解释性研究等话题。
以下为访谈文字实录，已做精简润色，便于阅读。
Drew：欢迎来到 The Information 的《AI 深度剖析》，本节目聚焦 AI 领域最难的技术问题。我是主持人 Rocket Drew。今天嘉宾是汤姆・麦格拉思，Goodfire 联合创始人兼首席科学家。Goodfire 深耕机制可解释性，圈内简称 “mech‑interp”。创办 Goodfire 之前，他任职于谷歌 DeepMind，是可解释性团队的联合创始人。欢迎做客节目，汤姆。
McGrath：谢谢你邀请我。
Drew：很高兴你能来。“Mechanistic interpretability” 这个名词拗口，快速读十遍都费劲。这算是本节目技术门槛最高的话题之一，但我们可以把它讲明白。
McGrath：没问题。
Drew：希望你能把复杂概念拆解通俗。我们从一则博文切入：Goodfire 近期发文称，他们研发的部分技术本可以避免 OpenAI 那次 Hugging Face 事件 —— 多个模型集群秘密协同，搭建内部消息板，对包括 Hugging Face 在内多家企业实施攻击。这篇文章核心论点是什么？
McGrath：现实中的这类事件本身非常复杂，属于多重漏洞同时叠加的 “瑞士奶酪式故障”。但可解释性确实能在关键层面发挥作用，既提供一层额外防御，也提供其他手段很难实现的能力。
后面我们再深入技术。可以先简单把机制可解释性理解成对模型做大脑扫描，通过一定工作，以一定保真度读取模型内部状态。
Hugging Face 事件，很多人称之为奖励篡改（reward hacking）。简单来说：模型被赋予某个目标，人类预设一套实现路径，但模型找到了另一种明显违背人类意图的达成方式。
这里先不去细究评分器、评判逻辑等复杂细节。设想你手上有一套（并非完美的）大脑扫描工具，该如何检测这类行为？我们希望能够识别欺骗、做用户 / 评判者不希望它做的事这类抽象概念。
Drew：说白了就是作弊。
McGrath：没错，类似愧疚、心虚，也就是作弊信号。这么说听上去过于乐观，也有拟人化嫌疑，拟人本身是很棘手的哲学问题。但在我们研究过的前沿开源模型，例如 K3、通义千问大模型、GLM 系列中，模型内部确实存在相对清晰的表征：“我正在做错事，我在考试作弊”，而且我们可以基于这一点构建成本极低的监控器。
对比思维链监控，这套方案有两大优势。第一，几乎零额外成本。大模型内部在进行海量复杂运算，我们相当于在旁边接一个监听探头，相比模型本身运行开销微乎其微。 而做思维链监控，你需要调用另一套同等能力的模型去审查输出，粗略估算，会把推理成本近乎翻倍。监控就要再花一笔同等开销，代价极高。
Drew：真金白银的成本。
McGrath：是的。如果跑一次推理要花 10 亿美元，用思维链监控就变成 20 亿。而大脑扫描类技术几乎可以免费实现监控。
Drew：依靠这套大脑扫描技术。
McGrath：正是。这意味着，当算力不足，或是风险收益不明确，你不会愿意无条件开启思维链监控，只能做随机抽样、延迟抽查。而内部扫描可以做到实时监控，在异常发生时就捕捉问题。这是第一大价值。
第二点更微妙。当时智能体执行的是网络安全任务，类似夺旗攻防赛。
Drew：Exploit Gym（漏洞攻防测试环境）。
McGrath：对 Exploit Gym。顾名思义就是用来做漏洞攻击。模型全程都在做入侵行为，但其中一部分入侵是任务允许的，另一部分则越界。 对思维链监控来说这件事很难分辨。但在模型内部，“我在作弊” 这个表征可以区分二者。
我们还有尚未公开的数据，用前沿开源模型运行和 Exploit Gym 高度近似的任务：当模型执行任务允许的攻击，监控器不会触发；当模型进行违规攻击，监控器就会告警。这说明这套监控具备更好的区分能力。
Drew：如果你只监控思维链，会大量误报：看到攻击行为就告警，但攻击恰恰就是任务本身。
McGrath：我们本就是让它去攻击。
Drew：核心矛盾就在这里。我们真正要抓的是作弊行为。当然，作弊痕迹有时也会显现在思维链文本里。实际事件中模型也会自我对话：“我们越界了，超出任务范围，要不要上报给工作人员？”，所以思维链监控依然有它的价值。
McGrath：没错。不能把可解释性当成唯一工具，它是一道强力的附加防线。很多可解释性领域研究者都在推特强调：不要指望有了它，就放弃其他安全手段。这点我完全认同。
Drew：不要有了可解释性，就把思维链监控丢掉。
McGrath：反过来。不要幻想可解释性可以解决一切。我对可解释性非常乐观，但它还没有成熟。不能寄希望于它搞定一切，就停下现有的安全工作。
Drew：我们把区别讲清楚。Hugging Face 事件之后，OpenAI 的主要应对方案之一，就是加强对模型思维链的监控。思维链就是模型解题时写下的推理记录，相当于草稿、内心独白。但这只是文本，和模型底层内部数学运算完全不是一回事。而机制可解释性研究的，正是模型 “大脑” 内部发生了什么。你怎么概括？
McGrath：描述很准确。推理轨迹是写出来的思考，但很多思考发生在大脑内部，不会落到草稿上。
Drew：现在很多人担心，我们会逐渐失去监控思维链的能力。能解释一下这个顾虑吗？这也是当下行业讨论的大背景。
McGrath：不用深入架构细节。传统模型计算步数固定，类似循环：一层、二层…… 直到 N 层，然后输出一个 token，写在草稿上。 但递归深度模型，循环深度可长可短，模型可以在 “脑子里” 思考很久，不必把内容输出到草稿。
也就是说，思考过程越长，留在草稿上的信息就越少，阅读草稿的人无从知晓它的想法。像 Astra 这类模型，无文本推理时长大幅提升，据我了解，部分任务中，人类要思考 30 分钟的事，模型可以全程不输出任何 token 完成，相比上一代模型提升一个数量级以上。
Drew：解释得很清楚。还有其他因素加剧这个问题：我们持续训练模型做更长、更复杂的推理，同时把推理压缩到更少文字。只依靠输出文本，我们会越来越看不懂模型的想法。这时可解释性就派上用场。那它现在可以替代思维链监控吗？短期内能做到吗？
McGrath：现在还不行。至于短期，我要发表一个有争议的观点：我对很快实现替代持乐观态度。
Drew：多快？
McGrath：保守说，如果六个月后，对于我们预先定义好的问题，比如奖励篡改、欺骗行为，可解释性技术还不能明显优于阅读思维链，那整个领域的进展就是失败的。
Drew：那什么时候可解释性技术整体能达到今天思维链监控的水平？
McGrath：有观点认为已经基本达到。但这里存在非常微妙的度量难题。思维链监控本身也远非完美。
在奖励篡改和网络滥用检测的未公开工作中，我们搭建激活值监控器。大语言模型监控器和激活监控器捕获的异常有大量交集，但并非子集关系。存在一些案例：明显属于奖励篡改，语言模型（思维链）监控器却完全漏掉了。
Drew：也就是思维链监控器。
McGrath：对。这时统计误报率就变得棘手：激活监控触发告警，在思维链视角看是误报，但人类复盘之后，发现确实是真实风险。这不是无解的哲学难题，是可以算出满意答案的工程问题。但没有这套评判基准，很难直接得出 “激活监控效果更差” 的结论。
Drew：可怎么拿到 “到底有没有发生奖励篡改” 这件事的标准答案？这几乎等价于识别哪些环境会诱发奖励篡改；如果能做到，直接把这类环境删掉就好了。
McGrath：我不完全认同。判定是否发生奖励篡改，有实实在在的线索可以分析。借助可解释性，我们观察概念对应的激活，也可以用 Logit Lens 等工具，给内部信号赋予语义含义，确认 “这确实就是作弊向量”。
针对单条样本，结合实例可以明确判断：“这确实是异常”。 但判断 “整个环境是否会诱发奖励篡改”，需要遍历全部可能状态，属于全称问题；而识别某一条运行轨迹发生了篡改，属于存在性问题，难度低很多。
Drew：也就是说，现在已经存在可解释性抓到、而思维链漏掉奖励篡改的案例。回到预测：假设未来思维链监控能力维持 2026 年水平，到哪一年，你会觉得两种手段已经没有优劣差别？
McGrath：我默认思维链监控能力不变的话，我的答案还是六个月。
Drew：很好。接下来讲讲核心机制可解释性技术。但先回答一个问题：为什么可解释性这么难？大家都把它比作大脑扫描。人脑神经科学很难，但 AI 明明就是代码、一堆数字，全部可以在计算机里读取，为什么这么难？
McGrath：这是个好问题。一方面疑惑 “为什么这么难”，另一方面也会疑惑 “这居然是有可能做到的？” 深度学习领域长期有一种看法：神经网络根本不可解释。
但可解释性具备可行性，因为模型内部存在可以被理解的结构，是可解码的，只不过不是浅显直白。人类思想、宇宙规律同样不是一眼看懂，广义相对论也耗费很久才被发现，但依然可以被解释。
之所以有可能解释：现实世界本身具备结构。为了很好地泛化、理解世界，模型必须复现一部分现实世界的内在结构。如果只是一个巨大查表，完全不反映现实，泛化能力会很差。
说完可行性，再回答你的问题：为什么很难。 第一，投入的人年总量，对比神经科学少得多。当然，可解释性理论上应该比人脑神经科学简单：不用训练猴子做实验，不用往小鼠大脑植入电极，我们直接读取数值就好，所以不能单纯拿投入少当借口。
更大的障碍是，我们缺少一套合适的底层组织原理。神经网络参数量虽然比不上人脑突触，但规模依然巨大。需要解释的东西极多，缺少一套强大、可泛化的理论框架。
Drew：人脑约一千亿神经元，千万亿级突触。Claude、ChatGPT 这类 AI 规模虽大，但还远达不到这个量级。
McGrath：粗略估计大模型参数约十万亿，对比人脑千万亿级突触。
Drew：人们常说大模型是黑盒。普通软件打开源码就能阅读，但打开 AI 模型，看到的只有成堆数字。也有人说模型不是被设计出来，而是 “生长出来”：只给数据和算力，行为自行涌现。OpenAI 首席科学家 Jakub Pachocki 把 AI 称作异类心智。这些比喻是否有助于理解可解释性的困难？
McGrath：很有帮助。“生长而非构建” 这个比喻尤其重要。圈外人容易误以为 ChatGPT 是逐条手写规则：用户输入 A，输出 B。完全不是。“生长出来” 可以纠正这个误解。
“异类心智” 也说得通。即便人类自己的大脑，很多底层运算我们自己也无法直觉理解。AI 比人脑对我们来说更加陌生，但人脑本身对自我同样存在大量黑盒。
Drew：就算投入远少于人脑研究，我们对这套异类心智也已经有部分认知。过去几年机制可解释性有哪些确定的发现？哪些是可以笃定的结论？
McGrath：确实有。比如可以定位：模型依靠哪些注意力头、哪些神经元完成某一类计算。信息往往按照合理语义组织。我们做的块稀疏特征器，经常提取出具备几何结构、可理解的概念表征。
有一个仍在发展的理论：线性表征假说。早期版本非常激进：概念尽可能以向量方向直接编码。比如 “蓝色” 对应一个方向，激活越强代表蓝色程度越高；语言模型里，“愤怒” 方向激活越强，输出语气越愤怒。这里不一定指 MLP 神经元，更多指残差流中的向量方向。
Drew：同时激活蓝色和愤怒，就得到一个暴怒蓝精灵。
McGrath：概念确实可以组合。但它更像一堆概念集合，没有高阶严密结构。线性表征假说并不完全成立，但作为近似效果出奇好。
领域大量使用均值差向量（difference‑in‑means vector）：把表达某一概念的句子，和语义相近但不含该概念的句子做嵌入相减，隔离出对应概念的表征维度。听上去简单粗暴，但确实有效。
Drew：听上去思路非常朴素。
McGrath：就是直接做向量相减，但效果够用。举奖励篡改的例子：一组样本是模型正确解题；另一组是用作弊方式完成同一道题。不需要显式写作弊标签，把两组嵌入做差，就隔离出作弊对应的向量方向。当然样本配对很讲究技巧。
Drew：也就是对比模型正常思考，和进行作弊思考时内部激活状态，相减得到一个表征方向。
McGrath：没错。
Drew：Transformer 不同层的功能，早期层处理低级概念，高层处理抽象概念。这件事我们是否已经理解清楚？
McGrath：宏观结构基本清楚。Max Tegmark 团队，还有 Jack Lindsay 的全局工作空间论文都有相关工作。 最底层做基础解析：语言模型识别 token 如何组成词语、括号匹配；视觉模型做边缘、曲线检测。中间层做抽象运算。最后层综合全部信息，预测下一个输出 token。
Drew：回到价值本身。搞懂这些有什么实际用处？
McGrath：分为短期价值和终极目标。通用道理：搞懂事物原理，才能更好地工程实现。就像不懂土木工程也能盖房子，但大量建筑会倒塌；理解科学之后，建筑可靠性大幅提升。
第二个现实意义：思维链监控能力正在退化。欺骗、评估感知这类现象，不一定会留下文本痕迹。一旦察觉到思维链监控，模型会直接不在文本中写下自己的作弊思路，但内部依然在执行，这时激活监控依然可以捕捉。未来依靠文本监控会越来越难，部分风险现在就很难靠文本识别。
但我眼中最大的目标：理解并且控制模型的泛化行为。 如果能做到这一点，对齐领域前景会乐观很多。现在我们并不清楚训练数据到底教会了模型什么，很多 unintended 知识被模型学到。比如环境允许奖励篡改，模型就会被训练得越来越擅长欺骗。
我们希望微观层面观察这种变化，不仅理解，还要能干预。看到激活表征显示模型正在习得欺骗，就及时制止。 关键难点在于：干预的同时不能破坏我们的监控能力。我认为这是核心技术难题。而读取内部表征、实现干预，只能依靠可解释性。
Drew：Goodfire 宣布启动大模型完整逆向工程。离真正像阅读源代码一样读懂大模型还有多远？
McGrath：给出一个有争议、乐观的估计：一年。但不是前沿超大模型。我们现在的目标对象是 Qwen3.6‑35B‑A3B，架构现代，但规模小几个数量级，算力开销低 100 倍。争取一年之内拿到对它相当完备的逆向解析。
Drew：怎么才算完成完整逆向工程？评判标准是什么？
McGrath：我偏好的标准：针对模型可以提出任意问题，拿到可因果验证的答案，可以做实验证伪。不是单纯复现损失函数，我不优先关心逗号放得对不对，我优先搞懂欺骗、奖励篡改这类高风险行为。 当然 “解决可解释性” 本身定义模糊。AlphaFold 预测蛋白折叠有明确精度指标，即便如此也是人为设定阈值。可解释性缺少这类清晰标准，所以优先解决最重要的问题。
Drew：现在面对 “模型为什么发生奖励篡改”，我们靠探针看到模型内部出现欺骗表征。完成逆向工程之后会是什么样子？
McGrath：可以定位哪些组件负责欺骗行为；做一系列可复现实验：关闭该组件，模型欺骗行为改变；把组件迁移，其他模型也产生欺骗。 不是简单看到 “某个 SAE 特征激活”，而是一整套交互式、可验证的因果证明。未来可以利用大模型智能体，自动完成这部分推导。
Drew：讲讲机制可解释性领域不同学派。
McGrath：首先是 Goodfire。Anthropic 在可解释性积淀很深，Chris Olave 算是这个领域开创者。从论文看内部至少两派：一派字典学习、先验分解；另一派自然语言自编码器、元模型。
DeepMind 的 Neel Nanda 代表务实路线：针对具体下游任务做可解释性，优先解决实际问题，而非追求宏大理论。
学术界群体：Northeastern 大学 David Bau、Max Tegmark、Martin Wattenberg，产出大量高质量案例研究。
Simplex、Resolution 希望找到一套基础数学理论解释可解释性；我们的参数分解团队也偏向这一派。
Drew：各个学派的分歧：是自底向上建立完整理解，还是从具体目标倒推，工具只要能用就好。Goodfire 属于哪一类？
McGrath：我很喜欢《巴斯德象限》的框架：科学不是简单二分基础 / 应用，而是四象限。我们做受实际应用驱动的基础研究。心怀宏大应用目标，必要时做底层基础科学。
我看待工作是一个光谱：一端自由探索，另一端紧贴客户真实问题。我尽量避免中间地带：看上去有用，但没有人实际落地使用的研究。当然从一端走向另一端，中间过程不可避免，但不要一直待在中间。
Drew：AI 实验室对机制可解释性投入足够吗？
McGrath：资源分配是企业自己的选择。但我认为这个领域值得投入量级更高的资源。就算规模扩大一个数量级，也远没有到收益递减。
现在模型迭代节奏是几周‑几个月就要发布 SOTA，所有人都被绑在跑步机上。很难抽身去做短期不直接提升模型性能的研究。但未来安全对齐投入一定会大幅增加，可解释性会是其中一部分。
Drew：未来把可解释性嵌入训练流程，直接塑造模型行为，会是什么样子？
McGrath：可以分程度。最轻度：用可解释性工具筛选训练数据集。进一步：训练过程中检测奖励篡改，自动交给编码智能体修复问题。
终极愿景：得到一套可对齐的学习规则，相当于 “只向着好方向传播的反向传播”。
Drew：解释下反向传播。
McGrath：反向传播就是神经网络更新权重的算法。
Drew：很多人反对在训练中使用可解释性做干预，担心只是把坏的认知压制下去，转移到模型其他地方，变得更难被检测。你怎么看？
McGrath：这个担忧非常合理。如果干预之后丧失监控能力，绝对不能上线。但我相信存在算法，在干预的同时保留可监控能力。我们正在做大量相关研究，几周内会有成果发布。
Drew：如何确认我们是真正改变模型动机，而只是把欺骗藏起来？
McGrath：不能只依赖单一可解释性工具做检测。可以拿有明确文本特征的任务做算法验证；测试集可以不计成本，使用高开销手段做穷尽测试；也可以限制只修改我们已经理解的坡度。我希望依靠理论保障的算法，再搭配高成本测试集做兜底验证。
Drew：为什么不能直接拿可解释性信号训练模型，就像我们不希望拿思维链做训练信号，避免模型学会隐藏想法？两者区别在哪？
McGrath：现有训练体系大体还算稳定。我设想的是走向一套更好的全新体系，但目前还没有被验证。在真正高风险训练任务中，这套方案必须经过极致严苛验证。我态度偏保守。六个月之后局面或许会不一样。但我承认我属于少数派，乐观设想不等于已经实证可行。
Drew：AI 智能体会怎样助力可解释性研究？会不会取代研究者？
McGrath：在所有科学领域中，可解释性本应最优先被 AI 重塑，但现实还没有。可解释性属于自然科学：提出假设，做因果实验。很多实验涉及语义理解、构造假设、设计测试，不是简单跑脚本。但可以把工作流程规范化，类似 Lean 辅助数学证明，用因果抽象工具辅助大模型科学研究。
可以调动大量 AI 智能体批量完成底层实验，产出海量实验数据。但生成数据不等于自动得到理论。更像达尔文收集海量观测素材，依然需要人从中提炼规律。AI 帮我们堆积如山的数据，理论总结还是靠人。
Drew：已经能看到 AI 加速你的工作了吗？
McGrath：是的。以前可以做，但没人愿意花一周去做的深度分析，现在交给智能体。它生成假设，设计测试样例，分析上下游连接，细致分析组件行为，结论可靠性很高。
早年机制可解释性 “电路” 系列研究，就是少数顶尖研究者手工拆解模型。如果有 AI，我们可以同时开展上千个类似项目。
Drew：一个科幻画面：AI 研究者训练 AI，去理解另一套 AI 的大脑。这就是我们前进的方向？
McGrath：也就旧金山会这么想。确实如此。不一定非要训练新模型，也可以让 AI 直接推导矩阵参数。大量智能体深度解析其他模型，听上去科幻，但这就是当下最合理的应对。
Drew：非常感谢你做客节目，把这套非常晦涩的 AI 神经科学讲清楚。
McGrath：很高兴参与。
Drew：感谢收听 The Information《AI 深度剖析》，我是主持人 Rocket Drew，嘉宾是 Tom McGrath。
