（来源：新智元）
新智元报道
各大AI框架都错了！
PyTorch错了，JAX错了。连教科书里的标准公式，也错了。
谷歌DeepMind的主任研究科学家 Jon Barron披露了这一重磅炸弹！
本周，Google DeepMind 展示了一个问题：在 PyTorch、JAX 以及各类教科书中，该算法的每一个标准版本都一直在悄悄把某个数字舍入为零。
模型越自信，正确的训练信号反而越容易凭空消失。优化器因此失控，训练曲线剧烈震荡。
但最让人毛骨悚然，也最让人兴奋的是：这个隐藏在全人类眼皮底下的底层逻辑漏洞，是AI（Gemini）自己抓出来的。
这次，人类只负责了事后的复核与排版。
消失的数字，崩塌的模型标
这个Bug藏在AI最基础的运算里：Softmax和交叉熵。
如果你接触过机器学习，对这两个词绝不陌生。
Softmax负责把模型输出的原始得分（logits）转化成概率。交叉熵负责计算误差，告诉模型错得有多离谱。
所有的分类器，所有的大语言模型，每天都要大量调用这对函数，数以亿计。
它们怎么会出错？
问题出在「极限」和「四舍五入」上。
为了防止计算溢出，现有的标准框架（无论是PyTorch还是JAX）都会执行一个标准动作：
先减去最大的得分。
这一减，分母就会变成一个类似「1 + 极小数字」的结构。
这个「极小数字」，取决于模型的自信程度。
模型越自信，正确答案的得分比其他答案高得越多，这个数字就越小。
但这里藏着一个关键细节：数学上的等价，不代表计算机浮点运算中的结果完全等价。
在计算机的浮点数世界里，如果你把一个足够小的数字加到1.0上，计算机会觉得「这太小了，没必要算」，直接把结果四舍五入成精确的1.0。
在bfloat16格式下，这个悬崖出现在数值5.5左右。在fp32下，出现在16.6左右。
一旦越过这个悬崖，会发生什么？
正确的梯度，瞬间变成了绝对的零。
模型明明还在学习，但关于正确答案的反馈信号，被计算机的舍入机制直接抹杀了。
DeepMind的论文将此称为Softmax崩溃（Softmax Collapse）。
而优化器会让事情变得更糟。
主流优化器Adam的原理，是把每一步更新除以近期梯度的平均值。当梯度因为Bug长时间变成零，这个平均值也会无限趋近于零。
等到真实的梯度终于再次出现时，Adam会用这个梯度除以一个极小的数字。
结果就是模型向前猛冲了一大步，损失函数（Loss）瞬间飙升。
学术界以前观察到这种现象，还给它起了个好听的名字叫「弹弓效应（Slingshots）」，以为这是模型在「顿悟（Grokking）」过程中的某种高级特征。
搞了半天，这不是特征，是Bug。
除了崩溃，还有Softmax抵消（Softmax Cancellation）。
在知识蒸馏时，如果学生模型完全复制了老师，理论上梯度应该是零。
但因为标准代码是分别计算概率再相减，舍入误差会留下一个「幽灵梯度」。学生模型会莫名其妙地偏离正确答案。
这一切，全是因为丢掉了一个极小的数字。
DeepMind的Jonathan T. Barron团队在arXiv上提交了一篇论文：《Softmax和交叉熵的修复》。
第二天，Barron在X平台上抛出重磅消息：
事实证明，所有现有的Softmax和交叉熵实现（包括JAX、PyTorch、教科书等）都有一个微妙的Bug——其实是两个。
简单的重写就能修复它们，并消除顿悟时的「弹弓效应」。
对于交叉熵（修复崩溃）：把目标从总和里拿出来，直接用log-sum-exp计算边距，然后返回负边距的softplus。核心原则：永远不要把一个极小的数字加到1上。
对于蒸馏（修复抵消）：在对数空间里使用expm1和log1p进行计算。这样一来，当学生完美匹配老师时，梯度就是完美的绝对零，没有任何幽灵残留。
论文给出了直观的数据测试：
在模加法（a + b mod 31）任务中，使用标准代码，bfloat16精度下的测试准确率只有93.3%（而且极其不稳定）。
换上修复后的代码，准确率直接飙升到100.0%，稳如泰山。
而在蒸馏测试中，修复后的代码让学生模型与老师模型的散度保持为零，准确率维持完美的100%。
但真正让整个科技圈炸锅的，是Barron在评论区补充的一句话：
这个Bug最初是由Gemini Flash 3.7发现并修复的。论文里的大部分实验是由Flash 3.8完成的。Gemini 4 Argon写了论文和图表的初稿。
我只是极其苛刻地挑刺，直到内容扎实。
10月24日，独立工程师Satyajit Ghana在PyTorch中进行了全面复现。
他在CPU上用打印出来的值复现了这两个Bug，移植了修复程序，并证实了论文中fp32精度下的结果。
他得出的结论掷地有声：「不管其他细节如何，机制毫无保留地被证实了。」
历史的悲剧，机器总在丢数字
数字被悄悄丢掉，这不是第一次。每次发生，代价都极其惨痛。
1965年，多伦多大学的William Kahan教授就在《ACM通讯》上发出警告。
他指出，当计算机把成千上万个数字累加时，每一次加法都会产生舍入误差。加一百万个数，你可能会丢掉6位有效数字。
他的解决方案极其简单：多加一个变量，把上次丢失的误差存起来，下次再加回去。这就是著名的「Kahan求和算法」。
Kahan教授在文章里留下一句充满预言意味的嘲讽：「双精度很快就会被普遍接受，用来代替解决数值问题时的聪明才智。」
61年后的今天，AI为了追求更快的芯片速度，一路降级到了16位的bfloat16格式。精度变低了，而聪明才智必须重新端上桌。
1991 年，它让人丢了命。
海湾战争期间，一枚美国「爱国者」导弹未能拦截来袭的「飞毛腿」导弹。导弹击中兵营，28名美国士兵丧生。
美国会计总署（GAO）随后的调查报告揭示了惨剧的原因。系统内部时钟以十分之一秒为单位计时。但将这个时间转化为实数时，寄存器只有24位长。
随着系统运行，转换误差不断累积。
导弹连已经连续运行了100多个小时。运行8小时，误差0.02秒，距离偏差55米。运行100小时，误差0.34秒，距离偏差高达687米。目标早已飞出了雷达设定的跟踪范围。
一次看不见的四舍五入，四天后变成了687米的致命偏差。
1994 年，它让 Intel损失了一大笔钱。
1994年10月，林奇堡学院的数学教授Thomas Nicely发现，他的两台电脑算出的结果不一样。
他在计算孪生素数的倒数和。同样的程序，奔腾芯片和老旧的486算出了分歧。几天后，他锁定了罪魁祸首：当计算 1 除以 824,633,702,441 时，奔腾处理器的浮点运算单元算错了。
原因是，奔腾的除法器使用了一个查找表，而表里漏掉了5个条目。
发现问题的，不仅是Nicely教授的两台电脑比对，更是严谨的交叉验证。
最终，英特尔被迫同意无条件为所有用户更换芯片。1995年1月，英特尔为此计提了4.75亿美元的巨额损失。
1994年，丢数字让英特尔损失惨重。
1991年，丢数字让人失去生命。
2026年，数字又在AI最常用的函数里丢了。
教训一次比一次深刻，但也一次比一次有用。
数字不会凭空消失，它们只是去了你没注意到的地方。
这是AI底层数学最糟糕的时刻，但它刚刚变得好了一点。
而最令人振奋的是：这一次，是机器找到了自身的缺陷，人类负责了最终的把关。
参考资料：
https://arxiv.org/pdf/2610.31642
https://x.com/BrianRoemmele/status/2114362944339448314
编辑：大卫
