（来源：科技行者）
这项由清华大学与OpenBMB联合开展的研究，于2026年6月发表，论文编号为arXiv:2606.15378。有兴趣深入了解的读者可通过该编号查询完整论文。
当你打开一篇几万字的长文档，希望AI帮你找出其中某个关键信息时，背后的模型正在处理一个复杂的工程难题——它需要在海量文字中精准定位到那根"针"。为了让AI既能高效处理这项任务，又不至于消耗过多计算资源，研究人员发明了一种叫做"混合注意力架构"的设计思路。然而，这种设计究竟如何影响模型的能力，长期以来都像一个黑箱，没有人真正说清楚过。清华大学的这支研究团队决定打开这个黑箱，他们的发现出乎意料，甚至有些反直觉。
一、理解"混合注意力架构"：全视野与管状视野的组合
要理解这项研究，先得明白AI模型是如何"阅读"文字的。普通的全注意力机制（Full Attention）就像一个拥有超强记忆力的读者，无论文章多长，他都能同时记住每一个字，并在任意两个字之间建立联系。这当然很厉害，但代价也很高——文章越长，需要的计算量就呈平方级增长，就像一个人同时维持与一千个朋友的实时对话，精力消耗是惊人的。
为了降低这种消耗，研究人员引入了"高效注意力"机制。其中最常见的一种叫做滑动窗口注意力（SWA），它给模型装上了一个有限大小的"视野窗口"——每次只能看到当前位置前面固定数量的文字，比如128个字或512个字，就像你用一把尺子沿着文章往下滑动阅读，只能看到尺子覆盖范围内的内容。另一种则是循环序列混合器（Recurrent Sequence Mixers），包括Lightning Attention、Mamba-2和Gated DeltaNet（GDN）三种变体，它们的工作方式更像人脑的短期记忆——把之前读过的内容压缩成一个摘要状态存起来，随着阅读推进不断更新这个摘要，而不是事无巨细地记住每一个字。
现代主流大模型通常把这两类机制混合起来使用，也就是在模型的不同层交替安排"全注意力层"和"高效注意力层"，这就是所谓的混合注意力架构。这种设计在实践中被谷歌Gemma 3、GPT等多个主流模型广泛采用。然而，不同的高效注意力设计究竟对模型能力有何影响，特别是对处理长文本的能力影响如何，此前一直缺乏系统性的研究。这正是清华团队着手解决的核心问题。
二、三个关键问题：从宏观规律到微观机制
研究团队像侦探一样，从三个维度对混合架构展开调查。第一个问题是关于规模的：随着模型越来越大、训练数据越来越多，不同混合架构在短文本和长文本处理能力上会呈现怎样的变化趋势？第二个问题深入机制层面：高效注意力设计究竟通过什么路径影响模型的长文本处理能力？第三个问题则落地到实践：基于前两个问题的答案，我们能设计出更好的混合架构吗？
为了回答这些问题，研究团队设计了一套严密的实验体系。他们搭建了从1500万到6.6亿参数不等的五个规模级别的模型，对每个规模训练了多个不同的数据量检查点，总共比较了七种架构设计：一种纯全注意力模型（Full）作为基准，三种不同窗口大小的滑动窗口注意力混合模型（SWA-128、SWA-512、SWA-2048，数字代表窗口大小），以及三种基于循环机制的混合模型（Lightning、Mamba-2、GDN）。
在评估指标上，团队没有直接依赖离散的下游基准分数，因为这类分数往往不稳定，不适合追踪训练过程中的动态变化。他们采用了两个连续的指标：验证集损失（Loss）用来衡量短文本建模质量，以及log(LongPPL)用来衡量长文本处理能力。LongPPL是一个专门针对长文本的困惑度指标，只计算那些真正需要利用长距离上下文才能准确预测的词的预测难度，能更准确地反映模型的长文本理解能力。
三、规模定律揭示的惊人规律：短文本差不多，长文本差很多
当实验数据汇聚成图表时，一个清晰的故事浮现出来。在短文本处理能力上，七种架构的验证集损失曲线几乎完全重叠，就像七条几乎平行的轨道，说明高效注意力的设计对短文本能力几乎没有影响。无论你给模型装的是大窗口还是小窗口，无论用的是滑动窗口还是循环记忆，模型在普通文本理解上的表现大差不差。
长文本的故事则截然不同。在训练数据较少（也就是训练"预算"有限）的情况下，不同架构之间的差距非常显著，尤其是使用2048大小窗口的SWA-2048，其log(LongPPL)远高于其他架构，意味着它在处理长文本时表现明显更差。这种差距在训练初期最为悬殊，各架构之间的长文本能力仿佛被拉开了好几条街的距离。
然而随着训练数据量的增加，这种差距开始收窄。当训练足够充分时，所有架构的长文本能力最终趋于相近，收敛到接近全注意力模型的水平。这就好像七个学生在准备同一场考试，有的学生一开始就掌握了远距离检索信息的技巧，有的学生学得很慢，但只要给足学习时间，大家最终都能考出相似的成绩。
这个发现带出了一个核心结论：高效注意力的设计对最终的长文本能力影响有限，但对这种能力涌现的速度影响显著。换句话说，它影响的是"何时学会"，而不是"最终能否学会"。
四、机制探秘：真正扛起长文本理解重任的，其实是全注意力层
这个规律背后隐藏着什么机制？研究团队决定进一步追查。他们提出了一个关键假设：也许高效注意力模块，特别是那些理论上能记住无限长历史的循环模型，并没有真正承担长距离信息检索的工作——这项任务其实是由全注意力层独力完成的。
为了验证这个假设，团队设计了一个巧妙的"受限实验"。他们在推理时人为限制模型中不同组件的"记忆范围"：将全注意力层的可见历史限制在约2048个词以内，然后观察模型的长文本处理能力如何变化；再单独限制高效注意力层的记忆范围，观察同样的指标。
结果非常清晰：当全注意力层的记忆被限制后，模型的长文本处理能力急剧恶化，log(LongPPL)大幅飙升；而当高效注意力层被限制时，变化微乎其微。这一结论对所有七种架构都成立，甚至包括那些理论上拥有无限记忆范围的循环模型（如GDN）——即便它们理论上能记住任意长的历史，实际上存储在其循环状态中的长距离信息也少得可怜，对长文本理解的贡献极小。
为了从另一个角度再次确认，团队还做了一个"逐层探针"实验。他们在每一层的输出上训练一个简单的分类器，测试该层的输出中包含多少关于远距离"针"（插入文本中的关键信息）的信息。结果发现，在混合架构中，长距离信息几乎只在全注意力层出现时才有显著增加，高效注意力层对应的位置几乎没有贡献，甚至偶尔会略微降低信息的可探测性。这与纯全注意力模型的表现形成鲜明对比——纯全注意力模型的长距离信息会随层数持续稳定增长。
由此可以得出一个明确的结论：在混合架构中，全注意力层是长文本理解能力的核心承载者，高效注意力层更像是辅助角色，而不是主演。
五、"大窗口懒惰症"：为什么更大的视野窗口反而让模型学得更慢
既然长文本能力主要由全注意力层承载，为什么SWA-2048在训练早期表现如此之差，学习速度如此之慢？这里出现了这项研究中最有趣的一个发现，研究团队给它起了一个生动的名字——"大窗口懒惰症"（Large-Window Laziness）。
道理其实不难理解。当滑动窗口很大（比如2048个词）时，模型在大多数情况下都能用窗口内的信息预测下一个词，不需要向更远的位置去检索。这就像你在考试时有一本可以随时翻阅的参考书（大窗口），你自然就不会费心去背诵答案；而如果只允许你看旁边同学的桌子（小窗口），很多答案就在视野之外，你就不得不提前把重要内容记在脑子里。
大窗口给模型提供了一种"走捷径"的机会——它可以依赖局部窗口内的信息来完成大多数预测，而不需要训练全注意力层去执行真正的长距离检索。结果就是，全注意力层中负责长距离检索的"检索头"（Retrieval Head）形成得更晚，发展得更慢。
检索头是近年来研究人员在大模型中发现的一种特殊注意力头，它专门负责在长文本中定向检索特定信息，是长文本理解能力的关键组件。研究团队通过追踪检索头的两个指标来观察其发展过程：注意力熵（Attention Entropy，越低说明检索越精准）和Q/K参数收敛距离（衡量检索头参数距最终形态还差多远）。
实验结果清晰地显示，SWA-2048是一个明显的异类：在整个训练过程中，它的检索头注意力熵始终保持在较高水平，Q/K参数的收敛速度也明显慢于其他架构。与之相对，小窗口的SWA-128以及循环模型混合架构中，检索头的发展则要早得多、快得多。这正是因为小窗口和循环模型无法提供足够的局部信息，强迫全注意力层不得不尽早承担起长距离检索的责任。
研究团队还通过梯度影响分析为这个机制提供了量化支撑。他们用Llama-3.1-8B这个成熟的语言模型来测量"在预测当前词时，距离d之外的历史词提供了多少有效的训练信号"。结果发现，超过2048个词之外的信号已经衰减到了基线水平，而512到2048词范围内的信号还相当丰富。这意味着，一个2048大小的窗口已经能覆盖绝大多数有效的训练信号，小窗口（如128或512）则把大量有效信号留在了窗口外，这些留在窗口外的信号就成为了驱动全注意力层发展长距离检索能力的动力。
梯度追踪实验进一步直观地展示了这个过程：在训练过程中，小窗口模型的检索头Q投影矩阵的梯度范数（可以理解为"学习强度"的指标）很早就开始显著上升，说明这个头很早就在活跃学习；而SWA-2048的检索头直到约1500步之后才开始接收到有效的梯度信号，在此之前几乎没有在学习长距离检索。
六、从机制到设计：如何打造更好的混合架构
理解了机制之后，研究团队自然地将目光转向实践：既然长文本能力的瓶颈在于全注意力层能否高效地学会长距离检索，那么架构设计的重点就不应该是让高效注意力模块变得更强大，而应该是帮助全注意力层更快、更有效地发展长距离检索能力。
沿着这个思路，团队考察了几个不同的设计维度。首先是全注意力层与高效注意力层的比例。实验对比了1:1（每个全注意力层对应一个高效注意力层）和1:3（每个全注意力层对应三个高效注意力层）两种配置。结果发现，在短文本性能上两者几乎没有差别；在长文本能力上，1:3的稀疏配置在小模型规模下略差，但随着模型变大，差距逐渐消失。这说明在模型足够大之后，可以放心减少全注意力层的比例而不显著牺牲性能，这对于降低计算成本是一个积极信号。
其次是层内混合还是层间混合的问题。有些设计选择在同一个Transformer层内同时放置全注意力头和高效注意力头（头级别混合），另一种则是把全注意力层和高效注意力层分开放置（层级别混合）。对比实验显示，头级别混合并不比层级别混合更好，反而在收敛速度上略慢一些，说明把全注意力和高效注意力分层放置的传统做法更为合理。
最引人关注的设计探索是关于位置编码的。现代语言模型通常使用一种叫做RoPE（旋转位置编码）的技术来让模型感知词与词之间的距离关系，但RoPE有一个已知的局限性——它对模型在训练中见过的距离范围之外的泛化能力较弱。有研究发现，去掉全注意力层的位置编码（称为NoPE，即无位置编码），反而能增强其长距离检索能力，因为没有位置偏置的限制，模型可以更自由地从任意距离的位置检索信息。
研究团队将NoPE应用到SWA-128混合模型的全注意力层中，保留滑动窗口注意力层原有的位置编码不变，命名为SWA-128-NoPE。这个改动带来了令人印象深刻的效果：在log(LongPPL)上有显著下降（说明长文本处理能力明显提升），而短文本验证损失几乎不受影响。
在下游基准测试上，这种改进同样得到了验证。以S5规模（约6.6亿参数）、在约1000亿词数据上训练的模型为基准，SWA-128-NoPE在16K上下文长度的RULER基准测试中达到52.88分（SWA-128为46.13分，全注意力模型Full为47.17分），在LongBench上达到19.02分（SWA-128为17.52分，Full为18.44分）；而在19个短文本基准的平均分上，SWA-128-NoPE（41.32）与SWA-128（41.31）几乎完全一致，与Full（40.46）相比甚至略有提升。将模型进一步在32K长度上额外训练50亿词后，差距进一步扩大，SWA-128-NoPE在RULER的NIAH子任务上平均得分70.42，显著高于SWA-128的60.17和Full的62.61。
这一系列结果说明，通过对全注意力层应用NoPE这样一个相对简单的改动，就可以在不损失短文本能力的前提下，显著提升混合架构的长文本处理能力。
七、研究的边界与局限
研究团队对自己工作的局限性也做了坦诚的交代。整个实验的最大模型规模为6.6亿参数，训练数据最多约1000亿词，与当前工业界前沿模型动辄数千亿参数、数十万亿训练词数的规模相比还有相当差距，研究结论在更大规模下是否完全适用仍需进一步验证。此外，所有模型都是直接在16K上下文长度上预训练，并扩展到最多32K，而工业界常用的做法是先在短上下文上预训练，再通过专门的长上下文扩展训练来提升长文本能力，两种路径的差异可能影响结论的适用范围。
在高效注意力机制的覆盖上，研究选取了目前最有代表性的几类，但仍有一些流行的变体如RWKV-7、Kimi-Linear等没有纳入比较。第六节中关于架构设计的探索也更多是作为机制验证的例证，而非完整的设计研究，更大规模的系统性验证留待后续工作。
说到底，这项研究帮助我们重新认识了一个"常识性错误"：在混合架构的设计中，大家往往认为高效注意力模块越强大、视野窗口越大，模型处理长文本的能力就越强。但事实恰恰相反——高效注意力模块提供的"便利"越多，反而会拖慢全注意力层发展真正长距离检索能力的速度，就像考试时允许带的参考书越厚，反而让学生越不愿意真正去记住那些重要的知识点。
这种被研究团队命名为"大窗口懒惰症"的现象，本质上揭示了一个优化动力学的问题：当模型有捷径可走时，它就会走捷径。真正能做长距离检索的全注意力层，只有在被迫面对它"无法回避的责任"时，才会真正发展出相应的能力。因此，好的混合架构设计，不是给全注意力层更多辅助，而是让它更早、更有效地承担起自己的核心职责。
这个发现对于AI领域的工程师和研究人员而言，提供了一个更清晰的设计指南：与其在高效注意力模块上做文章，不如在全注意力层的优化上花更多心思，比如采用无位置编码、调整层间比例等手段，帮助全注意力层更高效地成长为真正的"长文本检索专家"。对于关注AI发展的普通人而言，这意味着未来处理超长文档的AI助手将变得更加可靠，而实现这一目标的关键，可能就在于一个看似反直觉的小把戏——给模型少一点"便利"，反而能让它学得更好。有兴趣深入了解这项研究所有细节的读者，可以通过arXiv编号2606.15378查阅完整论文。
Q&A
Q1：混合注意力架构中的滑动窗口注意力窗口大小设置多少最合适？
A：根据清华大学的这项研究，小窗口（如128个词）的滑动窗口注意力反而更有利于模型学习长距离信息检索能力。大窗口（如2048）虽然能覆盖更多局部信息，但会让全注意力层"偷懒"，延迟其发展真正长距离检索能力的时间。在训练数据充足的情况下，大窗口和小窗口最终会收敛到相近的长文本性能，但小窗口在训练早期就能让模型更快达到良好的长文本处理水平。
Q2：NoPE（无位置编码）用在全注意力层为什么能提升长文本处理能力？
A：RoPE等位置编码方案会给注意力层引入基于距离的偏置，使其对训练中常见的距离范围之外的信息检索能力较弱。当全注意力层去掉位置编码（NoPE）后，没有了位置信息的约束，模型可以更自由地从任意距离的位置检索相关信息，长距离检索能力因此得到显著提升。实验显示，对SWA-128混合模型的全注意力层应用NoPE后，长文本基准分数明显提升，而短文本性能几乎不受影响。
Q3：循环序列模型（如Mamba-2）理论上能记住无限长历史，为什么长文本能力不比滑动窗口强？
A：尽管循环序列模型在理论上具有无限的感受野，但实验发现它们的循环状态中实际存储的长距离信息非常有限。当研究人员在推理时限制循环模型只能访问约2048词的历史时，模型的长文本处理能力几乎没有变化；而限制全注意力层的访问范围时，性能则急剧下降。这说明在混合架构中，真正承担长距离信息检索工作的是全注意力层，循环模型虽然理论能力更强，但实际学习到的长距离信息极少，更多地扮演辅助角色。
