图 1 LLaDA-8B 的个人信息提取示例：逐词恢复成功重建目标邮箱，一步恢复出现错误。蓝色表示匹配，红色表示不匹配，〈M〉表示掩码（原论文图 1）。
大语言模型有时会把训练时见过的内容原样「背出来」，其中可能包含邮箱、电话号码等个人信息。随着扩散语言模型走向更大规模，一个问题也随之出现：当模型不再从左到右逐词生成，它还会以同样的方式泄露训练数据吗？
自回归模型像是在「接龙」，根据前文预测下一个词；掩码扩散语言模型则更像是在「填空」，从被遮住的文本出发，分多轮补全缺失内容。这种生成方式带来了并行生成的可能，也改变了训练数据被提取出来的路径。
丹麦奥尔堡大学研究团队在《Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects》中，系统研究了这一问题。
论文链接：https://arxiv.org/abs/2603.02333
一个值得关注的发现是：同一个扩散语言模型，仅仅改变生成时的采样步数，就可能明显改变训练数据的提取风险。在论文设定的个人信息补全任务中，扩散模型的泄露水平低于同规模自回归模型，但生成步骤越细，原样复现训练内容的概率往往越高。
从「接下半句」到「任意填空」，
怎样衡量扩散模型的记忆？
研究语言模型记忆的一种常见方法，是提供训练文本的前半段，检查模型能否接出一模一样的后半段。
但扩散模型不仅可以续写，还能利用缺失位置两侧的信息完成填空。哪些位置被遮住、先恢复哪些词、每轮恢复多少词，都可能影响结果。只看一次生成是否命中，很难完整刻画这种行为。
为此，研究团队提出了一个广义概率提取框架：给定部分可见文本，允许模型尝试多次，衡量它以多大概率恢复全部被遮住的原始内容。这一框架既支持任意遮盖位置，也能容纳不同的恢复顺序，并将传统的前缀续写纳入其中。
研究还验证了概率估计的可行性：在 200 个样本上，利用 1,024 次随机掩码采样得到的估计，与 100,000 次随机生成得到的实测结果较为接近，为减少评估开销提供了依据。
图 2 概率估计与大量实际生成得到的提取概率对比（原论文图 2）。
为什么多生成几步，
反而更容易泄露？
可以把这个过程想象成填一段熟悉的文字：一次补完所有空缺时，每个位置能利用的线索有限；如果先填对几个位置，再利用这些新线索继续填，剩下的内容就可能更容易恢复。
论文给出了这一机制的理论刻画。在「增加正确上下文不会降低剩余内容恢复概率」的假设下，固定恢复顺序，并把原来的批次拆成更细的步骤，完整恢复原文的概率不会下降。
这里的条件很关键：结论讨论的是正确上下文与特定的步骤细化关系，不能直接理解成任何采样策略下「步数越多，泄露必然越严重」。
实验也观察到了相应趋势。研究团队选取 200 组满足筛选条件的掩码设置，在一步、两步、五步、十步以及逐词恢复等设置下，分别进行大量生成测试。随着步骤变细，精确恢复原文的成功率整体上升。
模型参数没有改变，改变的是已有记忆被提取出来的机会。采样步数因此不仅关系到生成速度和质量，也关系到训练数据的可提取性。
图 3 相对于一步生成，更细的采样步骤提高了精确恢复原文的成功率；阴影为 95% 置信区间（原论文图 3）。
同样补全邮箱，
扩散模型与自回归模型差多少？
为了比较两类模型，研究团队训练了同为 1.1B 参数的扩散模型和自回归模型，对齐数据集、分词器、计算预算等条件；随后让参与比较的模型采用统一的 Enron 邮件数据适配流程。
评估时，模型获得目标邮箱或电话号码前面的 100 个 token，并尝试补全目标。研究还过滤了包含其他邮箱地址的邮箱提示，减少额外线索的干扰。
在 3,000 个邮箱补全样本、最多 10,000 次查询的预算下，结果如下：
表 1 根据原论文表 1 整理。数字表示在给定查询预算下达到相应成功概率门槛的样本数，不是单次生成的泄露率。
两个结果尤其醒目。
首先，在同为 1.1B 参数的比较中，即使采用逐词恢复，扩散模型达到 50% 提取概率门槛的邮箱样本也只有 16 个，自回归模型则为 213 个。
其次，LLaDA-8B 从一步恢复切换为逐词恢复后，相应样本数从 9 个增加到 179 个，接近原来的 20 倍。同一个模型，采样设置就能带来很大的风险差异。
不过，这些结果对应的是对齐后的前缀补全任务，尚不能据此认定扩散模型在所有场景下都更安全，尤其是它原生支持的双向填空场景。
恢复出来的内容，
究竟是记忆还是「猜对了」？
模型能补全一段邮件，并不必然说明它记住了这封邮件。常见格式和语言规律，也可能帮助模型猜中部分内容。
研究团队因此将训练中出现过的 Enron 邮件，与未参与训练的同领域 TREC 2007 Spam 邮件进行比较，各抽取 10,000 个文本窗口，评估其重建概率。
结果显示，训练数据的重建概率分布整体更高。这说明评估捕捉到了与训练暴露有关的差异，为「提取结果包含记忆效应」提供了支持。
较低的提取率，并不意味着模型没有记忆；它也可能意味着，在当前提示和采样条件下，这些记忆更难被取出。
图 4 训练邮件与未见邮件的重建概率分布对比。蓝色表示 Enron 训练数据，橙色表示 TREC 未见数据（原论文图 4）。
从模型架构走向采样过程，
隐私评估需要看什么？
这项工作带来了三个启示。
评估模型，也要评估生成设置。同一组参数在不同采样步数下，可能表现出不同的训练数据提取风险。
一次没有命中，不代表多次查询也无法提取。查询预算、成功概率和遮盖方式，都应成为报告结果的一部分。
扩散模型的较低泄露水平值得继续研究，但边界仍需验证。双向填空、指令微调和偏好优化之后，是否仍保持这一特点，还有待进一步实验。
这项研究将一个容易被忽略的变量带入了模型安全评估：训练决定模型接触了什么，而生成过程会影响这些内容有多容易再次出现。
作者简介
本工作由丹麦奥尔堡大学研究团队完成。Xiaoyu Luo 与 Wenrui Yu 为共同第一作者，Qiongxiu Li 为通讯作者，Johannes Bjerva 为共同作者。团队关注大语言模型记忆、隐私与安全。
