（来源：科技行者）
你有没有想过一个很小但很怪的事情。
打开ChatGPT或者Claude的语言设置，找英语选项，你会看到"English (US)"被列在最前面，甚至有时候就是唯一的默认选项。地球上说英语的人有几十亿，英国人、印度人、尼日利亚人、澳大利亚人都说英语,可为什么美式英语成了理所当然的"标准款"？
阿尔伯塔大学的两位研究者Mir Tafseer Nayeem和Davood Rafiei决定不把这件事当成理所当然。他们做了一件几乎没人系统做过的事情：把这个"默认设置"往回拆,一路拆到AI训练的最底层,看看美式英语的优势到底是从哪个环节开始渗入的。
这不是一个可以靠直觉回答的问题。你可能会说,那肯定是因为美国互联网内容多呗。但内容多和"多到什么程度"、"多到哪个环节开始产生实质影响"是两回事。研究者们做的,就是把这个笼统的猜测,变成一串可以验证、可以量化、可以指着说"看,这里,这里,还有这里"的证据链。
问题到底有多深
先说一个背景数字。
英语内容大概占全球网页内容的50%到60%。但这还只是英语作为一个整体的比例。真正让人意外的是,当你去看具体的大模型训练数据构成时,英语的比例会更夸张：GPT-3的训练数据里英语占了大约92.65%,Llama 2是89.7%,Claude 2接近90%。
这意味着什么？
意味着一个大模型脑子里装的"世界知识",绝大部分是用英语写就的。而这些英语内容里,又有相当大一部分来自美国的媒体、科技公司、商业平台。换句话说,英语内部还有一层不均衡,美式英语在这层不均衡里占了明显的上风。
研究者选择用英式英语作为"参照系"来量化这个偏差,这个选择本身是有历史道理的。英国殖民扩张的几百年里,英式英语被制度化地嵌入了印度、尼日利亚、澳大利亚、新西兰等国家的教育、政府、新闻和法律体系。后来美国凭借经济、文化、科技上的强势地位,让美式英语在全球数字生态里后来居上。两种英语都是有成体系记录的"标准变体",在拼写、词汇、语法、书写惯例上有清晰可比的差异,这让它们成了做对照实验的理想材料。
**这篇论文最重要的贡献,是第一次把"美式英语是不是默认设置"这个模糊的直觉,拆解成了数据、表示、生成三个可以独立检验的环节,并且在每一个环节都找到了确凿证据。**
造一把尺子：DIALIGN是怎么测出"英语口音"的
要证明"美式英语被偏爱",你得先有办法量化一段文字到底更像美式英语还是英式英语。
这听起来简单,做起来很难。因为大部分文本里根本不会出现"color"和"colour"这种教科书式的拼写对比,更多时候差异藏在语法、搭配、行文习惯这些更隐蔽的地方。研究者为此设计了一套叫DIALIGN的方法。
DIALIGN：一种不需要训练、动态比对文本地域倾向性的打分方法,核心思路是把一段文字拆成一个个重叠的短语片段,分别去查这些片段在美式英语语料库和英式英语语料库里出现的频率,谁的频率占优,就给谁加分。
具体怎么操作的？先把句子切成2到5个词长度的连续片段（专业说法叫n-gram，就是连续N个词组成的一个小片段,比如"the team is winning"里"the team"就是一个2-gram）。切完之后,过滤掉那些包含人名地名机构名、或者全是虚词的片段,因为这些片段没有地域诊断价值。剩下的片段,拿去查谷歌图书语料库里美式和英式两个子库的历史出现频率,算出一个对数比值,再做加权聚合,最后归一化成两个概率,一个是这段文字有多像美式英语,一个是有多像英式英语。
这就像你请一位语言学家去读一段文字,他不是简单地数几个拼写差异,而是把整篇文章拆成无数个小短语,每个短语单独去比对它在两种英语社区里的使用习惯,最后综合给出一个"口音倾向"的判断。如果只靠几个标志性单词判断,一篇通篇没出现"colour/color"这种词的文章就没法判断；但拆成短语级别的比对,哪怕文章很短,也能从语法结构、介词搭配这些细节里读出倾向。
这套方法做得靠不靠谱？研究者拿了1500篇新闻稿去测试,750篇来自HuffPost的美国新闻,750篇来自BBC的英国新闻。结果准确率93.18%,精确率90.67%,召回率96.25%。而且他们还测了时间稳定性,把参照语料库的时间范围从1950到2022年收窄到2000到2022年,结果几乎没变。这说明这套尺子不是靠某个过时的历史用法在撑场面,它测的是真实、当下依然成立的语言习惯差异。
数据源头:训练材料里已经埋下了偏向
有了尺子,接下来就是拿这把尺子去量整个AI训练流水线。第一站是最上游的训练数据。
研究者审查了六个被广泛使用的预训练语料库：BookCorpus（图书语料）、维基百科、Common Crawl的C4版本、Falcon RefinedWeb、RedPajama、Dolma。这几个语料库覆盖了图书、百科、网页、混合领域内容,基本代表了当下主流大模型训练数据的取材范围。
结果是,六个语料库无一例外,全部偏向美式英语。
拼写层面的偏差尤其明显。比如在RedPajama里,美式拼写占到了76.03%,英式拼写只有23.97%；Falcon RefinedWeb里美式拼写更是达到77.34%。词汇层面的差异稍微温和一些,但方向完全一致,没有一个语料库是反过来偏向英式英语的。
这就像你去一个国际食品超市买调味料,货架上摆满了各国品牌,但你仔细一看,同一种调味料,美国品牌永远摆在最显眼、最容易拿到的位置,英国品牌被挤到角落里,货源也少了一截。如果你什么都不管,直接按照货架摆放的比例往购物车里装,你最后带回家的调味料组合,自然而然就会带上明显的美式风味,哪怕你根本没有主动偏好过哪个国家的品牌。
预训练数据只是第一层。研究者接着审查了21个公开的后训练数据集,这些数据集用于指令微调、人类反馈强化学习、偏好对齐等环节,是模型学会"怎么说话""怎么回应人类指令"的关键材料。
后训练：模型在预训练之后,针对具体任务和人类偏好进行的进一步调整,包括指令微调（教模型听懂指令）、人类反馈强化学习RLHF（让模型的回答更符合人类偏好）、安全对齐（让模型规避有害内容）等阶段。
结果同样毫无悬念,21个数据集全部偏向美式英语。研究者一共统计了11574254个样本里的28860119处地域变体用词,其中76.17%是美式表达。细分来看,指令微调阶段美式占比75.95%,对话数据84.35%,人类反馈数据83.08%,奖励模型反馈数据84.72%,安全偏好数据高达86.86%。不同数据集之间的具体比例有波动,最低的Databricks Dolly 15k是65.29%,最高的WizardLM Evol-Instruct v2是89.72%,但方向从来没有反过来过。
表示层面:分词器和模型本身的偏心
如果说训练数据的偏差还只是"喂进去的原料"问题,那接下来的发现就更值得琢磨了：即便原料问题先放一边,大模型在处理这两种英语时,本身的机制也存在结构性差异。
这里要先说清楚一个环节：分词。
分词器（Tokenizer）：大模型不能直接理解整句话,而是先把文字切成一个个更小的单元（词元token）,再进行处理。切分方式会直接影响模型处理一个词需要花费多少"计算资源"。
研究者测试了九款主流分词器,包括GPT-4、GPT-4o、Llama-3.3、Gemma-3、DeepSeek-V3、Mistral、StableLM、Velvet、Falcon3,分别来自美国、中国、法国、英国、意大利、阿联酋六个不同国家的开发团队。测量指标叫"fertility"，可以理解成"切词膨胀率"，一个词平均要被切成几个token,数值越低说明这个词被模型处理得越"顺畅",消耗的计算资源越少。
结果显示,英式英语词汇普遍需要更多token才能表示完整,尤其是在纯词汇层面的差异上,差距最大能达到18.72%。也就是说,同样表达一个意思,用英式说法要多花将近五分之一的计算成本。
这就好比你去邮局寄同一封信,内容完全一样,但如果地址栏写的是美式格式,系统直接一次通过；如果写的是英式格式,系统要把地址拆开重新核对好几遍才能处理完。收信人收到的内容没有任何区别,但处理这封信花掉的时间和人力,凭空多出了一大截。如果这套系统天天都在处理海量信件,长年累月下来,两种格式的信件被"优待"的程度差距只会越拉越大。
更有意思的是分词器的"血统"问题。研究者发现,虽然StableLM是英国团队开发的模型,但它的分词器和GPT-4的分词器之间,在测试的所有变体词汇上，token切分边界100%一致，共享的100256个基础token里，排序编号也完全相同。这说明StableLM的分词器其实是直接继承或高度沿用了美国团队做的分词方案,开发团队所在的国家和分词器本身携带的"语言习惯基因"，完全是两回事。这就好比一家总部在伦敦的公司,直接采购了一套美国供应商设计好的仓储分拣系统,系统内部对物品的分类逻辑早就是美式的了,哪怕仓库挂着英国国旗，运作起来还是按美国的规矩来。
分词只是表示层面的第一环。更进一步,研究者还测试了模型本身对两种英语的"预测成本"，也就是模型认为哪种说法更"自然"、更"符合概率"。
他们专门构造了一批意思完全相同、只有地域用词不同的配对句子,比如"The word is color"和"The word is colour"，并且严格控制两个句子在该模型下被切分出的token数量完全一致,这样任何预测成本上的差异,就不能再甩锅给分词长度不同。
研究者用语义相似度先验证了这些配对句子确实是"意思一样只是用词不同"，配对句子在模型内部表示层面的余弦相似度达到0.989,远高于随机打乱字母的对照组（0.928）和完全不相关句子的对照组（0.814）。确认语义等价之后,再看预测成本,结果是十个评测过的模型检查点,无一例外都给英式英语版本分配了更高的预测损失，也就是模型觉得这个说法"更不寻常"、更难预测。而且经过后训练之后，这个差距在所有五个模型家族里都变大了，从基础模型到经过指令微调对话优化的版本,英式英语被模型认为"更陌生"的程度反而加深了。
这里藏着一个很扎心的信息。哪怕你把词切分得一样长,模型骨子里依然觉得"colour"没有"color"那么"顺眼"。这不是分词器的锅,这是模型在海量训练数据里,已经把"美式说法更常见"这件事内化成了自己的概率直觉。
生成层面:问它问题,它张口就是美式腔
前面两层都是"幕后"的证据,普通用户根本看不见。真正落到用户体验层面的,是模型生成文字时到底会说哪种英语。
研究者选了两个风格迥异的问答数据集来测试：Natural Questions（偏正式、百科式的问答）和ELI5（偏口语、像跟朋友解释一件事那样的问答）。他们让十个主流大模型分别在两种提示条件下回答同样的问题：一种是简单说"用英语回答"，另一种是明确要求"用英式英语（en-GB)回答"。
结果是,当只说"用英语"时,几乎所有模型给出的答案都被DIALIGN判定为偏向美式英语。以GPT-4o为例,在Natural Questions上有79%的回答被判定为美式英语,ELI5上是77%。DeepSeek、Gemini、Claude这些模型情况类似,美式占比普遍在70%到80%之间。
当明确要求用英式英语时,情况确实有所改善,大部分模型的美式占比明显下降,比如GPT-4o在NQ上从79%降到45.33%。但注意,是"下降"，不是"消失"。绝大多数模型即使被明确要求说英式英语,依然有相当比例的回答带着美式痕迹,尤其是在Natural Questions这种偏正式的场景里,美式英语的"惯性"更强。
这就好比你请一位习惯说普通话的主持人去主持一场要求讲粤语的活动,他确实会切换很多用词和口音,但在一些不太留意的细节上,比如语序习惯、某些固定搭配,还是会不自觉地漏出普通话的痕迹。你越是让他讲正式、书面的内容,这种"漏出"就越明显；反而是聊得越随意越口语化,他倒更容易彻底切换过去。
研究者还专门排除了一个干扰因素：会不会是回答越长,越容易暴露某种地域倾向？他们测算了回答长度和美式倾向得分之间的相关性,结果几乎为零（r=0.017)。也就是说,这个美式偏向不是因为回答写长了才显露出来的巧合,它跟长度没什么关系,是一个稳定存在的底层倾向。
从数据到生成:一条完整的因果链
把这三层放在一起看,你会发现一个很清晰的逻辑链条。
预训练数据偏美式，后训练数据偏美式，分词器切美式词更省资源，模型给美式说法分配更低的预测成本，最终生成结果自然也偏美式。这不是某一个环节出了bug,是从最底层的数据采集,一路传导到最终用户能看到的输出,每一层都在往同一个方向使劲。
研究者管这个现象叫"结构性偏见"（structural bias），意思是这种偏差不是孤立出现在某个模块里，而是贯穿了整条开发流水线，从数据、到模型的内部表示、再到生成，环环相扣，互相印证。
这个发现的价值不只在于"证明了偏见存在"，更在于它指出了具体能在哪些环节下手改。比如,如果只是在输出层面加个"请说英式英语"的开关，那只是缓解症状,治标不治本，因为上游的数据配比和模型内部的预测偏好根本没变。真正想解决这个问题,得从语料库构建阶段就开始追踪地域来源，从分词器设计阶段就纳入对不同英语变体的均衡覆盖考量，从后训练数据筛选阶段就有意识地检查地域比例。
Q&A
Q1：DIALIGN是什么，它是怎么判断一段文字更像美式英语还是英式英语的？
A：DIALIGN是研究者提出的一种不需要训练的地域语言倾向打分方法。它把文本切成2到5个词长度的短语片段,过滤掉人名地名和纯虚词片段,再去查这些短语在谷歌图书美式和英式语料库中的历史频率对比,加权计算后得出一个概率,判断整体更偏向哪种英语。它在1500篇新闻测试中达到93.18%的准确率。
Q2：为什么大模型的分词器处理英式英语单词会更"费劲"？
A：研究测试了九款主流分词器,发现英式英语词汇普遍需要切分成更多的token才能表示,纯词汇差异最大能达到18.72%的额外开销。这意味着同样的意思,用英式说法处理起来要多消耗接近五分之一的计算资源,这是因为分词器的词表本身就是在偏美式的训练语料上构建出来的。
Q3：即使明确要求AI用英式英语回答,它还会说美式英语吗？
A：会,但程度会降低。研究测试发现,当只说"用英语回答"时,多数模型有70%到80%的回答偏向美式英语；当明确要求英式英语时,这个比例会明显下降,但不会消失，尤其在正式、百科式的问答场景中,美式英语的痕迹依然比较明显,不同模型和场景下降幅度也不一样。
