9.11和9.8比谁大? 阿里通义临时“改口”,多家仍显示错误
新浪科技讯 7月17日下午消息,有消息称多家大模型在9.11和9.9谁大这个简单的数学问题上回答错误,称9.11大于9.9或大于9.8。新浪科技实测发现,阿里通义千问被曝光出现错误后火速“改口”;Chatgpt4、豆包、百川智能、Kimi、商汤商量仍然错误;讯飞星火、元宝则一直正确。
1. 阿里通义千问此前判断9.11大于9.8,今日经新浪科技实测发现,通义已经“改口”,认为9.8大于9.11。
![](http://k.sinaimg.cn/n/finance/transform/544/w397h147/20240717/7558-c75975e8ffc055e8af0a997e358d7b61.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/113/w445h468/20240717/6bcb-8459b7bcf4ec45f4e60e96daa84e1370.png/w700d1q75cms.jpg?by=cms_fixed_width)
2. ChatGPT4.0一直坚持错误答案。
![](http://k.sinaimg.cn/n/finance/transform/43/w438h405/20240717/d6b7-61634952763182aad63affbf7a8dfe3a.png/w700d1q75cms.jpg?by=cms_fixed_width)
3. 豆包在被曝光前后都提供了9.11大于9.9的错误答案。
![](http://k.sinaimg.cn/n/finance/transform/58/w550h308/20240717/07ad-06cc7d7104fa4b62fdcab0bc18a2d95c.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/60/w550h310/20240717/dc1b-b0f93dee2bfadc0ac6daafeb1b6951fb.png/w700d1q75cms.jpg?by=cms_fixed_width)
4. 百川智能仍然坚持错误答案,称9.11大于9.8或9.9。
![](http://k.sinaimg.cn/n/finance/transform/476/w386h90/20240717/aaa7-1b25f0a595a23abcfaca5182cd76fd77.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/793/w366h427/20240717/014b-bc54f1710f15c346077b11bd10eca2db.png/w700d1q75cms.jpg?by=cms_fixed_width)
5. Kimi不但坚持错误答案,甚至答非所问把9.11识别成了9.91。对此,Kimi开发公司月之暗面回应表示:“其实我们人类对大模型的能力探索——无论是大模型能做到什么,还是大模型做不到什么——都还处于非常早期的阶段。我们非常期待用户在使用中能够发现和报告更多的边界案例(Corner Case),不管是最近的‘9.9和9.11哪个大、13.8和13.11哪个大’,还是之前的‘strawberry有几个r’,这些边界案例的发现,有助于我们增加对大模型能力边界的了解。”
![](http://k.sinaimg.cn/n/finance/transform/751/w462h289/20240717/1b87-214e37c4ec8158951511ab63ab4cc484.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/277/w512h565/20240717/a17d-dca137bb7a29a8fe431d97afbcd7c821.png/w700d1q75cms.jpg?by=cms_fixed_width)
6. 商汤商量仍然错误。
![](http://k.sinaimg.cn/n/finance/transform/774/w550h224/20240717/012c-19914dcefcac673a9c1e1263b291fc00.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/161/w512h449/20240717/50b1-1b7bb5203f39b1804541ec5ca67316ff.png/w700d1q75cms.jpg?by=cms_fixed_width)
7. 讯飞星火一直保持着正确。
![](http://k.sinaimg.cn/n/finance/transform/53/w493h360/20240717/601e-9286d739ccd0951ca6a1b1082ed62ba1.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/783/w329h454/20240717/bebb-2e5b71cde50adb5e3bd64a4041219551.png/w700d1q75cms.jpg?by=cms_fixed_width)
8. 元宝一直正确,并给出了竞品打错的原因。其表示,9.9实际上比9.11大。这个看似简单的问题,却难倒了许多AI大模型,包括GPT-4o和Claude、3.5 Sonnet等。
它认为,AI大模型回答错误的原因有两方面,一方面是Tokenization误解,即一些AI模型在处理小数时,由于Tokenization的方法,错误地认为小数点后的数字具有不同的权重,导致它们认为11大于9148。另一点是对小数点后的数字处理不当,AI模型在比较小数大小时,未能正确理解小数点后数字的相对大小,错误地认为9.11大于9.9。
![](http://k.sinaimg.cn/n/finance/transform/763/w550h213/20240717/c694-d1e09f1746b14d2666c211a697e4e666.png/w700d1q75cms.jpg?by=cms_fixed_width)
![](http://k.sinaimg.cn/n/finance/transform/189/w349h640/20240717/ed88-1cd28bdf8df55d60b1119d50d3e9ab0f.png/w700d1q75cms.jpg?by=cms_fixed_width)