从第 25 追到第 14,模型追上来了,卡没了
(来源:昆仑侠)
自 8 月放出 Hy4 预览版,时隔两个多月,腾讯昨日正式推出新一代大语言模型 Hy4 正式版。经过了一天时间的使用,我也大致谈谈我对新模型的看法。
一、两个多月,从第 25 追到第 14
这次首先让我比较意外的是,腾讯一改往日比较低调、谦逊的习惯,在新模型发布的官方发文开篇就自信满满的写道:“随着模型能力的再次全面跃升,Hy 首次跻身最强开源模型之列。”
看了一下官方给出的 12项测评,比如说距离海外顶尖模型还有不小的差距,但确实在国内模型算是最强一档了。
当然,自己说好也不一定好,难免有王婆卖瓜自卖自夸的嫌疑。同时,我也看了下海外专业 AI 测评网站Arena AI的测评结果。
图:Agent Arena 榜单(来源:Arena.ai)
Arena 榜单上 Hy4 排第 14,前面 13 个除了Kimi K3.1Pro外,其余都是美国的顶尖旗舰模型,并且基本都是 Max、High 的高配。
Hy4正式版,相对基线的净提升 +4.7%;8 月份发布的Hy4预览版排第 25。
两个多月,分数抬了 3.7 个百分点,排名往前挪了 11 位。
更值得看的是跟第 13 名 Kimi K3.1 Pro 的对照,这是国内目前最强的大模型,
Kimi +5.1%,Hy4 +4.7%,相差仅不到 1 个百分点。
如此看来,Hy4说是国内开源最强模型之列,也并不是吹牛,小马哥和刘炽平在业绩电话会上说Hy4要做到行业的 SOTA,也算是提前达成目标了。当然,现在大模型进展非常快,基本上是各领风骚三五月。没准过一两个月又被反超了,但不管怎么样,也算是达成阶段的目标了。这就跟打仗一样,气势和信心最重要。
二、混元为真实生产力而生
自从姚顺雨担任混元模型一号位后,他在多个场合反复表达过同一个观点:国内不少大模型是在为跑分而跑分、为打榜而打榜。
姚顺雨也讲过,他来之前的混元,包括 2.0 那一代,基本都围着榜单分数转。
他去年底入职后查出来的问题更直接:旧团队为冲榜把考题混进了训练集,练出了榜单好看、实战拉胯的应试型模型。
于是他给刘炽平提了个要求,新模型发布起至少一年,总办不看榜单。
在他看来,大模型的价值应当落在解决真实世界的问题上,而不是停留在答题应试。
Hy4 首次引入视觉能力,可以结合感知、推理和工具调用,进行细粒度图像处理、复杂图表分析和数学视觉推理等任务。Hy4 也首次支持电脑操作,可以灵活地结合使用命令行和图形界面。
WorkBuddy的发文里有组数据:Hy4在办公场景平均效果得分 83.18 分,任务通过率 96.15%。
12 个场景里,9 个排名国内第一。
这个比总排名第 14 值钱。
第 14 是跟全球所有模型一起比,9 个国内第一是在腾讯自己的真实场景里比,后者才决定产品好不好用。
姚顺雨之前谈为什么来腾讯,说这边业务场景多,一开始就按模型和产品协同设计来做。
让模型直接在真实场景里磨,后训练阶段的数据优势就是这么来的。
金融那块我更在意,平时使用的也多。
官方找了 213 位金融专家、579 项真实任务做众测,Hy4 综合表现位居开源模型第一,比 Kimi K3.1 Pro、 GLM-5.3和DeepSeek-V4.1-Flash-1017都高(众测得分:Hy4 3.04、Kimi K3.1 Pro 2.68、GLM-5.3 2.68、DeepSeek-V4.1-Flash-1017 2.97)。
并且在金融场景中,测试里幻觉率从约 13% 降到 7%,因猜测导致的错误从 23% 降到 6%。
我这两天测下来,数据正确率确实提高了一些,胡编的情况少了很多。主要问题和预览版一样,就是耗时太长了。
此外,Arena AI网站还有个关于大模型Agent执行任务的性价比测评,Hy4 成功跻身帕累托前沿,说明它以相对适中的成本($0.55/任务)提供了有竞争力的智能体表现,在性价比上占据了前沿一席。
这个和目前国内最强的大模型 Kimi K3.1 PRO 对比就能看得出来。智能方面Kimi +5.1%,Hy4 +4.7%,差不到 1 个百分点;Kimi 3.1Pro 单任务成本1.46 美元,Hy4 单任务成本0.55 美元,便宜约 62%。
对 WorkBuddy 这种按任务跑的 Agent 来说,这条线比跑分实在得多。
三、模型追上来了,算力却被卡住了
我自己测下来,Hy4回答问题的质量确实有所提高,幻觉确实也下降了,但问题还是太慢,耗时间多,和预览版差不多。
这条我昨天已经给混元团队反馈过了。
我瞎猜,0.55 美元一个任务和“慢”可能是同一件事的两面。
更长的思考链、更多轮工具调用,换来更高的任务成功率,代价是消耗更多的算力。
慢这件事,算法再迭代也解决不了。
慢的背后是算力。
11 月 4 日《金融时报》报道,甲骨文迫于特朗普政府的压力,取消了跟腾讯一笔约 70 亿美元的 AI 芯片租赁协议。
原方案是五年期,租用东南亚数据中心约 10 万颗卡。
说白了,租赁是最轻的一条路,不用自己买卡建机房,签个合同就有算力用。
这条路一卡,短时间内国产训练卡又跟不上。
剩下的无非自采加国产替代,两条都要时间,也都要钱。
10 月那笔约 57 亿美元的离岸债,主要就是往 AI 资本开支里投的,市场当时质疑的也是这一块。
我一直把腾讯 AI 拆成算力、算法、数据、场景四块看。前几年最明显缺的是算法。
到今天,这块算是补上了。
混元和 WorkBuddy 、元宝、企业微信等腾讯系应用的 co-design 已经开始互相喂数据,模型越好用,真实场景回来的数据越多,下一版又更好用。这个圈转起来之后,模型层那点差距会越摊越薄。
所以现在四个板块的样子是:算法补上了,数据和场景一直是主场,算力还欠着账。
三季报马上要处理,到时看看财报、听听管理层在电话会里怎么说算力基建的进展,资本开支往哪投,国产算力替代走到哪了。