腾讯混元发布 Hy4 flash:单任务成本为 Hy4 二十分之一
新浪科技
新浪科技讯 11 月 16 日下午消息,今日,腾讯混元最新语言模型 Hy4 flash 发布,模型总参数量为 224B (其中 64B Engram 参数),激活参数仅为 12B,支持多模态和 1M 上下文长度。Hy4 flash 是迄今为止最高性价比的 Hy 模型:每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元,价格相比 Hy4 大幅降低。
据介绍,为了达到极致的性价比,同时兼顾智能水平和实用性,混元团队做了一系列工作:
在预训练阶段,Hy4 flash 加入了混合注意力、LatentMoE、Engram 等架构特性,KV cache 大小仅为 Hy3 的 1/24、Hy4 的 1/6,且通过大量 scaling ladder 实验确保效果符合预期。
在后训练阶段,通过自蒸馏 Hy4 获得了较强的综合智能水平,再通过强化学习使端到端任务输出长度降低 50%。
在评估阶段,构建基于 WorkBuddy 典型任务的内部评测集 WorkIndex,并结合人评,聚焦日常工作的产物效果、单轮输出长度、端到端用时,而非远离日常工作的公开榜单分数。
在推理阶段,结合 megakernel、4bit量化、dflash 等手段极致优化,使 Hy4 flash 解码速度超过 150 tps,且可以大规模低成本部署运营。
最终,Hy4 flash 在综合效果上略优于更大参数的 Hy4 preview (总参数为 770B,激活参数 49B),但成本显著降低。按内部评测集 WorkIndex(覆盖 PPT 制作与修改、文档编辑、表格修复、音视频处理及视觉理解等 WorkBuddy 典型任务)综合测算,Hy4 flash 单任务成本仅为 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1027(Max 档位,忙时价格)的 1/8。
据悉,Hy4 flash 已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线,即将接入 OpenRouter。11 月 30 日前,用户可在 WorkBuddy 限时免费使用,腾讯云 TokenHub API 限时 5 折使用。