Huggingface发榜,中国模型StartLux稳居决策模型SOTA
(来源:钛媒体APP)
全球知名AI开源社区Hugging Face上的Decision Index 0.3.2榜单近日更新,中国AI创业公司StartLux(原点星辉)推出的StartLux-Decision-v1.1-27B Instant以69.1分登顶全球第一,在173项公开复现模型中排名榜首,领先第二名近3分,也是榜单中唯一突破69分的模型。继9月底发布首代模型后,StartLux仅用十余天再次刷新行业最佳成绩,稳居全球决策模型SOTA。
值得一提的是,StartLux已经不止于连续霸榜,新一代 StartLux-Decision 推出 Instant 与 AutoThink 两条路线,并原创提出RLCD² 方法,还带来DecisionPivot 评测基准、策略感知校准方法及两组动态多模态演示,推动了全球决策模型进一步向前发展。
凭借对决策模型的深入理解和突破性创新,StartLux得以持续霸榜全球决策模型,这也意味着中国AI 创业公司掌握了这一新兴赛道的绝对话语权。
图:hugging face榜单
登上 Hugging Face 榜首 连续保持 SOTA
此次 Hugging Face 的榜单纳入了 173项公开复现模型,并通过37项公开基准及多项私有测试进行综合评估;参与排名的StartLux新版决策模型StartLux-Decision-v1.1-27B-Instant领先第二名近3分,也是榜单中唯一突破69分的模型。
在另一测试中,StartLux同样拉开了性能差距。团队基于Decision Index 0.3的测试显示,StartLux-Decision-27B-AutoThink综合得分达到73.37,较美国AI公司TypeSafe推出的Jev(hosted)的57.96领先约27%。从Instant登顶第三方榜单,到AutoThink展现更强的复杂决策能力,StartLux已经形成覆盖快速判断与深度推理的全面优势,而这距离其9月底首次发布决策模型仅过去十天。
StartLux-Decision 决策模型全系列全面超越其他同尺寸决策模型
StartLux-Decision 决策模型全面超越Jev(hosted)
这已经不是 StartLux 第一次登上全球第一。9月30日,StartLux发布第一代开源决策模型StartLux-Decision。其27B版本在Decision Index 0.2.1中取得63.88分,超过Jev 1.13的57.91分,38项基准中有31项领先。此次升级后,27B AutoThink在Decision Index 0.3中的得分进一步提升至73.37,较Jev(hosted)的57.96领先约27%。短短十余天内两度刷新行业最佳成绩,StartLux完成了从单点性能突破到全系列领先的跃升,也让中国团队率先站上全球决策模型赛道的技术制高点。
Instant与 AutoThink:简单题快答,难题再细想
决策模型是 AI 系统的“判断中枢”:请求交给谁、工具能否调用、检索结果是否可用,都由它快速判断。
新一代 StartLux-Decision 提供两种模式。Instant 是“极速判断版”,覆盖 0.8B 至 27B 五种规模,不生成推理过程,直接给出答案和信心分数,适合请求路由、内容分类等高频任务。AutoThink 是“按需思考版”,覆盖 4B、9B、27B:默认配置下,信心达到 0.9 就直接回答;信心不足时,才核对规则、计算数字并排查例外。
Instant 与 AutoThink 的训练及推理流程
例如,476.80 瑞典克朗的商品,加上 24.03 运费可以通过;运费变为 24.05,就超过 500.84 的上限,必须拒绝。面对这种只差 0.02、结论却完全相反的问题,AutoThink 会把额外计算留给真正困难的判断。不过,让模型愿意思考只是第一步。如何避免它陷入冗长、无效的推理,并在得到有效结论后及时停止,则是 StartLux 此次更新要解决的另一个关键问题。
原创 RLCD²:中国模型已经不止于拿第一
会推理的模型很多,但能把每一步推理都花在刀刃上的并不多。为了让模型既能深入思考,又能及时收住,StartLux 原创提出 RLCD²强化学习训练方法,即 Reinforcement Learning for Calibrated Deliberative Decisions:如果推理真正改善了判断,就给予奖励;如果思考冗长、超过预算,就施加惩罚。
RLCD² 的效果非常明显。经过 RLCD² 训练,9B 模型能够自行结束推理的比例从 45.9%提高到 93.9%,平均推理长度从 2494 个 token 降至 868 个,减少约 65%,决策准确率基本保持不变。
RLCD² 训练前后的推理终止率 长度与质量变化
这意味着,模型开始学会“该想时想、想清就停”,把算力集中到真正有价值的推理上。此次,StartLux 还系统公开了 RLCD² 的奖励设计、推理预算和实验结果,为决策模型如何高效思考提供了一套可分析、可验证的方法。
推出 DecisionPivot 评测基准 给决策模型一面更好的“镜子”
模型多想一步后,还要证明自己不是碰巧答对。团队为此设计的DecisionPivot 测评基准。它像一套专门检验细节辨别能力的考题,将条件相近、结论不同的题目组成一组,只有整组全部答对才计分。在 7800 道核心题中,StartLux-Decision-27B-AutoThink 以 86.9% 的成对准确率位列第一,在筛选、状态核验、排班冲突等需要计算和逐项检查的任务上展现出突出优势。
DecisionPivot 核心题成组准确率比较
答对之外,模型还要准确判断自己答对的可能性,不能明明容易出错,却给出过高的信心分数。在 9B 模型的一组测试中,单条答案置信度处于 80%至90%时,实际正确率为 92%;但从 32 个候选中选出最高分答案后,同一置信度区间的正确率变为 78%。
为此,StartLux 提出策略感知校准,结合候选数量、平均分和筛选方式修正最终概率。在 184 组设置中,置信度与准确率的差距范围由 −11.7 至 +20.5 个百分点,收窄至 −2.7 至 +2.1 个百分点,让系统更准确地判断结果应自动执行还是交由人工复核。
广受开发者欢迎,模型下载量突破 12 万
StartLux-Decision 的领先不只属于 27B。在 DI 0.3 公开部分的评测中,4B AutoThink 获得 68.21 分,超过多款规模更大或以托管方式提供的模型。这意味着,决策能力不再只是参数规模的竞争,针对性的训练与推理机制同样能够释放强劲性能。该系列已公开全部权重和推理代码,支持本地部署,让开发者能够根据业务成本、响应速度和数据隐私要求,选择适合自己的模型规模与运行方式。截至北京时间 10 月17 号下午, StartLux 决策模型累计下载量近12 万。
此次更新还将决策能力拓展至动态多模态场景。团队通过火箭发射、洪灾救援两段视频,演示模型如何结合连续画面、字幕与上下文,同时处理多项判断,并根据置信度决定是否深入思考。这些案例打开了一扇通往真实世界的大门:决策模型不再局限于回答一道静态问题,而是开始面对持续变化的环境,在海量信息中迅速判断、主动思考、动态更新结论。
从小模型高性能到本地部署,从按需思考到多模态决策,StartLux-Decision 不仅展示了持续迭代和优化模型的技术实力,更标志着其正以技术引领者的姿态,提出原创理论与方法,推动整个决策模型行业向前迈进。当 AI 从“生成内容”迈向“执行任务”,一个能够控制计算成本、理解关键细节并准确表达不确定性的决策中枢,将成为智能体和全本地智能系统不可或缺的基础设施。新一代 StartLux-Decision,正在加速这一未来到来。