新浪科技 股票

100万道实战题,还得防AI作弊!320B国产基模技术细节揭秘

市场资讯 10.23 20:25

(来源:新智元)

新智元报道

还记得9月底,我们拉着IQuest-Q1做的那几场实测吗?

6个路口的早高峰,给它管;双11仓库里8台搬运机器人的调度,交给它;24层写字楼的电梯调度,也让它试了一遍。

我们还让它写前端、做游戏,看看一个320B的开源大模型,到底能把多少事情真正做起来。

那篇文章发出后,一个问题其实还没讲透:

能在复杂环境里连续干活的基础模型,究竟是怎么练出来的?

现在,这个问题终于有了更完整的答案。

就在今天,至知创新研究院(IQuest Research)公开了IQuest-Q1的完整技术报告《IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems》。

模型还是我们此前关注的那匹开源「黑马」:

320B总参数、15B激活参数,重点面向代码开发、命令行交互和复杂Agent任务。

不过,这次值得关注的,已经不只是模型会做什么了。

新公开的技术报告,给出了30项Benchmark成绩,还把不少训练细节摆到了台面上。

Benchmark成绩

对照模型包括Claude Opus 5、GPT-5.6 Sol等。而我们更感兴趣的,是这些成绩背后的技术投入:

29T Tokens、超过100万个可执行任务实例、1.93×的架构规模化效率,还有一套专门防止模型「作弊」的训练机制。

从9月底的实测,到如今的完整技术报告,IQuest-Q1终于把更多底牌亮了出来。

这次,我们就来拆拆它。

从写代码到跨系统干活

基模正在接受新的考验

此次技术报告公布了30项评测结果,涵盖代码生成、软件工程、终端操作、工具使用、复杂工作流以及通用推理等多个方向。

其中,AutomationBench与τ³-Banking的成绩非常值得多看几眼。

AutomationBench关注跨应用自动化能力。模型需要在不同系统之间调用工具、完成操作,并在多步骤执行过程中保持任务状态和约束。

τ³-Banking则引入复杂服务业务场景,考察智能体理解业务规则、调用工具和完成多轮任务的能力。

这些任务有一个共同特点:完成某个操作只是其中一步,模型还得让整个流程顺利走下去。

IQuest-Q1在两项评测中分别取得52.7和51.8分,均位居报告列示的对照模型首位。

此外,在SkillsBench、MCP-Atlas和Toolathlon-Verified上,模型分别取得74.1、78.4和75.0分,覆盖技能使用、工具接口理解及外部工具调用等能力。

在Claw-Eval和IQuest-CLIBench上,模型分别取得77.1和53.7分。

其中,IQuest-CLIBench是至知团队设计的内部评测,通过用户交互模拟、执行轨迹和环境状态检查,进一步考察CLI Agent的任务完成与交互表现。

Benchmark成绩

至于此前开源时重点展示的代码能力,IQuest-Q1在NL2Repo-Bench和CyberGym上分别取得63.0和84.5分。

BrowseComp 85.5、WideSearch 81.8、GPQA Diamond 93.3等成绩,也进一步展示了模型在信息搜索和知识推理方面的能力。

整体看下来,这次报告补充了更多复杂工作流和工具使用方面的评测证据。

当然,Benchmark还不能回答真实应用中的所有问题。面对更复杂、更开放的环境,模型仍然可能出错,也可能需要人工介入。

但至少,我们可以进一步追问:这些能力,究竟是怎样「炼」出来的?

给模型准备100万道「实战题」

还要防它作弊

如果说训练一个代码模型,需要让它阅读和理解大量代码,那么训练一个能够独立执行任务的Agent基础模型,就得让它真正进入环境里做事。

写完代码,要运行。

运行出错,要排查。

调用工具返回了意料之外的结果,还得继续调整方案。

整个过程是连续的,并且会不断产生新的状态。模型必须学会处理这些连续发生的情况,并且如果出现了错误,模型也需要从这些反馈里学习。

IQuest-Q1技术报告披露,团队从代码仓库和已有智能体轨迹出发,构建了超过100万个可执行、容器化的任务实例。

这些任务涉及软件工程、终端操作、代码理解与测试、程序生成、网络安全和专业工作等多个领域,并配套相应的执行环境与验证方式。

智能体训练任务与验证体系

模型在任务环境中执行操作,系统再筛选有效、完整的执行轨迹,将其用于中期训练。

但环境越来越真实,另一个问题随之出现。

基础模型也会寻找捷径。

例如,在代码修复任务中,智能体可能通过查找已有答案、读取隐藏测试,甚至修改评测脚本获得奖励。

从评分结果看,任务似乎完成了;实际上,模型可能并没有解决原本的问题。

在强化学习中,这类现象被称为Reward Hacking(奖励作弊)。

为此,至知团队建立了三层防护机制:

• 环境准备:清理可能泄露答案的代码历史与参考文件,隔离任务环境。

• 执行时检查:限制模型访问隐藏测试、已有解决方案等不应获取的资源。

• 轨迹审计:检查实际执行的命令、工具输出与提交结果,剔除确认存在作弊行为的轨迹。

这套机制旨在提高奖励反馈与真实任务完成情况的一致性。

训练环境之外,IQuest-Q1还需要适应不同Agent工具的工作方式。

在后训练阶段,团队围绕Claude Code、Codex等执行框架开展训练,结合监督微调、领域强化学习与多教师在线策略蒸馏(MOPD),增强模型对不同工具接口和交互流程的适应能力。

四类专业教师模型分别覆盖终端交互体验、多执行框架适应、长程代码与网络安全任务,以及通用智能体能力。

后训练流程

对于CLI 模型而言,能否稳定地理解工具、处理反馈并完成任务,正在成为基础能力的重要组成部分。

训练320B模型

如何把计算效率提升1.93倍?

除此之外,技术报告还披露了IQuest-Q1在基础模型架构上的一组实验结果:

1.93×。

这是团队在规模化效率对照实验中得到的结果。

在使用相同训练数据的条件下,与Qwen3-30B-A3B配置的MoE风格基线相比,IQuest-Q1模型达到相同训练损失所需的计算量约为基线的52%。

规模化效率与稳定性实验

需要注意,这一结果来自受控架构实验,衡量的是达到相同训练损失所需的计算量,并不直接等同于完整320B模型的实际训练成本。

那么,它背后有哪些设计?

IQuest-Q1采用320B总参数、15B激活参数的稀疏MoE架构。

模型包含88层Transformer,每个MoE层设置256个路由专家,每个Token激活8个。

注意力机制结合分组查询注意力与滑动窗口注意力,中间层采用每3层滑动窗口注意力搭配1层全注意力的结构。

IQuest-Q1整体模型架构

在优化方法上,团队采用Stable SplitNorm、Muon优化器与μP参数化,并通过小规模代理模型研究学习率迁移,改善大规模训练的效率和稳定性。

技术报告还引入Critical Model Size(CMS)指标,通过分析最优学习率和安全学习率之间的关系,研究模型在更大规模下的训练稳定性边界。

而这些架构设计,最终要承载庞大的训练任务。

报告显示,IQuest-Q1的预训练与中期训练累计使用约29T Tokens。

预训练阶段,代码数据比例由40%逐步提升至70%;中期训练进一步引入推理问答与智能体执行轨迹,并分阶段将最大训练上下文长度扩展至32K、128K和512K Tokens。

长上下文之外,团队还采用了一个有意思的推理设计:Recursive MTP(递归式多Token预测)。

模型在预训练时引入两个MTP层,之后将其中一层改造为递归草稿生成模块。

通过复用同一个MTP模块,系统能够在固定参数预算下生成多个后续候选Token,为投机解码提供支持。

此外,递归模块采用更小窗口的滑动窗口注意力,以限制长上下文条件下每一步预测的计算开销。

递归式多Token预测示意

从架构训练到推理执行,围绕计算效率问题,IQuest-Q1团队确实在多个环节进行了精心设计。

比跑分更难的

是把事干到底

看完这份技术报告,再回头看我们上次让IQuest-Q1调度红绿灯、仓库机器人和电梯的实测,就更能理解一件事:

让模型持续完成复杂任务,确实没那么简单。

百万级可执行任务、多框架强化学习、防奖励作弊、长上下文推理……这些看似分散的技术设计,其实都在解决任务实际执行中可能遇到的问题。

报告里还有个有意思的细节。

在一次工具调用能力优化实验中,基于IQuest-Q1的智能体追查了6054次工具调用记录,发现训练数据过度集中于单一工具调用格式,部分工具定义与参数也存在不匹配。

随后,它提出数据清洗与增强方案,并在人工审核后参与后续训练准备。

连训练中遇到的问题,也开始尝试交给模型自己来排查了。

从技术报告里可以看到,研发团队是从预训练做起,跑通了完整的研发路径,而不是基于其他模型微调而来的。

这对于一家成立时间不长的机构来说,可见其在此方向发力的决心。

无论是模型后续表现,还是至知研究院的后续发展,它的成长性是值得期待的。

当然,技术报告能解释模型是怎么训练的,却无法替代真实环境中的检验。

毕竟,Benchmark上的高分只是一场考试。工具突然报错、任务越跑越长、环境不断变化,才是模型真正要面对的考场。

上次,我们看到了IQuest-Q1能干什么。

这次,知道了它是怎么「炼」出来的。

至于下一次,不妨把难度再往上加一点。

参考资料:

技术报告:https://arxiv.org/pdf/2610.30949

Blog:https://iquestlab.github.io/

Hugging Face:https://huggingface.co/IQuestLab/IQuest-Q1

GitHub:https://github.com/IQuestLab/IQuest-Q1

编辑:元宇

加载中...