长程智能体（long-horizon agents）正从「修一个 bug」走向连续数小时的终端与编程工作，但它的强化学习训练也格外昂贵：前沿实验室可以在数千张 GPU 上扩展 RL，而对多数团队来说，一条训练样本往往就是一次长达 3 小时、上百轮工具调用的完整尝试，任何一个环节出错，浪费的都是成小时的 GPU 时间。
近日，Wenbo Hu、Nanyun Peng、Dakuo Wang、Kai-Wei Chang 等研究者在 Agent Economics 博客上发布了 FireFlash：一个从 GLM-5.3-Flash 出发、经全参数强化学习训练得到的 300B 级终端与编程智能体。
FireFlash 在 Terminal-Bench 4.0 上的 Pass@1 达到 46.2%，与 Fable 5、GPT-6 Sol 处于同一水平，而单个任务的成本比最高推理强度下的 Fable 5 低 30 倍以上；这一提升也迁移到了 DeepSWE v1.1 与 SWE-Bench Pro Verified 两个软件工程基准上。整个训练只用了 64 张 NVIDIA B300、不到 5 天，团队同时公开了完整的训练配方。
博客标题：FireFlash: An Open Recipe for Long-Horizon Agentic RL Achieving the Performance-Cost Pareto Frontier
博客地址：https://agenteconomics.org/posts/agentic-rl-recipe
作者：Wenbo Hu、Jesse Cai、Po-nien Kung、Yuxuan Lu、Di Wu、Huimin Zeng、Nanyun Peng、Dakuo Wang、Kai-Wei Chang
图 1：Terminal-Bench 4.0 上 Pass@1 与平均单任务成本（对数坐标）的关系。虚线为 Pareto 前沿，箭头为 FireFlash 相对 GLM-5.3-Flash 的提升。由于模型由团队自行部署，FireFlash 按 GLM-5.3-Flash 的公开价格计费。
表 1：三个基准上的 Pass@1（5 次试验取平均）。GLM-5.3-Flash 为其在各基准上的官方成绩，FireFlash 在团队自己的 harness 中评测。
百卡级集群，
如何做到 Pareto 前沿？
团队从 GLM-5.3-Flash（总参数 321B，每个 token 激活 17.4B）出发做全参数 RL，训练全部 320B 语言参数（包括 MTP 层），冻结视觉塔与 DSA 索引器。他们认为，百卡级集群也能做到前沿级的训练效率，关键在于三点：精心筛选智能体 RL 环境，让每个任务都在合适的难度上提供可靠信号；为长、陈旧、低精度的 rollout 量身设计的 RL 配方；以及一套针对模型优化、训练与评测共用的编程 harness（智能体运行框架）。具体来说，团队重新审视并优化了后训练流程中的五个关键环节：
① 基础设施：GPU 不等最慢的那次尝试。 训练与 rollout 各用一组专属 GPU，允许使用落后最多 6 个权重版本的 rollout 训练，并借助 MTP 将解码加速 1.38 倍；每次尝试运行在独立的 microVM 中，因基础设施故障而损失的 rollout 组从 12% 降至 0.5%。
② 任务筛选：每个 rollout 组都带有信号。 只保留初始通过率在 15%–85% 的任务（在与训练完全一致的条件下至少采样 4 次测得），零信号 rollout 组的占比从 48% 降至 10.2%。
③ 奖励：只为真正的解答给分。 每个任务入池前须通过九道验证关卡，并使用校准过的终局部分分；对更短解答的效率奖励让每次解出所用的 token 数降至原来的 0.84 倍，准确率不降。
④ Harness：长程任务装得进上下文，训练与评测一致。 上下文压缩、输出重定向到文件和后台执行让单次试验成本降低约 33%；训练与评测共用同一套 harness，在任何 RL 之前就让 GLM-5.3-Flash 比 Claude Code 高出 4.4 个点。
⑤ RL 目标：陈旧的 FP8 样本也能驱动学习而不漂移。 GRPO 结合截断重要性采样、top-k 分数中心化、成功偏移与损失下限，不用 KL 惩罚和熵奖励也能保持稳定，只有 1%–3% 的 token 被截断。
基础设施：
完全异步的 RL
核心经验 1：闲置的 GPU 比陈旧的 rollout 代价更高——让采样和训练各自全速运行。
训练与采样分卡。一半 GPU 用 slime 框架以 BF16 训练，另一半运行 SGLang 推理引擎，权重与 KV cache 均为 FP8。每个训练步结束后，新权重通过 NCCL 同步到 rollout 引擎，训练和采样互不阻塞（图 2）。
用陈旧的 rollout 训练。由于采样持续进行，某一轮（turn）可能由落后训练器数步的权重生成；只有当它来自 6 个以上版本之前的权重时才会被丢弃。策略陈旧带来的偏移很小：训练器与 rollout 之间的 log 概率差距，在陈旧 1 个版本时为 0.065，陈旧 4–6 个版本时也仅升至 0.08。
快速、隔离的 rollout。利用模型原生的多 token 预测（MTP）头做投机解码，解码速度提升 1.38 倍。每次 rollout 和打分都通过 AgentENV 在独立的 Firecracker microVM 中执行，尝试之间互相隔离，因基础设施错误而损失的 rollout 组占比从 12% 降至 0.5%。
图 2：完全异步 RL。rollout 与训练各占一半 GPU，互不等待。推理引擎持续采样，每次尝试运行在从其任务的父 VM 派生（fork，耗时不到 100 毫秒）出的独立 microVM 中；完成的组排队等待训练器取批。所有尝试得分相同的组被丢弃，由 6 个以上版本之前的权重采样的轮次不产生梯度。每次更新后，训练器把新权重推送给推理引擎。
任务筛选：
只在模型「拿不准」的地方训练
核心经验 2：只把 rollout 花在模型不确定的任务上，并在与训练完全相同的条件下度量这种不确定性。
GRPO 依靠同一任务多次尝试之间的相对差异来学习。一个模型总能解出，或者永远解不出的任务，会消耗一整组 rollout，却只提供零学习信号。因此，团队用基座模型对每个候选任务做至少 4 次 rollout 摸底，只保留初始通过率在 15% 到 85% 之间的任务。摸底严格沿用训练配置——相同的 harness、推理强度、上下文窗口、轮数预算和沙盒——因为任务的通过率取决于其中每一项。这一筛选让零信号 rollout 组的占比从 48% 降至 10.2%。最终的训练数据中，长程智能体任务约占 52%，软件工程任务约占 48%（图 3）。
图 3：训练数据构成。橙色为长程智能体任务（共 52%）：团队自建的长程智能体任务（30%）及其困难档（11%）、长程编程技能（9%），以及公开的 MiMo-TB 与 Tasksmith（各 1%）；蓝色为软件工程任务（共 48%）：公开的 MiMo-code（18%），以及团队自建的 SWE 任务（以 Python 为主的 18%，覆盖 TypeScript、Go、Python、JavaScript、Rust 的 12%）。
评分器与奖励：
先验证评分器，再谈防奖励投机
核心经验 3：模型从未解出的任务，往往是坏掉的任务——在奖励到达模型之前，先验证每一个评分器。
团队在审查那些从未被解出的任务时发现，其中近一半是「坏了」而不是「难」：题目本身有缺陷，依赖会误判正确解的脆弱测试，或者藏着「受保护文件」陷阱。还有一些评分器只因输出格式对得上就给部分分，或者一遇到真实的智能体输出就崩溃。为杜绝这些问题，每个新任务进入训练池之前都必须通过九道验证关卡（图 4），分别确认任务按题面可解、沙盒封闭稳定，以及评分器给出的分数名副其实。
图 4：新任务进入训练池前须通过的九道关卡。蓝色为任务（2 道）：参考解能在训练沙盒中、经由完全相同的训练流程通过；评分器检查的每项要求都在题面中写明。绿色为沙盒（3 道）：离线运行；每次都能可靠启动、不会卡死；环境中不泄露答案。橙色为评分器（4 道）：什么都不做或只交样板代码的尝试得 0 分；测试不脆弱，任何正确解都能通过；再畸形的真实输出也能被打分而不会崩溃；相同输出总得相同分数。
奖励设计。每次尝试在结束时打一次分，终局奖励取值于 [0, 1]。完全解出得 1.0；未完成的尝试按其通过的验证检查给部分分，软件工程任务则按修复的失败测试计分。解出的尝试还能获得最高 0.2 的长度奖励，按其相对同组最长解答少用的 token 数折算。这一塑形让每次解出所用的 token 数降至原来的 0.84 倍，而评测准确率没有下降。
Harness：
为长程尝试而建，训练与评测完全一致
核心经验 4：Harness 是模型的一部分——评测用哪一个，训练就用哪一个。
团队的 harness 沿用 Claude Code 的约定：四个工具（Bash、Read、Write、Edit）、原生工具调用、保留推理历史，以及上下文压缩。关键在于，训练 rollout 与评测试验由完全相同的 harness 驱动，并用自动化单元测试保证两者在代码和提示词上一致。在任何 RL 之前，这套 harness 就让 GLM-5.3-Flash 在 Terminal-Bench 4.0 上比其官方 Claude Code 成绩高出 4.4 个点（表 2）。
表 2：同一模型 GLM-5.3-Flash 分别使用 Claude Code（官方排行榜成绩）与团队 harness 在 Terminal-Bench 4.0 上的表现。标准时限，按公开价格计算单次试验成本与单次解出成本。
长程尝试还必须负担得起。保留状态的上下文压缩在占用达到上下文窗口的 85% 时触发，通过在现有对话历史末尾追加分节摘要提示来保留前缀缓存；命令把标准输出写入文件，只返回带文件名的截断预览；长时间运行的命令转到后台异步执行，而不是超时即终止。这些特性合计将单次试验成本降低约三分之一。此外，要求高效工作流的提示词规范（原地编辑、一次写完、不用 sleep 轮询）又节省了 16%。
RL 目标：
从陈旧样本中学习而不漂移
核心经验 5：对陈旧、低精度的样本做校正而不是丢弃，并把熵的上升当作早期预警。
rollout 以 FP8 精度、在落后最多 6 个版本的权重上采样，与正在训练的 BF16 策略略有差异。团队没有丢弃这些陈旧轨迹，而是在训练目标中直接对其进行校正。核心算法是 GRPO，每个任务 12 次尝试、每步一次优化器更新；每次尝试的优势值同时包含奖励项与长度奖励项：
A = (R′ − mean R′) / std R′ + (b − mean b) / 0.5
（均值与标准差在同一任务的 12 次尝试上计算）
R′ = 1.5（尝试解出任务时）；否则 R′ = 0.5 × R（R 为上文 [0, 1] 内的终局奖励）
b = 0.2 × (1 − tokens / 组内解出尝试的最大 token 数)，组内至少 2 次解出时对解出的尝试计算，否则为 0。
截断重要性采样（TIS）。每个 token 按 BF16 训练器概率与 FP8 rollout 概率之比加权，比值截断在 [0.5, 2.0]，以限制单个 token 的影响；只有 1%–3% 的 token 触及截断边界。
分数中心化（SC）。rollout 引擎返回每个 token 的 top-32 log 概率，训练器从每个 token 的策略梯度分数中减去采样器在这些候选上的期望分数。这消除了单靠截断仍会残留的、向陈旧 FP8 采样器的漂移，代价是每步耗时增加 7.6%。
成功偏移。完全解出（R = 1.0）以 1.5 计入优势，未解出的尝试则按其部分分的一半计入：最好的「差一点」（R = 0.5）只记 0.25，而一次解出记 1.5。部分分可以塑造学习，却不会与真正的解出相提并论。
损失归一化下限。每次尝试的损失按其 token 数归一化，分母最小为 2,048 个 token，避免只有寥寥几个 token 的退化 rollout 获得过大的单 token 权重、主导梯度。
有了这些校正，训练既不使用 KL 惩罚，也不使用熵奖励。在健康的训练中，策略熵从约 0.46 缓慢降至 0.33；熵的上升是训练失稳的早期预警信号。
实验：三个基准全面提升，
站上成本—性能前沿
FireFlash 在训练时所用的同一 harness 中评测，并与其起点 GLM-5.3-Flash 的官方成绩以及其他模型的公开成绩对比（图 5）。FireFlash 在三个基准上均超过基座：Terminal-Bench 4.0 提升 10.4 个点，超过 Fable 5 以及满尺寸的同门模型 GLM-5.3；DeepSWE v1.1 提升 5.4 个点，超过 Fable 5.1；SWE-Bench Pro Verified 提升 5.1 个点，超过 Kimi K3 与 GPT-5.6 Sol。
图 5：三个基准上的 Pass@1。橙色为 FireFlash，蓝色为其起点 GLM-5.3-Flash 的官方成绩，其余为各模型的公开成绩。
成本与性能
在 Terminal-Bench 4.0 上，FireFlash 位于成本—性能 Pareto 前沿（图 1）：图中四十多个模型与推理强度设置里，只有 4 个的单次试验成本比它低，且它们的得分都不超过 35.8%。按 GLM-5.3-Flash 的公开价格，FireFlash 单次试验成本为 0.72 美元，而最高推理强度下的 Fable 5 为 22.02 美元；前沿上的下一个点 GPT-6.1 Terra 得分 55.6%，成本为 1.49 美元。所有得分高于 FireFlash 的模型，单次试验成本至少是它的两倍；满尺寸的同门模型 GLM-5.3 在最高推理强度下每次试验花费 8.27 美元，得分却只有 41.8%。
结语
FireFlash 表明，有针对性的后训练能把开源权重模型变成能力很强的领域专用智能体，以一小部分推理成本达到前沿水平。作者认为，联合优化模型、训练环境、harness 与推理系统，是单纯扩大规模之外构建强大而高效的智能体的另一条路径。FireFlash 是这一方向上的第一步，团队接下来会把这套方法从编程和终端任务扩展到更复杂、更长程、需要反复执行的工作中。
作者介绍
Wenbo Hu，UCLA 计算机科学博士生，导师为 Kai-Wei Chang 与 Nanyun Peng 教授。研究方向为智能体强化学习（Agentic RL），关注大语言模型、多模态与智能体，代表作有 Tev、MQT-LLaVA、3DLLM-Mem 等。
本文其他作者为 Jesse Cai、Po-nien Kung、Yuxuan Lu、Di Wu、Huimin Zeng（按姓氏字母排序），以及 Nanyun Peng、Dakuo Wang、Kai-Wei Chang 教授。
