（来源：科技行者）
你有没有想过一个问题：现在的AI模型越来越聪明，是靠什么喂出来的？
答案是数据。而且不是随便什么数据，是那种带着标准答案、能验证对错的"可执行任务"。比如让AI去修一个代码bug，去完成一个终端操作，去处理一份业务表格。这些任务背后都有一个人在把关：这道题出得好不好，难度合不合适，值不值得拿去训练模型。
这些年AI公司越做越大，但出题这件事一直没有真正自动化。还是得靠人。而这篇来自香港科技大学等机构的论文，问了一个很直接的问题：AI自己能不能胜任出题人的工作？
结果它们做了一个专门的测试台，叫AutoDataBench，测下来发现，现在最强的那批AI agent，出题水平其实相当勉强，没有一个能拿到及格线的一半分数。
为什么"出题"这件事这么重要
先说说这件事为什么值得单独拿出来研究。
训练AI模型，尤其是那种需要动手做事的"智能体"模型，光靠架构升级已经不太够用了。真正决定模型能力上限的，是喂给它的数据质量。而智能体训练需要的数据，不是一句话一个回答那么简单，得是一整套任务：一个可以运行的环境，一个能判断对错的验证程序，还得配上恰到好处的难度。
这套东西目前基本靠专家手搓。每开辟一个新领域，就得再招一批懂行的人来设计任务。这就卡死了整个数据生产的速度，也卡死了模型能力扩展的边界。
如果AI能自己写出这些训练任务，理论上数据生产就能跟着算力一起扩张，不再受限于专家的数量。这也是所谓"递归自我改进"的关键一步：模型自己造数据，训练出下一代更强的模型，然后下一代继续造数据。这个循环一旦能转起来，AI进步的速度可能会脱离人类专家产出的天花板。
问题是，之前几乎没人认真测过AI出题的能力，测的方式也不对。
之前的评测方法为什么不靠谱
现有的评测大多是这么干的：让AI生成一批任务，拿去训练一个模型，看看训练完模型变强了没有。听起来挺合理，但这和真实的数据生产行业完全是两码事。
现实中的数据公司是怎么运作的？
一条数据一条数据地交付，每一条都要单独过验收，合格才付钱，不合格打回重做。数据验收的标准跟这条数据最后有没有真正提升模型能力，其实没有直接关系。因为一次训练消耗的是一整批数据，最后只给你一个笼统的分数，你根本看不出这一批里哪一条数据起了作用，哪一条是拖后腿的。
这就好比你雇了一个建筑队盖房子，最后只告诉你房子结不结实，却不告诉你是哪块砖出了问题。你没法把整体质量归因到单个部件上。所以真正的验收必须在训练开始之前就完成，一条一条地检查。这篇论文抓住的正是这个空白：现有的评测全都在看训练后的结果，没人问过"这一条任务单独拿出来，能不能过验收"。
论文里提出，一条合格的训练任务要满足三个条件。
第一，任务本身得有效。它得能在标准格式下运行，验证程序得真能分辨对错，而且不能是抄来的旧题换个皮。
第二，难度得卡在一个合适的区间。太简单，模型一次就能做对，学不到东西；太难，模型永远做不对，也看不出问题出在哪。理想状态是模型有时候能做对，有时候做不对，这种"半生不熟"的状态才最有训练价值。
第三，也是最容易被忽略的一点，这条新任务得能引出和原任务相似的行为表现。
行为表现*：指模型在做任务过程中展现出的某种具体决策方式或思维习惯，比如遇到两份互相矛盾的资料时，模型是靠比较时间戳来判断哪份更权威，还是随便选了一个。这种行为要抽象到"可以被另一道完全不同的题目重新引出"的程度，才算数。
这三条加起来，才是一份数据在真正被送进训练炉之前，应该经过的完整检验。
AutoDataBench是怎么设计的
这套测试台的核心思路是：还原一个真实数据团队的工作流程，只是把干活的人换成AI agent。
具体流程是这样的。先选定一个"目标模型"，也就是将来要被训练提升的那个模型，论文里用的是deepseek-v4-pro。然后从三个公开的任务集里各挑八个原始任务，涵盖终端操作、软件工程、科学计算和商业流程自动化这四类工作。
三个任务集分别是Terminal-Bench 4.0（做终端和代码相关的任务）、Terminal-Bench-Science（科学计算任务）和AutomationBench（跨软件的业务流程任务，比如处理客户邮件、协调预算表格）。
目标模型会先在这24道原始任务上各自尝试6次，每次的操作过程都被完整记录下来。接下来有一个叫"分析师"的角色（同样由AI担任，但用的是完全不同的模型系列，避免自己给自己放水）会通读这些记录，从中提炼出3到5条"行为模式"，也就是模型在做题过程中暴露出的某种具体倾向。这份清单是保密的，接下来要评测的那个"出题agent"完全看不到。
真正要评测的agent，拿到的只有原始任务本身和目标模型的答题记录，任务是照着这个样子写一道新题，放进同一个题库里。
写完之后，目标模型会去做这道新题，同样跑6次。第三个角色"裁判"这时候登场，它看的不是新题写得漂不漂亮，而是目标模型做这道新题时的实际表现记录，逐条对照那份保密清单，判断这道新题有没有真的把模型逼到清单上描述的那些决策点上。
这个设计有个挺关键的细节：裁判判断的依据是"模型做题时的行为证据"，而不是"题目表面看起来像不像"。这就好比考试判卷，不是看题目出得漂不漂亮，而是看学生做题的时候真的被这道题考住了没有，卡在了哪个知识点上。如果不这样设计，出题agent很可能会走捷径，写一道看上去很像原题但实际根本没有难度的题，反正裁判也分辨不出来。
三项指标最后要相乘得到最终分数：一个"门槛项"，一个"难度项"，一个"质量项"。
门槛项*：只要犯了八种"一票否决"的错误中的任意一种，这一条任务直接判零分，无论其他方面做得多好。这八种错误包括：验证程序根本不检查答案对不对、答案能不做题直接看出来、题目本身无解、抄袭其他题目、调用了不允许调用的模型、交付的不是恰好一道题、和另一道交付的题重复，以及最关键的一种，"换皮题"，也就是把原题的数字、人名、文件名换一换，但要解决的核心问题完全没变。
难度项*：只有当目标模型在这道新题上的通过率落在12.5%到75%这个区间内，这一项才算1分，否则算0分。通过6次尝试来算，也就是模型得至少做对1次、最多做对4次，才算难度合适。
质量项*：就是前面说的行为模式覆盖率，但不要求全覆盖。论文设定的及格线是覆盖60%的行为模式清单就能拿满分，因为要求一道新题覆盖原题的全部行为特征，几乎等于要求这道新题就是原题的翻版。
三项相乘意味着任何一项是零，总分就是零。这个设计其实挺狠的，一道题哪怕难度完美、覆盖率满分，只要被判定是换皮题，直接清零。这就像考核一个厨师，哪怕这道菜色香味俱全，只要发现是抄别人的菜谱，成绩直接作废，不给部分分。
五个AI agent的出题成绩
论文测了五个当前比较强的AI agent：kimi-k3、gpt-5.6-sol、qwen3.8-max、glm-5.3、deepseek-v4-pro，每个都在默认45分钟的时间预算下，给24道原始任务各出两道新题。
结果是这样的，满分1.0，五个agent的得分分别是0.184、0.177、0.139、0.130、0.097。
没有一个超过0.20。
这个结果稍微出乎意料的地方在哪呢？
按理说，AI理解一段文字记录、总结出行为模式，这应该是它们比较擅长的事。事实也确实如此，那些成功通过筛选的题目，覆盖率大多在70%到97%之间，相当高。真正卡住所有agent的，是难度这一项：只有14.6%到25%的新题，通过率落在了那个合理区间里。
换句话说，AI agent知道该往哪个方向使劲，但下手的分寸完全拿捏不准。
这里面有一个特别典型的矛盾现象。想保留原题那种"让模型答错"的核心难点，最简单的办法就是尽量贴近原题，换个数字换个场景。但贴得越近，就越容易被判定为换皮题，直接清零。deepseek-v4-pro这个agent就是这种矛盾的活生生的例子：它出的题里，通过率落在合理区间的比例是全场最高的25%，但这些题里只有41.7%能躲过换皮题的判定，最后总分反而是五个里最低的。
反过来看qwen3.8-max，它出的题里只有14.6%落在合理难度区间，数量最少，但只要落进区间，几乎全部（100%）都能通过换皮题的检验，质量也很高，达到0.952。这说明它写题时更愿意大幅改动场景，虽然出题效率低，但每一道能过关的题都是真材实料。
这两种失败模式，一个是贴得太近被判抄袭，一个是躲得太远难度失控，恰好是同一个硬币的两面。
更让人意外的是，没有一个agent能在三个领域都表现出色。kimi-k3在商业流程任务上排第一，但在终端任务上却只排第四；qwen3.8-max在商业流程任务上直接得零分，因为没有一道题的难度落在合理区间，但在终端任务上却是第一名；glm-5.3在两个领域都能排进前二，却在科学计算任务上得了零分，唯一一道进入难度区间的题，覆盖率是零。
这说明出题这件事和领域强相关，没有一个万能选手。如果你想用AI批量生产训练数据，恐怕没法只挑一个模型通吃所有领域，得按领域分别挑人。
给更多时间，能不能解决问题
分数这么低，是agent能力真的不够，还是45分钟给得太少？
论文对kimi-k3做了一个对照实验，时间预算从45分钟拉长到180分钟，也就是4倍。结果分数从0.184飙升到了0.541，几乎是原来的3倍。三个领域全部都在涨，而且原本表现最差的终端任务涨幅最大，从0.06涨到了0.44。
更关键的是，多出来的题目并不是靠贴近原题混过去的：换皮题被拦下的比例从90%提升到了100%，也就是说通过检验的题目变得更干净了，不是靠灌水凑数。
这说明什么呢？
时间预算充裕之后，agent能提升的主要是难度校准这一项。因为难度这件事没法靠"想"出来，只能靠实际把目标模型拉过来跑一遍，看通过率落在哪，再根据结果反复调整。这是一个需要反复试错的过程，而不是一次性能想明白的推理任务。
这就好比一个新手厨师第一次炒某道菜，光靠看菜谱脑补，很难判断盐放多少刚刚好。得真正下厨试几次，尝一尝，咸了加水，淡了补盐，才能摸到那个刚刚好的分寸。如果只给他看一遍菜谱就让他一次做对，大概率不是太咸就是太淡。给足够的试错次数，才是解决"分寸感"问题的唯一办法。
不过这里也有个成本问题。多花4倍时间，能拿到大约3倍的合格题目，算下来每一份合格题目的单位成本几乎没变，从每份12.62分钟略降到11.88分钟，钱也差不多。这说明拉长时间预算能扩大产量，但不能提高单件的生产效率。这和工厂加班生产一个道理，人多干得多，但每件产品的成本没有因为规模变大而明显降低。
出一道合格的题，到底要花多少钱
这一部分挺有意思，论文顺手把经济账也算了。
结果发现，得分和成本之间的关系相当微妙。五个agent里，kimi-k3和gpt-5.6-sol的得分只差0.007，几乎打平（0.184对0.177），但每出一道合格题目所花的钱，gpt-5.6-sol是kimi-k3的2.3倍。
时间上的差距其实没那么大，五个agent每次出题花的时间在41.2到48.4分钟之间，相差不到18%。但花的钱却能差出十倍以上。也就是说，时间成本大家都差不多，但token消耗和模型调用的费用天差地别，直接决定了实际使用成本。
deepseek-v4-pro这一行数据要单独说一下，它每份合格交付的成本看起来最低，只要4.81美元，但这是因为它的分母（合格题目数）本身很小，是被换皮题拖累导致大量题目被清零之后剩下的幸存者，这个低成本背后藏着一个"大部分产出都被浪费"的事实，不能简单理解成它最省钱。
这套评测到底揭示了什么
回到最开始那个问题：AI能不能自己给自己出题？
这篇论文给出的答案是：能写出合格的题，但效率太低了。
AI agent确实能读懂一段行为记录，提炼出模型的薄弱环节，甚至能围绕这些环节写出新的任务，这部分能力已经相当不错，覆盖率的数字能说明问题。真正卡住它们的，是那种需要反复试错才能拿捏准的"分寸感"，也就是把任务难度精准地控制在模型"有时候会、有时候不会"的那个窄区间里。这件事目前的AI agent做不好，除非给它足够多的时间去反复试跑和调整。
这也提示了一件更本质的事：出题这件工作，看起来像是文字创作，实际上更像是一门需要反复校准的手艺活，本质上和写代码调参数是一类工作，都得靠实际运行反馈来收敛，而不是靠一次性的聪明推理就能搞定。
Q&A
Q1：AutoDataBench是什么？
A：AutoDataBench是一套用来测试AI agent能否自主写出合格训练任务的评测基准，要求AI在拿到原始任务和目标模型答题记录后，写出一道新任务，再由系统检验这道题是否有效、难度合适、能引出目标模型的相似行为，全程不依赖任何训练过程。
Q2：为什么现有AI agent的出题得分都这么低？
A：主要卡在难度校准上。测试的五个agent里，只有14.6%到25%的新题目通过率落在合理区间，而行为模式覆盖率普遍能到70%以上，说明agent知道该往哪个方向出题，但很难把难度精准控制在模型半懂不懂的那个窄区间里。
Q3：给AI agent更多时间出题，效果会不会更好？
A：会明显变好。论文把kimi-k3的出题时间从45分钟延长到180分钟后，得分从0.184提升到0.541，接近3倍，但每份合格题目的单位成本几乎没变，说明时间换来的是产量提升，而不是效率提升。
