从高质量数据集到强化学习环境:Agentic AI带给数据行业新机遇
(来源:澎湃新闻)
从年初爆火的OpenClaw,到异军突起的WorkBuddy,再到最近走红的Muse,2026年可以当之无愧称为Agent元年。
人工智能从牙牙学语的婴童,开始学会灵活使用手脚。伴随模型能力的飞升,人们不再满足于对话框内的问答,而是希望人工智能可以理解目标、组织流程、调用工具,自主完成更复杂、更长程的任务。
能够进行推理、规划、行动和反思的Agentic AI(智能体AI)成为人工智能竞争的新赛点。
与此同时,数据作为“哺育”人工智能成长进化的核心养料,其供给范式也将随之改变。
扔掉“奶瓶”的Agentic AI对数据的依赖,正从单纯的训练数据,转向集成了任务、动作、上下文与自动评分器的训练场——RL Environment(强化学习环境)。
一、数据需求悄然生变
AI训练数据的主战场,正在从支撑预训练与监督微调的静态数据集,扩展为强化学习环境。
有三方面证据能够印证这一变化:
第一条:头部企业的采购行为。
AI头部企业的数据采购单位,从此前的“多少小时”“多少条标注”,变成了“多少个环境”。
2025年9月,Anthropic被曝未来一年可能在强化学习环境上投入超10亿美元。
2026年2月,规模最大的第三方数据公司Scale AI推出面向智能体的强化学习环境产品线,并表示其近一半的新项目涉及强化学习环境。
OpenAI为训练其浏览器智能体搭建的标准化训练场“UI Gym”,采购了数百个网站环境,据估算单个网站环境建造成本约2万美元。
第二条:市场规模差距。
由第三方机构收录的28家AI训练数据公司,合计年收入约85亿美元,总估值接近1000亿美元,其中“四小龙”(Scale AI、Surge AI、Mercor、Handshake)占据全行业收入四分之三以上。而全球传统数据标注市场规模中性估算在50亿美元左右,虽然年增速在20%以上,但相较之下,强化学习环境已普遍被视为数据公司机会更大的“第二曲线”。
第三条:制约AI能力的关键变量。
在前沿模型实验室“烧”尽人类所有纸质知识、榨干互联网一切公开数据后,各方角力的焦点正在从“参数规模”“上下文长度”,切换到“长程任务完成率”。而决定这一指标的,正是可训练、可验证、可评分的强化学习环境。环境悄然取代数据量,成为制约AI能力的关键变量。
需要强调的是,数据需求的变化,并不意味着传统数据集失效,也不意味着数据标注行业的消亡,它代表的是数据产品价值重心、质量标准、交付形态的重大升级。
二、什么是强化学习环境
理解强化学习环境,先要理解什么是强化学习(Reinforcement Learning,RL)。
强化学习是一套基于奖励的试错学习方式,让智能体在和环境交互试错中学习时序决策,通过追求最大化的总收益,自主探索出完成目标的最优行为策略。
如果把AI比作学徒,学徒在训练中的每一步动作都能得到状态反馈和奖励信号,他的目标是获得最大化的总体奖励,而不是单步的即时奖励。
强化学习环境就是智能体进行强化学习时,本体之外的所有外部世界。AI是学徒,强化学习环境就是学徒习得某种能力的专项训练场。
通常认为,强化学习环境主要由三部分组成:
一是模型可以采取的动作——包括运行代码、点击按钮、检索、调用工具等。
二是决定这些动作后果的环境上下文——包括文件系统、数据库、浏览器状态、界面等。
三是任务提示+自动评分器——判断这次尝试是否成功。
强化学习环境与传统数据集的主要区别在于:
数据集好比是一本辅导书,写满带答案的例题,模型读完之后,调整自己的参数。
强化学习环境则是一套试卷,模型在其中行动,然后状态改变、评分器检查结果、奖励返回,再然后模型朝着得分方向调整,再试一次。
更重要的是,环境天然具有折旧的商业属性。一旦你把某套试卷刷到次次满分,这套试卷没法再告诉你哪里还需要改进(梯度趋零),它就失去了训练价值。要想继续提升能力,就必须换套更难的试卷。
这意味着强化学习环境并非银货两讫的一锤子买卖,而是一件持续性很强的耗材生意。从一次性交付变成持续性消耗,这恰恰是环境有别于数据集,而更具估值优势的商业模式。
三、供给侧变局:先行者在做什么
目前,强化学习环境的供给侧主要分为四个层次:
第一类是专家数据持有者。依靠“专家网络”这一传统数据标注时代积累的核心资产,占据行业顶端,具备成规模的环境交付能力。比如:Surge AI有约5万名合约专家,Handshake更是号称拥有50万名博士的专家池。
第二类是环境原生创业公司。相比前一类守成者,他们缺少规模化的专家资产,但能够更加灵活地选择更复杂更聚焦的细分领域开辟全新赛道,为垂直智能体提供定制化环境。比如Mechanize就专注于少量高复杂环境,并为工程师开出50万美元的年薪。
第三类是开放Hub。通常提供标准化的社区环境,比如Prime Intellect就被业界称为“强化学习环境的HuggingFace”,借助开放性优势,目前已收录2500+社区环境。
第四类正是甲方实验室。几乎每家前沿实验室都在自建私有的强化学习环境,并以此为壁垒。小米是少数例外之一,最近它在HuggingFace上开源了7780个强化学习环境,而且包括完整的训练沙箱。
国外最有代表性的企业还是“四小龙”。
Scale AI是传统数据企业转型的代表,被Meta收编后,2026年推出Scale RL Environments,企业级AI应用年化收入已达2亿美元,预计18个月内反超传统数据标注业务。
Surge AI主要做高难度RLHF(基于人类反馈的强化学习)与安全评估,客户集中于顶级实验室,年收入已超过30亿美元,基于对数据质量的苛求,获得客户深度信任。
Mercor,作为一家从招聘业务转向数据服务的企业,选择通过收购快速横向扩张,2026年7月拿下软件模拟公司Deeptune,以补齐自然专家网络尚不具备的环境建造能力。
Handshake,这家从大学生招聘平台转型而来的数据企业,2026年1月通过收购AI研究机构Cleanlab进入评测与强化学习环境业务。
不难看出,随着强化学习环境的兴起,数据价值重心正在向更靠近模型研发的一侧迁移。
在国内,一方面专家数据平台正在迅速崛起。
2026年9月,Humanlaya(原壤智能)完成数亿元Pre-A轮融资,旗下Talents-AI专家平台已聚集超过10万名专家,覆盖投资并购、法律、临床医学、合成生物、基础科学、工业工程等领域,国内多数主要模型公司均为其客户,已发布OneMillion-Bench、BiominiBench、ExcelBench等多项评测集,商业模式近似Surge AI。
另一家UniPat(北京)由前阿里强化学习基础设施成员创办,投前估值约25亿美元。
另一方面,海天瑞声、数据堂、本原智数等传统数据商也在从语音、图像、自动驾驶标注,延伸到指令微调、模型评测和智能体数据,现阶段以项目制交付为主。
结语
其实早在2026年6月,国家数据局发布《关于推进行业高质量数据集建设行动的实施方案》,就为这一步预留了多处接口——赋能强化学习各阶段;复杂任务规划、长程推理、人机交互、决策执行等数据集;面向世界模型等前沿方向;专家深度参与;AI-Ready;发展“订阅模式”“商场模式”“定制模式”等多元服务形态,推动商业模式从基础数据包销售向API调用、模型化解决方案及全栈服务梯次跃升;探索词元交易等新型交易模式等。
如今趋势已经明朗,AI数据需求加快从支撑预训练与监督微调的静态数据集,转向强化学习环境。主管部门统筹指导高质量数据集建设的成果清单中,应及时增加强化学习环境这一类交付物,而不是只统计数据集数量与体量。建设指标体系需补充可交互性、可验证性、复位质量、抗作弊强度等维度。对同一个行业领域,数据集与强化学习环境应当是配套关系,数据集提供知识与冷启动示范,强化学习环境提供长程能力的训练场地。高质量数据集交易之外,应同步探索强化学习环境的订阅模式、定制模式,以及以词元为基础的定价机制。
(作者陶鹤山为智能经济工作者,从事人工智能领域政策规划)
来源:陶鹤山