新浪财经 股票

智库论见丨构建风险化解型词元质量评价框架

市场资讯 10.27 08:57

(来源:中国经济时报)

■陈波

2026年9月,北京市经济和信息化局、北京市发展和改革委员会联合印发《北京市加快词元经济发展的行动方案(2026—2028年)》,这是全国首个省级词元经济专项政策。方案明确提出建立词元质量评测体系,支持建设词元测试平台。自2025年以来,人工智能领域的标准化底座也在加速成型,为词元质量评测提供了必要基础,例如GB/T 45288.1—45288.3《人工智能大模型》系列标准、GB/T 45907《人工智能服务能力成熟度评估》标准、GB/Z 242《人工智能智能体技术要求》规范,以及高质量数据集质量评测相关标准,都是与词元质量评价密切相关的基础性标准规范。

词元经济要健康发展,不能只计量“产了多少词元”,更要评价“词元质量如何”。现有的标准和政策,也多聚焦于模型能力、服务成熟度、智能体技术等单点维度。2026年6月,笔者在《中国经济时报》发表《加快构建词元质量评价标准体系》一文,提出构建词元质量“能力、底线、价值”三维评价框架。这种方法在理论上具有合理性,但缺乏可操作性和操作标准。结合当前数据产业、大模型、智能体等各方面的发展情况,本文构建了“基于风险化解能力”的新的词元质量评价框架体系,这个体系把数据质量、模型质量、智能体质量和场景融合质量作为词元质量评价的四个基石,把“综合性风险化解能力”作为“词元质量好不好”的核心考量因素,对词元质量评价框架体系在理论思考层面进行了深化和升级。

为什么要从三维走向四维

前文提出的“能力、底线、价值”三维框架,提供了一个理解词元质量的理论视角。能力回答“能不能”,底线回答“安不安全”,价值回答“有没有用”。这个框架的优点在于简洁、全面,但也存在一个结构性不足:三个维度之间的关系不够清晰,特别是“能力”维度过于笼统,既包含数据层面的能力,也包含模型层面的能力,还包含应用层面的能力。在实际评价中,一个服务商可能在数据治理上很强,但在模型适配上有短板,三维框架难以精确刻画这种差异。

更重要的是,三维框架没有明确回答一个问题:词元质量评价到底是为了什么?如果只是为了给词元打一个分,那它只是一个技术指标;但如果是为了帮助使用者作出更好选择,帮助服务商证明自己的价值,那就需要一个更具体的评价指向。

基于当前使用人工智能的现状,本文认为,这个指向应该是“风险化解能力”。原因有三。

第一,企业引入AI服务的根本动机不是“拥有词元”,而是“解决问题”。解决问题意味着不仅是给出答案,而且这个答案让人放心,也就是要降低不确定性,例如数据是否可靠、模型是否会出错、智能体是否会失控、流程是否能兜底。这些本质上都是风险问题。

第二,词元质量的高低,最终要通过服务效果来检验。而服务效果的衡量,在大多数企业场景中,特别是生产企业中,主要体现在风险控制上,例如漏检率、误报率、错误率、合规率等。如果在关键任务上不能很好地控制风险,词元质量无从谈起,它的价值也就是负的。

第三,风险化解能力是可验证的。与抽象的“质量好”不同,风险化解能力可以通过过程证据和结果指标来检验。例如,事前可以看数据是否有授权、模型是否经过测试、智能体是否有控制机制、流程是否有闸门;事后可以对比错误率。这使得评价更加客观且可验证。

因此,本文在三维框架的基础上,将“能力”维度拆解为四个子维度:数据质量、模型质量、智能体质量、场景融合质量。这四个维度分别对应AI服务价值链上的四个关键方面,它们共同撑起风险化解能力的评价。底线和价值维度仍然保留,但它们不再是并列的关系,而是渗透在四维之中,这既是能力的体现,也是底线的要求;而价值的实现,则是四维质量共同作用的结果。

四维框架的内涵与逻辑

(一)数据质量:词元质量的起点

数据质量是词元质量的基础。没有可靠的数据,后续的所有环节都难以建立可信性。数据质量评价关注四个方面。

一是来源合法性与授权清晰性。词元所依赖的数据是否有明确的来源登记?是否经过了必要的授权?授权范围是否与使用场景匹配?这是数据质量的第一道门槛,也是底线要求的直接体现。

二是数据准确性与一致性。基础模型的训练数据,定制模型的微调数据,以及企业知识库和个人贡献知识库等的准确性如何、一致性如何?是否存在系统性偏差?这些问题直接影响模型输出的可靠性。

三是数据版本管理与可追溯性。数据是否建立了版本管理制度?每一次更新的内容、时间和责任人是否可以追溯?这对于后续的问题定位和责任划分至关重要。

四是数据安全与隐私保护。敏感数据是否经过了脱敏处理?访问控制是否到位?数据泄露的风险是否得到了有效管理?

数据质量的评价,是为了清楚掌握数据实际情况,确保数据的风险在可控范围内。数据质量做得好的服务商,能够清楚地告诉客户“数据从哪里来、经过哪些处理、有哪些已知局限”。这种透明度本身就是风险化解能力的体现。

(二)模型质量:词元质量的核心

模型质量是词元质量的核心环节。模型的选择、适配和部署方式,直接决定了词元的生成质量和风险水平。模型质量评价关注四个方面。

一是模型选择的任务适配性。是否根据具体任务而非模型参数大小来选择模型?是否考虑了任务的复杂度、实时性要求和成本约束?一个常见的误区是追求参数大的通用模型,但很多企业任务用轻量化模型,或者是专门定制的小模型即可高效完成,词元消耗少且风险更低。

二是模型能力的可验证性。模型在目标任务上的表现是否经过了独立测试?测试数据集是否具有代表性?测试结果是否公开透明?服务商是否提供模型在典型场景下的性能基线?

三是模型版本的边界与缺陷披露。模型是否有明确的适用边界声明?已知的缺陷和局限性是否被如实告知?版本更新是否记录了变更内容和影响评估?

四是模型安全与鲁棒性。模型对抗攻击的防御能力如何?在输入分布偏移时的表现是否稳定?是否存在已知的安全漏洞?

模型质量的评价,核心是回答一个问题:这个模型在多大程度上值得信赖?服务商不是要证明模型永远不会犯错,而是要证明模型的能力边界是清晰的,并且在边界内是可以信赖的。

(三)智能体质量:词元质量的控制枢纽

随着AI应用从简单的问答走向复杂的任务执行,智能体成为词元质量的关键控制枢纽。智能体负责理解用户意图、规划任务步骤、调用工具、处理异常、决定何时需要人工介入。智能体质量评价关注四个方面。

一是目标理解与任务分解能力。智能体是否能够准确理解用户的真实意图?是否能够将复杂任务合理地分解为可执行的子任务?是否存在误解指令或过度解读的风险?

二是工具调用与权限控制。智能体调用了哪些外部工具?每次调用的目的是否合理?调用权限是否受到控制?是否存在越权调用的风险?

三是异常处理与人工接管机制。当智能体遇到无法处理的异常情况时,是否有明确的降级策略?是否能够及时请求人工介入?人工接管的流程是否顺畅?

四是行为可追溯性。智能体的每一步决策是否被记录?决策的依据是什么?是否可以回溯分析?这对于事后审计和责任划分至关重要。

智能体质量的评价,本质上是对“自主性风险”的评价。智能体越强大,自主性越高,潜在的风险也就越大。因此,智能体质量评价的重点不是智能体有多聪明,而是它在多大程度上是可控的。

(四)场景融合质量:词元质量的最终检验

场景融合质量是四维框架中最高层次的维度,也是前三个维度发挥作用的前提。一个服务商可能有很好的数据、很强的模型、很聪明的智能体,但如果不能将这些能力有效地融入企业的具体业务流程,最终的服务质量仍然无法保证。场景融合质量评价关注四个方面。

一是业务流程的适配程度。AI服务是否与企业的现有业务流程无缝对接?是否需要企业大幅改变工作方式?对接过程中是否存在信息丢失或失真?

二是质量闸门的设置。关键输出是否经过事实核验、规则校验、权限审批和人工复核?闸门的触发条件和升级机制是否合理?

三是验收标准的明确性。服务的验收标准是否在事前与客户达成一致?验收指标是否可量化、可验证?验收过程是否有双方确认的记录?

四是持续运营与改进机制。服务上线后,是否有持续的监控和反馈机制?发现问题的响应速度和处理流程如何?改进措施是否被记录和追踪?

场景融合质量的评价,就是看这套AI服务在实际业务中真的能用、好用、可靠吗?

(五)四维之间的内在逻辑

四个维度不是孤立的,而是构成了一个层层递进、相互支撑的结构。数据质量是地基,没有可靠的数据,后续一切无从谈起。模型质量是支柱,决定了词元生成的上限。智能体质量是控制系统,决定了风险能否被及时发现和处置。场景融合质量是屋顶,决定了前三个维度的能力能否在实际业务中兑现。任何一个维度的缺陷,都可能成为整个服务风险的突破口。因此,四维评价不是给四个分数然后取平均值,而是要识别出最薄弱的环节——因为那才是真正的风险所在。

风险化解能力的理论意义及实践意义

(一)什么是风险化解能力

本文给出的定义是:风险化解能力是指某项AI应用服务,通过系统性的数据治理、模型适配、智能体控制和场景融合,识别、评估、降低和控制AI服务过程中的各类风险,并将风险控制在可接受范围内的能力。

这一定义包含四个要素。第一,风险化解是系统性的,不是零散的修补,而是贯穿服务全过程的设计。第二,风险化解覆盖四类风险:数据风险(来源不明、授权不清、质量低下)、模型风险(能力不足、适配不当、版本失控)、智能体风险(目标偏离、工具滥用、异常失序)、融合风险(流程断裂、闸门缺失、验收模糊)。第三,风险化解的目标是将风险控制在可接受范围内,而不是追求零风险——零风险在AI服务中是不现实的。第四,风险化解能力是可验证的,通过过程证据和结果指标来判断。

(二)风险化解能力的理论意义

将风险化解能力确立为词元质量评价的核心指向,在理论上至少有三个方面的意义。

第一,它为词元质量评价找到了一个具体的、可操作的锚点。在没有这个锚点之前,词元质量评价容易陷入泛泛而谈——“质量好”是什么意思?不同的人有不同的理解。风险化解能力给出了一个明确的回答:质量好的词元,是那些能够帮助服务使用者降低风险的词元。这个回答虽然不能覆盖词元价值的全部,但它提供了一个坚实的起点。

第二,它将四维框架串联成一个有机的整体。如果没有风险化解能力这个核心指向,数据质量、模型质量、智能体质量、场景融合质量就容易变成四个孤立的评价维度,彼此之间缺乏联系。风险化解能力像一条主线,分别从输入风险、生成风险、控制风险、落地风险降低词元服务的风险及服务使用者的使用风险。

第三,它打通了从评价到改进的闭环。风险化解能力不仅是一个评价概念,也是一个改进概念。当一个服务商知道自己的风险化解能力在哪方面存在短板时,它就有了明确的改进方向;当某项词元服务在哪方面存在风险点时,也就有了明确的弥补方案。

(三)风险化解能力的实践意义

风险化解能力不仅在理论上是四维框架的核心指向,在实践中也具有多重意义。并且,风险化解能力评价有两种基本用途。一是他评,用于服务商向采购方证明能力;二是自评,用于服务商或企业自我诊断、发现短板。两种用途共用同一套框架,相互促进。

对服务商而言,风险化解能力提供了差异化竞争的依据。在词元数量定价模式下,服务商只能比拼价格和产量,高质量的服务商难以脱颖而出。而风险化解能力评价让服务商有机会证明自己的独特价值。对于风险敏感型客户——如金融、医疗、制造等行业的企业——这种差异化优势尤为重要。服务商还可以通过自评发现自身短板,有针对性地进行改进,从而不断提升竞争力。

对采购方而言,风险化解能力降低了筛选成本。在没有评价框架的情况下,采购方只能凭借品牌声誉、试用体验来选择服务商,信息不对称严重。有了风险化解能力评价框架,采购方可以对照四维框架逐项考察服务商的能力,这使得采购决策从“凭感觉”走向“凭证据”。

对管理者而言,风险化解能力提供了产业治理的新思路。管理者不必直接干预市场定价或指定服务商,而是通过提供共同语言、测试验证平台、争议处理机制等公共基础设施,引导市场朝高质量方向发展。

对行业生态而言,风险化解能力评价有助于形成良性竞争环境。当评价标准公开透明、评价结果可以被市场验证时,低质服务商将越来越难以生存,高质量服务商将获得更大的市场份额。这种优胜劣汰的机制,最终受益的是整个行业和所有的服务使用者。

从三维框架到四维框架、从“能力、底线、价值”到“数据、模型、智能体、场景融合”、从一般性质量描述到风险化解能力的可验证判断,词元质量评价正在经历一次重要的理论深化。风险化解能力作为四维框架的核心指向,赋予了词元质量评价一个明确的目标:评价不是为了打分,而是为了让服务使用者更放心、让服务商更有方向、让管理者更有依据。

当然,这个框架还不是终点。评价指标的具体化、不同场景下风险等级的划分方法、评价结果与定价机制的衔接方式、评价标准的动态更新机制等问题,都需要在产业实践中不断探索和完善。本文提出一个供讨论的方向,希望词元质量评价从模糊判断走向可验证的体系,并且希望词元质量评价成为“人工智能+”时代一项重要的产业基础设施。

(作者单位:中国经济时报社)

总 监 制丨杨玉洋车海刚

监 制丨陈 波 刘卫民

审 核丨周子勋发 布丨蒋 帅

加载中...