新浪科技

别被AI的“自信”带偏了

滚动播报 09.04 12:00

(来源:中国航空报)

毛航明

近段时间,两则与AI有关的新闻引人关注。

一是在安徽滁州,67岁的农户吴大爷向AI请教芝麻田除草方法,AI很快给出包含药名、剂量、喷施方法的全套方案。吴大爷按方案全田喷洒,谁知配方里含有严禁用于芝麻田的大豆专用除草剂,导致150亩芝麻和杂草一齐枯死,十几万元投入打了水漂;

二是在浙江杭州,一男子跟老婆吵架后想出门散心,一时没有目标,便请AI推荐。AI详细询问他的性格、身高和体能后推荐了一条户外线路,男子深信不疑直接出发,结果进入海拔1300多米的无人开发区,山高林密,夜间极易迷路或失温。男子不慎摔倒后被困,经过四五个小时救援才脱险。

两则新闻,都是AI提供错误信息导致现实损失。

平台回应称,AI没有独立知识库,生成的内容系整合网络公开信息生成。吴大爷回看时才发现,对话框底部有一行不起眼的小字:“AI生成可能有误,注意核实。”

不少人可能有类似经历:不论多复杂的问题、多生僻的领域,AI回答起来语气总是毫不含糊、胸有成竹,有时还附上参考来源,看上去颇专业。若对相关领域缺乏相应知识储备和判断能力,确实很容易被唬住,不会第一时间起疑。

但正是这种“自信”“专业”的姿态,给AI生成的回答营造出一种权威感,让用户(尤其是缺乏相应专业知识的人群)产生依赖,甚至因虚假和错误信息蒙受现实损失。

AI的“自信”从哪来?

现有的不少AI大模型,本质上是语言概率预测和生成模型,本就擅长模仿语言风格,但缺乏事实核查能力。加之用于训练AI模型的网络信息语料鱼龙混杂,AI学多了,自然可能输出不实信息和偏向性观点。

有研究显示,模型训练环节,人类标注员会下意识给语气更不犹豫的回答打高分,AI捕捉到这一偏好,就在后续优化中将自信的陈述语气编码成更高概率的输出路径,减少“大概”“也许”“感觉”“我不确定”等词汇出现。

如今,伴随AI大模型不断进化,应用领域已从聊天问答拓展至医疗问诊、农技指导、政务服务等真实场景,覆盖海量人群。这意味着AI“自信却易产生幻觉”的特质,可能催生代价更为沉重、后果更难以预判的风险,值得高度警惕。尤其在涉及人身安全、健康或重大利益的高风险领域,当前AI风险提示做得并不到位。

对此,用户应清晰认识AI的局限性,与之对话时紧绷警惕弦,尤其涉及健康、安全、投资、法律等专业决策时。提供这些AI服务的平台也应压实责任,建立更完善的分级风险提示机制,明确清晰告知AI的能力边界和已知缺陷,一旦造成损失,决不能拿“仅供参考”“注意核实”的标注当挡箭牌,必须承担相应法律责任和义务。

(本文摘编自《人民日报海外版》2026年8月31日8版)

加载中...