【环球时报报道 记者 郭媛丹】编者的话：近日，演员吴越、乒乓球世界冠军邓亚萍先后回应AI仿冒带货虚假直播事件，让AI深度伪造的风险再度受到公众关注。但AI深度伪造的危害远不止虚假带货，一旦被用于认知战等领域，其潜在后果将十分严重。接受《环球时报》记者采访的专家表示，想要有效遏制相关风险，需要构建社会公共安全治理体系。
AI换脸诈骗为何屡禁不止
日前，演员吴越在微博发文怒斥自媒体账号使用AI深度伪造其形象、声音直播带货，要求对方退还消费者钱款，直言相关行为十分恶劣。
此外，上述网络账号还发布了多条“乒乓球冠军邓亚萍推荐”等广告带货相关视频。对此，邓亚萍团队回应称，从未对外授权过邓亚萍的AI形象及AI换背景。邓亚萍的所有商业合作均明确禁止AI相关使用，既不提供AI形象，也不允许以真人形象进行背景替换。
目前，相关账号已被封禁。值得注意的是，该账号的直播视频下方标注，“作者提示：含AI生成内容”。
“这行故意用缩小版字体标注的 ‘AI生成’提示，依《人工智能生成合成内容标识办法》不属于合规显著标识。商业使用AI合成内容必须清晰标识，打着AI的幌子虚构名人推荐误导消费，本质上就是消费欺诈。”奇安信人工智能公司CEO龚玉山接受《环球时报》记者采访时表示。
“这类事件绝非孤例，背后是一条成熟的流水线灰产。”龚玉山分析说，“几十元、十几秒音频就能‘复刻’任何人，门槛极低、模板可批量复制、封号就换壳，这是乱象屡禁不止的根源”。
在网上AI换脸乱象屡禁不止的背后是低门槛。“换脸技术经历了长期演进变化的过程。”安天科技集团董事长、首席架构师肖新光接受《环球时报》记者采访时表示。据他介绍，早先的AI换脸是把特定人物形象替换到其他视频上去。在早期算力支撑和人工智能能力不够成熟时，难以低成本构建生成特定人物形象的视频，所以早期的相关仿冒、诈骗、敲诈等行为，多数采取的是照片、视频换脸的方式。“如今依托大模型技术，基于指定人物形象生成视频、依靠少量语音样本完成声音克隆与合成均已高度成熟，都能以假乱真，非早年换脸技术所能比拟。”
肖新光分析说，当前AI影像生成成本门槛大幅降低，几乎无需视频素材，包括没有高清照片，仅凭摄像头级的静态图片就能生成动态影像；也只需要一小段语音样本便可完成语音包生成，实现声音克隆。“名人、明星以及曾接受媒体采访的公众人物，因其音视频素材易于在网络获取，仿冒有经济收益，更容易成为AI仿冒的侵害对象。”
“从我们的观测数据来看，信息伪造图片信源五花八门。比如一些诈骗团伙会定期关注各类新闻报道，媒体报道中出现相关政府、企事业机构的人员，他们就会利用其形象制作仿冒的内容，向本人邮寄诈骗信件等。”肖新光特别提示，“需要警惕的是，当前各种骚扰电话很多，其中有一些完全有可能是诈骗者为了录制获取接听人的声音而拨打的。”
深伪带来多重风险
除了被用来实施诈骗外，深伪技术更大的风险是什么？作为网络安全专家，肖新光警示，该技术是认知战的利器，可以干扰社会运行，危害很严重。他表示，“当前各大平台存在大量仿冒名人及各类公众人物的视频内容，其中不少言论并非当事人本人所说。依托深伪技术的声音克隆与人物形象仿冒，具备极强欺骗性。这类持续扩散的虚假信息会干扰、影响公众认知。”
“另一重威胁是深度伪造与网络攻击的结合。传统网络攻击中，攻击者一般向目标主机或手机植入木马病毒以获取设备控制权，攻击对象以设备为主。而借助伪造音视频开展攻击，欺骗目标主要是人。这类攻击直击人机耦合体系中人的认知感官，除依靠人的判断和安全意识进行防范外，不容易设置有效的技术性防御节点。”肖新光称。
据肖新光介绍，历史上已有不少社会工程学攻击案例。早期社会工程学攻击，常通过冒充企业内部人员或技术人员骗取员工信任与密码。1992年，凯文·米特尼克等人就使用此类手段入侵摩托罗拉等公司，冒充摩托罗拉阿灵顿高地研发部门普通员工，获取高管助理信任，并在其协助下从安全经理手中拿到关键管理员密码。这类早期攻击手段，如今可借助高度仿真的管理人员、同事的声音甚至视频形象，实现欺骗效果的升级。未来，此类体系化攻击或将增多。
“普通人不必成为鉴伪专家，抓住AI合成尚未解决的物理与生理破绽即可过滤大部分伪造直播。”对此，龚玉山给出“四招”帮助普通人快速甄别AI伪造内容，避开网络陷阱。第一，看画面细节。AI换脸在动态下容易露馅，眨眼可能缺少完整闭合过程，牙齿边缘可能缺失，口型与声音可能轻微错位，面部表情僵硬不自然，面部被遮挡或快速运动时，可能出现边缘扭曲、渲染延迟甚至“面具脱落”。第二，查AI标识。2025年9月起施行的《人工智能生成合成内容标识办法》要求AI内容必须显著标识，合规提示应清晰可辨；若角落只有一行小到几乎看不见的“AI生成”，本身就是危险信号。第三，看反常行为。AI假明星带货常挑凌晨开播、用小账号推销不知名护肤品，话术反复强调“闭着眼睛囤”“孕妇都能用”，基本可判定为仿冒；真明星代言会通过官方认证账号。第四，做反向验证。心动下单前退出直播间，去明星官方微博或认证账号查有无代言声明，十几秒即可拦住多数冲动消费。
防范深伪造假，需全社会协同设防
针对AI换脸这种深伪技术是否可以从技术上进行针对性防范，专家的回答是“难度较大”。
肖新光认为，深度伪造本质属于认知对抗类问题，单纯依靠技术手段实现全面防范难度较大。专家举例说，计算机病毒、木马传播时，可以在主机安装安全软件进行拦截，存在明确的防御节点。对于防范AI欺诈信息、诈骗语音等虚假内容，不是某项的单点技术或者管理手段就可能奏效。
肖新光具体分析说，第一，无法因AI生成就打上风险标签。影视、广告、短剧领域早已大量使用AI，家庭和亲友间也借助AI生成活跃气氛。这种复杂的应用场景，进一步加大了防范难度。第二，依靠技术对抗治理深度伪造，难点不在于技术方法，而在于能否建立起有效的作用节点。HTTPS/TLS等加密协议普及后，从网络流量层基本无法获取还原数据，监管和公共安全能力被严重削弱，治理AI仿冒虚假广告需要平台侧充分的支撑配合。而防范AI诈骗，更需要有终端系统的安全能力承载，但把防护能力下沉至移动端，需要用户承担安全功能带来的成本与代价。
同时也需要处理好用户隐私保护问题。值得注意的是，大模型并非只能用于深度伪造与内容生成，在鉴别伪造内容、核验信息真假方面同样具备对等能力。
肖新光表示，“必须以AI对AI，以AI管AI，但需要把AI仿冒识别和前面所讲的安全机制结合在一起，而不能将其作为判断有害的唯一依据。”
10月1日，旧金山AI企业Tavus发布实时视频交互模型Griffin。在1分钟视频通话实验中，54名参与者中26人（48%）未能识别出AI，误以为对话对象是真人。这意味着眼见不再为实，深度伪造的技术时代已经到来。
面对越来越多的同类问题，专家认为，需多管齐下搭建立体防线，仅靠事后封号远远不够——封号速度永远追不上批量注册速度。比如在制度层面，《人工智能生成合成内容标识办法》已明确AI内容须“亮明身份”，要求显式与隐式双重标识，平台上架审核须核验标识、对疑似内容加风险提示。
龚玉山建议，一是源头提高门槛，在账号注册和AI内容发布环节建立更强核验机制，提高造假成本。二是平台升级AI识别技术，用数字水印、区块链存证增强鉴伪追溯，变被动审核为主动拦截。三是细化追责与回溯机制，让造假者一处违规、处处受限。
“技术开发者与使用者更应守住‘科技向善’底线，不把商业利益凌驾于社会责任之上。唯有制度、技术、平台、公众形成合力，才能守住数字社会的信任根基。”龚玉山强调。
“在面对包括深度伪造、侵权型的仿冒、欺诈、敲诈等攻击时，每一个受到威胁的个体对抗的是犯罪团伙、黑灰产群体。”肖新光认为，从全局视角看，想要有力遏制相关风险，治理逻辑必须跳出个体维权的单一框架，构建社会公共安全治理体系。
