提示词隐晦就可能绕过限制 多款AI应用存在涉黄生成漏洞
环球网
本文转自【央视财经】;
如今,生成式AI广泛应用,迭代迅速,给生活带来了不小的改变。技术普及大幅降低了生成式AI的使用门槛,从AI视频生成到AI聊天陪伴,丰富大众生活的同时,个别商家也以此为牟利工具,背弃技术伦理与法律底线,借生成式AI大模型,行违法“造黄”之举,污染网络空间、败坏社会风气。
根据消费者举报线索,总台《财经调查》记者在多个互联网平台上进行了检索。在测评过程中,记者发现,如果输入的提示词表述较为“露骨”,多数AI应用会触发审核机制并拒绝生成内容。然而,这条防线却很脆弱。只要将提示词修改得更加隐晦,便有可能绕过限制。
在一款名为哩布哩布AI的AI应用里,记者输入在网上购买的提示词后,仅仅几分钟,这个AI平台就生成了一个半裸身体的女性跳舞视频。在整个生成过程中,没有触发平台任何限制机制,违规视频顺利生成。同样的问题也出现在市场上其他常见的AI应用平台上。
此外,根据消费者举报的信息,记者找到了网络上一款AI照片生成器。这款软件号称“免下载,快速生成,图片、视频换脸”,购买者可以根据充值金额的不同,通过AI技术一键快速替换原片,生成虚构的色情照片,只要购买者愿意付费,这个软件就可以通过一张图片,生成全裸照片和色情视频。