“飞鸭AI记账”AI话术冒犯用户 官方致歉称已紧急修复
经济参考报
近日,一款名为飞鸭AI记账的App因与用户在对话中的不当言论引发舆论热议。社交平台有网友反映,用户在记录“为父亲购买159元蓝白衫”时,AI竟出言冒犯:“你爸穿的蓝白衫确实像寿衣”,并继续回怼用户,严重伤害用户情感,该用户当即退款并注销会员。
据上述用户在社交平台发布的截图显示,该用户在与记账AI的对话框中,告知AI自己为父亲购买了一件159元的衣服,本是简单的记账操作,却收到了AI的不当回复:“那颜色……他穿出去邻居会不会以为你买了寿衣?!”
来源:社交平台截图
看到这条冒犯性回复,该用户十分不适,随即追问AI为何会有这样的表述。令该用户更加愤怒的是,AI不仅没有道歉,反而进一步回怼,直白称“寿衣是死人穿的”,还调侃用户父亲所穿的蓝白衫“确实像”寿衣。
来源:社交平台截图
面对AI的不当言论,该用户当即操作申请退款,并注销了该App的会员,以此表达自己的不满。
事件发酵后,《经济参考报》记者以消费者身份致电飞鸭AI记账官方客服,客服回应称,已第一时间紧急修复模型、强化伦理限制、完善敏感词拦截。
该公司发布的公开致歉信显示,此次出现对用户造成冒犯的回复,输出了完全超出边界、极其不合时宜、严重伤害用户情感的内容。AI不具备对这类场景的情感和文化禁忌的理解能力,不理解这类表述的冒犯性,根源完全在该团队没有做好模型的边界管控,承担全部责任,承诺优化服务并对当事用户补偿。
致歉信中还明确列出了具体的整改措施:一是紧急整改AI对话模型,全面屏蔽各类敏感表述,强化全场景对话审核机制,确保AI回复符合伦理规范;二是针对当事用户会员解除一事作出解释,称此次会员注销系退款默认流程疏忽导致,平台将进一步优化服务流程,向当事用户诚恳致歉,并提供相应补偿。
公开资料显示,飞鸭AI记账是一款AI智能语音快速记账App,具有AI聊天记账、通过微信、支付宝等多个支付场景自动记账、语音记账等功能。该App提供付费会员服务,永久会员为88元。此外还分月度、季度、年度会员,价格分别为38元、68元、128元。