360儿童手表“胡说八道”,瞄准未成年人赛道的AI+硬件有哪些隐患?丨AI数据合规
21世纪经济报道记者肖潇 北京报道
近日,360儿童手表成为关注焦点,起因是有网友发现360一款儿童手表的“语音问答”功能存在争议。网友在视频中提问:“中国人是世界上最聪明的人吗?”,儿童手表回答:“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸,从外表上显得脑袋在所有人种里最大。”
8月22日和24日,360集团创始人、董事长周鸿祎对此公开道歉,并给出了明确原因和调整措施。
周鸿祎解释,这款出问题的手表属于2022年5月份的旧版本,并没有装入公司的生成式AI大模型,回答内容来自抓取的网页公开信息。公司目前已经进行了整改,将在未来的两周将软件陆续升级。
“我们在儿童手表里面,比较注重的是过滤黄色的(信息),但是对于这种开放性的关于价值观的问题,可能注意得不够。所以这几天我们已经在技术上在做快速的处理。”周鸿祎说。
视频中,周鸿祎还用360儿童手表A9展示了处理后的实时测试。该手表是目前360旗下版本最新的一款,以接入360智脑大模型为卖点。同样使用“语音问答”功能,对于多个类似的开放性问题,比如“是中国的月亮圆还是美国的月亮圆”,更新后的产品给予了更加中性的回答。
“语音问答”是相当受儿童欢迎的一项功能。公开资料显示,360儿童手表的“语音问答”功能日均使用率达78%,对话时长超过15分钟,寒暑假等节假日儿童每天甚至可以使用30分钟以上。
但产品升级之后,就不会出现类似问题吗?周鸿祎给予了否定回答。他说,今天的人工智能被称为生成式AI,“全世界公认的一个难题就是会产生幻觉,这是大模型的特性。”公司正在试图用和搜索内容交叉核实的方式,减少出现幻觉的概率。
在“AI+硬件”今年掀起声浪的大趋势下,已经有多个大厂产品加码学习大模型,并瞄准未成年人受众。360面临的问题,很可能是这些大厂未来共同的考题。
比如,率先在国内布局硬件的百度,在去年5月发布了小度青禾学习手机,搭载小度灵机大模型,包含 AI 拍照讲题、作文辅导、口语练习。今年5月最新发布了小度学习机Z30,首次接入了百度文心大模型,市面价格在5999~6999元之间;
美团也开发了能嵌入穿戴设备的AI语音应用“俏鱼乐伴”,主要是给12岁以下的儿童提供娱乐陪伴,最近已落地在小天才Z10手表中;
此外,在今年5月的一场行业大会上,字节跳动旗下的豆包AI业务展示了三款硬件合作产品,其中包括一款学习机器人和一款学习机。
多家证券商曾分析火热背后的原因,可穿戴设备每多增加一个传感器——比如运动、生物、环境,获取的用户数据就越多,AI就能多创建新的应用场景。耳机、智能手表、智能眼镜这三大主流硬件产品,基本都已经搭载上了AI技术。
两组数据可以说明市场需求的可观:IDC最新发布的《中国可穿戴设备市场季度跟踪报告》显示,在智能手表市场,2024年第一季度出货量910万台,同比增长54.1%。其中儿童智能手表出货量404万台,同比增长44.4%;而中国产业研究院针对儿童智能手表行业的报告显示,在国内5岁到12岁的儿童群体中,智能手表的市场普及率大约30%,也就是每3个孩子中就有一个人有智能手表。
但另一方面,与可观的市场热情比起来,面向未成年人的AI安全规范尚且贫乏。
目前对于儿童手表,国内的统一监管规范只有去年12月,中国网络安全产业联盟发布的一份《儿童智能手表个人信息和权益保护指南》(简称《指南》)。《指南》重点在儿童个人信息安全、隐私保护、监护人控制三大方面,对AI的关注较少。
不过,《指南》在最后一章节《算法和人工智能应用》提到:儿童智能手表售卖前对算法模型进行科技伦理审查,要重点审查对儿童行为习惯、身心健康的直接或间接影响。
如果使用了生成式AI技术,《指南》认为除了需要按照《生成式人工智能服务管理暂行办法》管理,还要限制单日对话次数和对话时长,过滤儿童不良内容,不使用与儿童实时交互的数据用于模型训练。
目前《指南》还在征求意见阶段。浙江垦丁律师事务所人工智能法律研究部负责人程念告诉21记者,《生成式人工智能服务管理暂行办法》的确没有直接针对儿童或未成年人的产品,作出特殊规定,但其基本原则也适用于这些用户群体,比如坚持社会主义核心价值。
程念的建议是,当大模型面向未成年人用户,应当注意内容过滤。国家标准《未成年人互联网不健康内容分类与代码》对未成年人互联网受众的内容资源进行了不健康程度的划分,包括“禁止、有危害、需提示”的三类程度,提到了危害国家安全、自卑厌世、不良饮食等内容问题。程念表示,针对未成年人的内容输出可以参考其中涉及的内容分类,尤其注意对训练数据进行分类标注。
此外,程念还建议,当AI面向儿童和未成年人受众,应当建立有效的用户反馈渠道,确保能适应不断变化的市场需求。