用 ChatGPT 半小时写成本科论文,“反 ChatGPT”束手无策
2 月 22 日消息,在B站,有 UP 主分享了自己用 ChatGPT 耗时仅仅半个小时写成的本科论文,顺利通过国内某查重网站检查,查重率不到 9%。但是也发现,ChatGPT 所写论文中“言之凿凿”列举出的参考文献居然大多都是“编造”的、根本不存在的文献。
根据国外 Study.com 网站在今年 1 月向 1000 名 18 岁以上学生发起的调查显示,48% 的学生用 ChatGPT 完成小测验,53% 的学生用 ChatGPT 写论文。
ChatGPT 在撰写格式论文、通过专业考试等领域的惊艳表现,让学生们欢呼雀跃的同时,也让高校、研究机构等率先担忧和警惕起来,“反 ChatGPT”在学术圈率先成为一股新趋势。
近日,香港大学向师生发出内部邮件,表明禁止在港大所有课堂、作业和评估中使用 ChatGPT 或其他 AI 工具。如教师怀疑学生使用 ChatGPT 或其他 AI 工具,可要求学生就其作业进行讨论、进行额外口试及考试等措施。
上周,《暨南学报 (哲学社会科学版)》、《天津师范大学学报 (基础教育版)》发布声明,提出暂不接受任何大型语言模型工具 (例如:ChatGPT) 单独或联合署名的文章。
在美国和欧洲,更多高校和学术期刊等对 ChatGPT 的封杀通知出得更早一些。
但是,单纯提出“封杀 ChatGPT”就能杜绝论文抄袭和剽窃了吗?
此前大热的“AI 换脸”应用曾催生出一批“反 AI 换脸”的鉴别工具。现在,鉴别是否 ChatGPT 生成的论文,是否有可行的方法呢?
聚焦在针对合成音视频的鉴别技术研发的瑞莱智慧(RealAI),其副总裁唐家渝向 TechWeb 表示,目前鉴别 ChatGPT 生成物的难点在于,机器与人类撰写的文本差异性特征较少,机器合成文本的结果无论从结构和语义角度都能较好地遵循人类书写的规则,同时一个真人说话的方式也可能是多变的、结构有误的,因此很难单纯从文本本身就鉴别出是否由 ChatGPT 生成。目前,RealAI 针对合成文本的鉴别能力已在建设中,近期会有 demo 推出。
在“反 ChatGPT”的技术流中,数字水印技术一度被热炒。但是数字水印真能用来反 ChatGPT 吗?
数字水印是一种可以用于保护文本、图像、音频和视频等数字内容不受未经授权的复制和分发的技术。数字水印可以将一些隐蔽的标识信息嵌入到数字内容中,这些标识信息通常不会对数字内容本身造成影响,但可以帮助鉴别数字内容的真实来源和版权信息。
人们对用数字水印反 ChatGPT 有两种想象。
一种是,对 ChatGPT 生成的内容打上数字水印,以标明这些内容是 ChatGPT 所写,实现反 ChatGPT。但这需要 ChatGPT 等 AI 内容生成公司的配合,也就是他们愿意这么做。
ChatGPT 的开发商 Open AI 此前曾表示在考虑通过对 AI 系统生成的内容加水印的方法来辅助辨别文本是否出自 AI。不过截止目前并没有看到 Open AI 采取该项行动。
就算 AI 内容生成企业愿意在生成的内容中加入数字水印,但在相关行业专家看来,数字水印只是一个技术手段,不能解决所有的抄袭问题。有些人可能会使用各种方法来删除数字水印,或者通过改变一些单词或句子的顺序来规避数字水印的检测。
AI 生成内容通常是基于大量的训练数据和模型参数生成的。用数字水印反 ChatGPT 的另一种想象是,把内容打上数字水印标明版权身份,避免被 ChatGPT 等 AI 模型用于训练,从而防止被模仿和抄袭。
但是这种想法多少有点一厢情愿。数字水印并不能完全保证内容不会被用于训练模型。一些不法分子可能会使用各种技术手段来尝试删除数字水印,或者通过对文章进行修改来绕过数字水印的检测。此外,一些不道德的人也可能会无视数字水印,盗用版权内容作为训练数据。
目前用于检测文章是否由 AI 生成的工具全球有几款,包括:
OpenAI GPT-3 Playground:由 OpenAI 开发的一个在线应用程序,用于测试和探索人工智能语言模型 GPT-3 的功能。在这个应用程序中,可以输入一些文本,并由 GPT-3 模型自动生成下一句话或者完整的文章。这个应用程序也可以用来测试一篇文章是否是由 GPT-3 等语言模型生成的。
Grover:由 Allen Institute for Artificial Intelligence 开发的一个用于检测虚假新闻和伪造的文章的工具。Grover 可以分析一篇文章的语言风格和结构,并尝试区分由人类和人工智能生成的文章。这个工具还可以识别一些常见的伪造手段和技巧。
AI21 Writer’s Studio:AI21 Labs 开发的一个在线写作工具,可以为用户提供自动建议和编辑服务,帮助他们写出更加流畅和准确的文章。这个工具也可以用于检测一篇文章是否是由人工智能生成的。
Botometer:由 Indiana University 和 University of Southern California 联合开发的一个 Twitter 机器人检测工具。Botometer 可以分析一个 Twitter 账号的活动和行为,判断其是否是由一个真实的用户或者一个自动化机器人管理的。
上述这些工具都可以用于检测一篇文章或论文是否由人工智能生成的,但是需要注意的是,它们都不是百分之百准确的。
因此,在评估一篇文章或论文是否 AI 所写时,最好结合多种方法和技巧,进行综合分析和判断。
以 ChatGPT 为例,唐家渝向 TechWeb 提到,“辩别‘ChatGPT 生成物’一是利用好查重机制和技术,防止 ChatGPT 通过改写、总结等方式生成学术文章;二是从内容本身来说,ChatGPT 目前还不能完全保证学术文章的逻辑严谨、主题一致,可以从语义层面加以辨别。”
另外,从B站 UP 主分享的 ChatGPT 写出的本科论文的情况来看,检查文章的来源和背景,如果这篇论文来自一个未知或者不可信的来源,就需要更加谨慎地对它进行评估了。
关于 ChatGPT 可能引发的论文抄袭现象,前新东方在线 COO 潘欣则认为“这种担忧基本不需要。”“没有 ChatGPT 的时候就没有抄论文、抄作业的了吗?可以信一点就行了,能用技术导致出现的问题,一定可以靠技术 + 行政手段解决掉。”
在学生党看来,用 ChatGPT 写论文,里面数据,论据甚至引用的文献都是瞎编的,建议让 ChatGPT 做些辅助工作就好,比如给论文大纲或大致方向的建议等。
也有学生认为需要自律,“反 ChatGPT 软件陆续上线,算法只会越来越完善,就算现在蒙混过关,但被查出来只是时间问题。”