如何判断论文是否由AI撰写?欧洲研究人员找到新规律
财联社7月3日讯(编辑 史正丞)在如今AI聊天机器人触手可及的背景下,科技变革对学术论文撰写产生了何种影响?
本周发布在《科学》期刊上的一篇研究给出了新鲜的见解:AI机器人对某些词汇有着强烈的偏好,且使用频率远高于人类,可以通过这种特点来寻找“AI代笔论文”的痕迹。
这篇由德国蒂宾根大学研究人员提交的论文指出,找到了一种追踪研究人员使用人工智能聊天机器人撰写论文摘要频率的方法。他们发现,AI工具倾向于过度使用一些特定词汇,例如“深入探讨”(delves)、“至关重要”(crucial)等,使用频率远超人类作者。
(2021-2024年部分词汇在医学论文摘要中出现的频率变化)
该团队分析了2010年至2024年间发表的1500万篇生物医学论文摘要的用词特征,从而发现某些词汇在2022年底ChatGPT问世后,使用频率出现明显激增。研究人员解读称,部分词汇在ChatGPT问世前并不常见,所以他们认为这种用词变化是“AI写论文”的明显迹象。
这篇研究也进一步归纳称,2024年总共有454个词汇被标记为“AI过度使用词”。根据这些AI偏好词的出现频率,至少有13.5%的生物医学摘要疑似借助了聊天机器人完成。而在某些特定作者投稿至低筛选标准的期刊中,AI生成比例甚至高达40%。
论文的第一作者,蒂宾根大学Hertie人工智能研究所数据科学系的课题组负责人Dmitry Kobak博士表示,看到如此多的论文摘要——通常是大多数人唯一阅读的成果总结,使用AI生成,着实令人感到惊讶。他感叹称:“像论文摘要这么重要的内容,你不应该那么做。”
随着AI能力的精进,在学术研究领域使用AI已经不是难以启齿的禁忌,但部分研究人员仍然对论文显露出“AI痕迹”感到警惕。
亚利桑那州立大学计算机科学教授Subbarao Kambhampati表示,一些科学家为了避免被怀疑使用AI,已经变得刻意避免使用“深入探讨”等AI偏好词。
当然,这也与部分粗心的科学家把AI回复直接贴进不指望任何人阅读的论文,然后在学术圈“一夜成名”有关。Kambhampati举例称,在某个放射学期刊上,一篇报告中赫然写道:“非常抱歉,我无法获取实时信息或患者特定数据,因为我是一个人工智能语言模型。”