专栏名称: 北京师范大学图书馆
发布图书馆信息,提供咨询服务
目录
相关文章推荐
楼主说楼市  ·  曾经以为在做梦,现在真的来了 ·  11 小时前  
楼主说楼市  ·  曾经以为在做梦,现在真的来了 ·  11 小时前  
李楠或kkk  ·  elon musk ... ·  昨天  
十点人物志  ·  拍下5000栋千禧年老楼:站在世纪末,憧憬一 ... ·  2 天前  
十点人物志  ·  拍下5000栋千禧年老楼:站在世纪末,憧憬一 ... ·  2 天前  
股妖姬  ·  数据合成崛起,Grok-3核心受益个股梳理 ·  3 天前  
股妖姬  ·  数据合成崛起,Grok-3核心受益个股梳理 ·  3 天前  
51好读  ›  专栏  ›  北京师范大学图书馆

使用AI工具真会影响考试成绩?|《世界教育动态》2024年第24期先睹为快!

北京师范大学图书馆  · 公众号  ·  · 2025-01-08 10:50

正文


AI工具真会影响考试成绩?

德国和加拿大的研究人员使用生成式人工智能(简称GenAI)检测系统对学生作文进行分析,以识别GenAI使用者。结果表明,使用GenAI的学生在考试中成绩平均低6.7分(满分100分)。这一负面影响在学习潜力较高的学生中尤为明显。

德国不来梅大学商业研究和经济学院的雅尼克·奥莱·韦克斯和约翰内斯·福沙尔,与合著者本尼迪克特·J·普拉特和约亨·齐默尔曼一起进行了这项研究。他们发现,当前GenAI的使用妨碍了学生的学习。

他们在一篇研究文章《生成式人工智能的使用与考试成绩》中指出:“我们的研究结果为关于是否将GenAI纳入高等教育的持续辩论提供了重要的实证证据,并强调了教育工作者、教育机构和政策制定者必须谨慎考虑GenAI对学生表现的影响。”1此文章于11月18日发布在ArXiv开放获取平台上。

他们表示:“我们填补了一个重要的研究空白,因为到目前为止,GenAI的使用对考试成绩的影响尚未被充分研究,但这一问题对于讨论如何使教育适应GenAI时代却至关重要。聚焦于考试成绩,提供了一种衡量GenAI对每个学生学习的具体影响的标准,这能够全面反映GenAI对学生表现的影响。”




GenAI的使用如何妨碍学习进步


该研究的主要作者雅尼克·奥莱·韦克斯表示,这项研究最重要的发现是,像ChatGPT这样的生成式人工智能工具可能会对学生的考试成绩产生负面影响。 韦克斯指出,“该研究强调,虽然这些工具前景广阔,但它们可能会妨碍学习。因为它们鼓励走捷径,这让学习看起来更容易,但实际上却阻碍了学生深入理解和学习的过程。使用GenAI进行论文写作,学生可能会绕过理解、分析和总结等重要的认知过程。在考试复习时使用GenAI也可能会出现类似的情况。”




研究及其结果

这项研究以2023至2024年冬季学期在德国一所大学修读财务会计入门课程的商业、经济学和管理学专业学生为样本,进行了广泛的调查。该研究通过保留学生整个学期的案例研究论文,并在期末考试后使用ZeroGPT(一种流行且常用的在线GenAI检测工具)对论文的GenAI使用情况进行处理和分析,从而获得了数据。

在案例研究中,学生们深入学习课程材料并撰写论文。随后,研究者从考试中心办公室获得学生期末考试的成绩,用以评估GenAI的使用对学生考试成绩的影响。

结果表明,在期末考试中,使用GenAI的学生得分比未使用GenAI的学生低6.71分(满分100分),这一差距相当显著,因为学生的平均得分为45.39分。因此, GenAI使用者的平均得分比未使用者低大约15%。 研究人员写道:“鉴于及格分数线为41分,GenAI的使用可能会使学生的考试成绩倾向于不及格——至少从统计角度来看是这样。以上实证证据清楚地表明了使用GenAI会对考试成绩产生负面影响。”

该研究还进行了一系列稳健性检验,以确保结果的可靠性和有效性。即使使用其他人工智能检测工具,研究结果依然是稳健的。

GenAI使用者和未使用者之间的对比表明,GenAI使用者的A等成绩较低,且尝试次数更多。学术准备情况或经验可能会同时影响考试成绩和GenAI的使用。

研究者在文章中指出:“我们可以得出结论,GenAI的使用对考试成绩的影响因学生先前的学业成绩、认知能力以及在学期中的参与程度而异。 使用GenAI对学业成绩较好、参与度较高的学生造成了负面影响。这证实了GenAI阻碍学习的机制,因为那些本来能够很好地理解学习材料的学生,由于失去了深入参与课程内容的机会而受到了特别大的影响。 如果与其他具备良好前提条件、自己准备并撰写论文的学生进行组内比较时,过度依赖GenAI的劣势就更加明显了。”

研究者表示,尽管研究结果可能缺乏普遍性,因为该研究仅限于德国一所大学的财务会计课程,但“该课程的几个特点表明这些结果具有更广泛的适用性”。他们指出,“作为一门跨学科课程,它包括来自商业、经济学、工程学和计算机科学等多个领域的学生。我们的样本还涵盖了处于不同学业阶段的学生,从大一新生到临近毕业的学生。”此外,该课程的形式也是欧洲许多大学的典型课程设置。



重要启示

谈及这项研究给高等教育政策制定者和决策者带来的重要启示时,韦克斯表示,研究者并不主张全面禁止使用GenAI,“与许多革命性的信息系统一样,GenAI既有积极的一面,也有消极的一面。 这项研究中的负面结果可能更多地表明,高等教育尚未充分利用GenAI的全部潜力。”

韦克斯呼吁学生在使用GenAI进行学习时采用“谨慎的方法”。“虽然GenAI可能会给学习和参与带来好处,但学生实际使用它的方式与考试成绩的下降有关。因此,学生应该意识到其潜在的负面影响, 并考虑将GenAI作为一种辅助工具,而不是用以解决复杂课题的主要资源。”

韦克斯表示:“教育机构应指导教育工作者如何教授学生正确使用GenAI,并制定政策减少其负面影响,同时放大其积极效果。” 禁止使用GenAI并非切实可行的解决方案。“学生不可避免地会在大学环境之外接触到GenAI,因此他们必须学会如何有效地使用它,而不是仅仅局限于不使用它。”

韦克斯指出:“高等教育政策制定者在防范GenAI对学习的负面影响时,可能面临的主要挑战是调整课程设置以减轻这些潜在的负面影响。”为应对这一挑战,他补充道:“教育工作者应设计能够促进深度学习和批判性思维的任务和材料,如课堂讨论、手写作业以及需要积极参与的活动。然而,与传统教学方法相比,这些策略往往要求教育工作者承担更大的工作量。”

注释:

1. Janik Ole Wecks, Johannes Voshaar, Benedikt Jost Plate, Jochen Zimmermann. Generative AI Usage and Exam Performance [EB/OL]. [2024-12-25].https://doi.org/10.48550/arXiv.2404.19699

END

信息来源

信息来源:世界大学新闻(University World News)

Wagdy Sawahel. GenAI impedes student learning, hitting exam performance [EB/OL]. (2024-12-12)[2024-12-25]. https://www.universityworldnews.com/post.php?story=20241212163635110

编译:唐小晰   校对:俞紫梅

2024年第24期 目录

左右滑动,阅读更多

政策参考

欧洲和北美洲

英国:呼吁制定统一的终身学习战略

美国:高等教育领导者认可微证书

法国:高等教育和研究部长发布新战略路线图

加拿大:政府启动青年心理健康基金

德国:巴伐利亚州关注幼儿园师资短缺危机

亚洲和太平洋地区

韩国:引入“心灵教育”课程应对青少年心理健康问题

澳大利亚:阿德莱德大学推出免费显性教学微认证课程

非洲

尼日利亚:在北部地区启动面向失学儿童的教育计划

教育组织

经济合作与发展组织:颁布《2024年教育政策展望》

欧盟:为提升高等教育职业环境颁布的文件

01







请到「今天看啥」查看全文