加州大学洛杉矶分校电子论文与学位论文

标题

大型语言模型在教育中的应用：文献综述与案例研究

永久链接

https://escholarship.org/uc/item/6kf0r28s

作者

贝尔尔，约翰·杜沙特

出版日期

同行评审|论文/学位论文

e 学术.org

加州数字图书馆提供技术支持

加利福尼亚大学

加利福尼亚大学

洛杉矶

大语言应用

教育模式：文学

评论和案例研究

论文部分满足提交

学位要求

理学硕士（统计学）

约翰·杜查托·贝尔

© 版权所有

约翰·杜查托·贝尔

论文摘要

大语言应用

教育模式：文学

评论和案例研究

约翰·杜查托·贝尔

理学硕士（统计学）

加利福尼亚大学洛杉矶分校，2023 年

马克·S·汉德考克教授，主席

自然语言处理（NLP）系统的快速改进速度及其大规模

语言模型（LLMs）在教育领域催生了广泛的应用程序

课堂教学。个性化练习的可能性以及学生的即时反馈

来自低成本且广泛可用服务的反馈具有巨大的改变能力

学生教学模式。在这篇综述中，我们讨论了当前对此领域研究的现状。

应用LLMs于科学和数学课堂教育，特别是调用

关注过度依赖和公平性问题，以及提出具体的

未来研究的方向。我们通过考虑 CourseKata 互动教科书来结束。

作为 AI 工具开始重塑传统内容方法的一个例证

交付

约翰·杜查托·贝尔的论文已获批准。

詹姆斯·W·斯蒂格勒

青州

罗伯特·L·古尔德

马克·S·汉德考克，委员会主席

加利福尼亚大学洛杉矶分校

2023 iii

给我的家人和

林赛，为了忍受

我的胡说

目录

简介

文献综述

教育中使用生成式人工智能

STEM 教育所面临的独特挑战

信任、公平感知与算法意识

STEM 领域的公平性

对抗性政策文献的教训

课程卡塔案例研究

分析与讨论

模型拟合

维度评估

模型分析与讨论

结论

参考文献

图表清单

学生素描：半圆中的三角形

学生的解决方案：翻转并反向

碎石图

第 1 章回顾：全文题目信息功能

第 1 章复习项目的赖特地图

表格列表

第 1 章回顾中拟合的 2PL 模型的参数值

致谢

我想感谢加州大学洛杉矶分校的教学与学习实验室以及我的同事们在

统计部门的支持与指导。

第 1 章

简介

大型语言模型（LLMs）如 ChatGPT 和 BERT [9]已经取得了显著增长

在学术和个人使用方面越来越受欢迎。特别是 ChatGPT 的预计

成为历史上增长最快的消费者应用程序[21]。变压器的发展

架构和自注意力机制[43]使这些模型能够更好地处理

长距离文本依赖性并产生连贯且有用的对话回应。

经过大量语料库预训练的这些模型展示了最先进的性能

从写作论文到生成测验问题的各种任务上

期望话题。

许多行业的组织，包括学校，已经开始实施

关于在学术领域使用 ChatGPT 的规定和偶尔的彻底禁令

工作中对人工智能（AI）工具在教育中应用的深入讨论

是不可避免的。像 ChatGPT 这样的系统无疑具有巨大的教学工具吸引力。

他们增强学生互动性、提供定制反馈和创建的潜力

个性化学习材料使LLMs成为解决各种课堂问题的可行方法

需求。

此外，随着美国公立学校的班级人数不断增加继续受到

实质性关注[32]，高质量和个性化数学辅导的民主化

具有极大的潜力弥合社会经济阶层间获取资源的差距。

近期私人辅导在富裕阶层中的普及度增长

私立学校的学生表明，这类服务需求旺盛且非常

在不同财富水平的学生中分配不均，有些家教和代理-

提供个性化学术指导的机构收费每小时高达 400 美元以上[2]。

提供类似质量的广泛可用的辅助个别指导，费用低廉

鉴于这种不公平，免费或低成本具有巨大的吸引力。

然而，随着人工智能系统开始进入更广泛的经济领域，它

越来越重要的是要准确地了解生成式人工智能系统的实际能力

代表。正如我们将要讨论的，这在科学、技术的背景下尤其如此，

工程学和数学（STEM）教育。对能力的准确描述，

弱点和LLMs的偏见是开发有效人工智能实施的先决条件

为学生使用，发挥其优势，同时不加剧当前已有问题

STEM 课堂。

本文的主要目标是概述当前关于应用研究的文献

大型语言模型及一般生成式 AI 系统在 K-12 及

高等教育课堂使用，特别关注数学教育。我们发现-

生成 AI 在创建学生使用的评估中的轻量级应用，并考虑其潜力

为学习者与自动化系统之间的开放互动。我们进一步寻求提高-

点亮他们特定的优点和缺点，这应该指导他们在课堂上的角色。

虽然主要关注的是科学和数学教育，但提出了许多问题

广泛适用于各个学科。我们通过讨论 CourseKata 互动来结束这部分内容。

加州大学洛杉矶分校教学与学习实验室开发的教科书作为案例研究用于

在具体情境中理解这些顾虑。

第二章

文献综述

教育中使用生成式人工智能

利用人工智能系统进行教育任务的想法并不是一个新概念。讨论

算法生成的学习材料可以追溯到 20 世纪 70 年代[11]。然而，快速

生成式人工智能在自然语言处理（NLP）和计算机领域的发展

视觉已经开启了广泛的应用，作为课堂内和补充教学的工具

近年来加速了话语的构建。

新兴的研究已经开始探讨这些工具在课堂上的有效性

房间并展示其自动生成问题和直接的巨大潜力

与LLMs的互动。之前的评论主要集中在概述潜在应用上

在教育中的LLMs，并强调学生们需要进一步提高文化素养的必要性

以及教育工作者更好地理解技术，例如 Kasneki 等人（2023）[25]。

作者强调了未来的担忧，例如学生可能过度依赖模型的问题

侵蚀批判性思维和解决问题的能力。这些是重要的考虑因素应该

确实指导LLMs和算法生成内容的具体实施

学习材料。

然而，人们较少关注这些工具可能如何融入其中

当前学生与教师的互动关系，以及算法生成课程的程度

内容很可能会重塑教育者和教学内容的角色。此外，虽然批评-

NLP 系统中编码偏见等技术问题已有详细记录[5]，但较少受到关注

已经支付了对 AI 如何改变教师角色与当前不平等互动的关注

在 STEM 领域以及这如何增强对 AI 系统的普遍信任。尽管这方面有很多内容

研究仍处于相对初期阶段，实证研究有限[22]，我们简要概述

迄今为止在教育中应用人工智能和自然语言处理系统的工作成果以及发展方向

持续研究。

这个领域日益增长的研究成果通常在能力方面取得了积极的结果

的LLMs用于制作有用的学习材料，并作为富有成效的对话代理

学习者[37][23]。通过互动进行教学的一个重要优点是这种方式

工具更好地将个性化互动元素融入到远程学习中

活动。这使得能够实现 Vie 等人（2017 年）所描述的“更好的平衡”。

给学习者他们需要的学习资源（即适应性）以及他们想要的东西

学习（即适应性）。"[57]简而言之，像 GPT-3 及其相关工具的 NLP 工具有助于

缓解传统远程学生工作方式的自上而下特性。

将开放式对话和由聊天机器人生成的提示响应纳入其中

是朝着这一目标的一个应用，已经得到了大量的研究。Steuer 等人

(2021)发现自动生成的问题与其旨在的主题相关，免费

语言错误较少，包含多种自然且易于理解的语言

的领域使用他们的自回归语言模型[52]。此外，他们生成的

问题成功地解决了其培训文本和主题的核心概念，

作者将其描述为教学的“核心性”。这表明所产生的任务是

确实在他们的学科和语境中具有教学上的用途。

虽然这是一个令人鼓舞的结果，但教学核心性的概念很难

确定并且高度依赖于学科和教师。例如，一所中学

天文学课程可能会强调以有限数据讲故事作为一个反复出现的主题

而另一个可能专注于三维空间推理。值得注意的是 Steuer 等

al 将他们的研究限制在从单本教科书自动生成问题上，依赖于

专家判断用于评估所提出的问题与中心一致的程度

信息来自文本。

虽然有用的问题是必不可少的，评估学生如何回应和互动

他们也是必需的。Abdelghani 等人（2023 年）比较了小学生之间的提问行为。

玛丽学校的学生在使用基于提示的 GPT-3 学习直接自动化之后

课程内容的要素[1]。这是一个特别令人鼓舞的结果，因为它的特点是

更开放的互动结构和更多关注学生反应的教学方式比 Steuer 更为突出

er al (2021) 提供了一些关于先前结果如何可能推广到LLMs应用的迹象

对更广泛的可能任务范围。总体而言，他们的结果表明这种自动化

提示通常引起学生的积极反应，并显示出增加的潜力

好奇心和在学习中的主体感。

此外，吴等人（2020 年）发现在电子学习环境中与聊天机器人的互动

缓解了常伴随此类使用的孤立和疏远感

平台[60]。随着更多学习内容在 COVID-19 之后转移到线上，

大流行[4]，能够无论时间如何都提供高质量的教学访问权限

地点对当前和未来的教学影响都很重要。

虽然这些结果展示了非常令人鼓舞的前进道路，但重要的是要考虑

迄今为止进行的许多研究的范围有限。尽管讨论了这些研究

上述涉及了一定程度的开放式互动，但主要还是限于提供

在狭窄任务框架内使用提示或关键词。完全开放式聊天机器人风格

教学用途的对话尚未得到特别关注。

在这种情况下，一个自然的问题是信息和推理的程度

由 AI 代理提供的是可靠的。江等人（2021 年）调查了LLMs的校准情况

智力问答任务涵盖了许多学科领域[23]。他们发现

虽然测试的模型（GPT-2、T5、BART）表现良好，但它们通常表现不佳

校准后，倾向于对其预测过于自信。作者展示了该模型

微调程序大大改善了这个问题。虽然不如像

医疗诊断中，安全性和适当的信心校准至关重要

校准的信心度对学生反馈和互动非常重要。

未来的工作应该建立在领域和类别特定微调的程度上可以

提高LLM在学生与 AI 互动环境中的问答任务可靠性。

除了创建课程内容和吸引学生参与讨论外，还有发展

在广义对抗网络（GAN）架构和 AI 生成媒体中允许

用于生成学生可以互动的合成界面的系统。Pataranuta-

porn et al (2021) 讨论了利用人工智能生成的动画角色的潜在用途

GAN 架构用于学习环境中的交互[45]。先前的研究表明

学习材料中加入与虚构人物的互动对学习有积极影响

学生经历，提高动机和态度 [30]。

这项工作表明生成式人工智能在提升教学方面具有很大潜力

内容传递的方式本身也以促进积极性的方式进行

和来自不同年龄和能力范围的学生的好奇参与。这是一种特别的

有趣的研究领域，因为这些早期结果与我们等人的发现相符

(2020)人工智能互动减少了在线孤独的一些显著弊端

学生的学习环境。未来的工作应该寻求结合LLM互动。

通过 GAN 创建的动画，使互动学习内容变得有趣并且

同样适合年轻学生的高度互动。

2.2 与 STEM 教育相关的独特挑战

语言模型在 STEM 教育中的应用呈现出独特的挑战性

用例LLMs有多种方式。优质的数学教学需要广泛的

技能的范围，如敏锐的社会意识、对课程材料的深刻理解、清晰的

对未来在该领域工作所需的长期技能以及审美感的认识，

学生兴趣以及对为什么某些话题具有挑战性的准确理解

直觉相反的。其中一些技能非常适合与人工智能系统合作，而

others have proven to be more challenging. In this section, we focus on the aspects of STEM 

教育使得 NLP 的应用具有独特的难度，并突出了它们可能存在的问题所在

提供重大价值。

师生关系已被证实对学生有重大影响

对 STEM 领域的看法和感受[39][7]。同样，斯金纳和贝尔蒙特（1993 年）

发现教师的参与是年轻学生积极课堂体验的核心

[50]。然而，他们也强调了学生动机对教师行为的反馈效应；

学生表现出不参与行为的更有可能得到回应

教师进一步削弱了他们的动力。考虑如何将LLM工具融入

这一设置，一个非常理想的特点是它对学生动机感知的隔离。

在这里，我们看到了 AI 系统天真实现的潜力和陷阱

课堂上。这些工具能够缓解由于

时间限制或对感知学生动机的隐性偏见，它们也面临着风险

取代了富有成效的师生关系中的理想成果。许多

这些问题在数学课堂上表现得更为突出。LLMs依赖于

假设所选用的词汇准确反映了期望的概念。在其他

词语，模型预训练得到的嵌入被正确指定

个人在提示中使用语言。Bender 和 Koller（2020 年）强调这一点，

强调需要区分语言形式（任何可观察到的实现

语言的形式（词语、符号等）和意义（形式与某一概念的关系）

在讨论LLMs的能力时，基本上是语言之外的 [6]。

模型经过训练，可以对语言形式做出回应，但对程度的理解有限

他们捕捉意义的方式。

将LLMs应用于教学环境，使这个问题成为关注的焦点。一个重要的

初级课程教学的重点是发展数学对齐性

数学的“形式”和数学的“意义”。确实，词汇的习得和使用在

数学学习在学生中的可靠性明显不足[40]。数学教育的一个核心任务是

导师的任务是识别并纠正这些误解，以帮助学生进行富有成效的

数学对话。这种数学语言流利度的发展

是一个关键步骤，有助于该领域的深入发展。然而，LLM train-的性质

在这些任务中，诊断偏差使这些模型特别不适合

在演讲者的意图与他们使用的具体语言之间，后者是至关重要的。

解决这个问题的一种方法是直接调查LLMs对 lan 的鲁棒性

语言误设定。ChatGPT 的稳健性已被广泛研究

[59]，这通常是通过 AI 安全的视角来完成的。较少的工作强调了

数学课堂中常见的特定类型错误陈述或词汇错误。

这种洞察力是必需的，用以指导LLMs最适合承担的具体教学任务

以及哪些类型的干预和澄清更适合人类教学。

在 Kasneki 等人（2023 年）的先前评论中正确强调了潜在的可能性

学生和教师对互动LLM教学的过度依赖，这值得进一步

在数学教学的具体背景下阐述这一点。有效地教授数学

需要在过度解释和解释不足之间保持微妙的平衡，依赖于多种线索

何时介入，何时让学生自行挣扎和创造 [29]。

这可以在保罗·洛克哈特的《一个数学家的哀歌》中找到一个有用的例证

[38]。洛克哈特严厉批评美国的数学教育，尤其是对死记硬背的侧重，

许多教科书和数学课程中数学问题的肤浅和乏味特性。

在《一个数学家的哀歌》（以及随后的《测量》）的过程中，洛克哈特

概述了如何重新思考数学问题的构思，以更好地鼓励

学生要深入参与数学实践，而不仅仅是学习

他将数学事实描述为琐事。他描述了以下被布置的几何问题

他的中学数学课是这个想法的一个例证。

问题在于解释任何放在半圆中的三角形所具有的令人惊讶的特性

如下所示，无论我们将三角形的顶点放在哪里，都形成一个直角。

这是一项简单但出奇地深入的调查，锻炼了一位有抱负的数学家

图 2.1：学生草图：半圆中的三角形

学生提出了以下论点（洛克哈特改述的）

出版物：

将三角形旋转一下，使其在圈内形成一个四边形盒子。

由于盒子的边必须是平行的，所以它构成了一个平行四边形。但它不能是一个

倾斜的盒子，因为它的两条对角线都是圆的直径，所以它们是相等的，这样

意味着它必须是一个真正的矩形。这就是为什么角总是直角。

这位学生可以从这次经历中学到许多深奥的数学课程

解决这个问题：

在解决新颖、具有挑战性的问题时进行摆弄和尝试的能力

对称的实用性

理解数学绘图在培养感觉中的作用

问题的直觉

数学论证的简约、美感和审美的吸引力——这是一个

比许多几何教科书中的证明要优雅得多！

看到一系列失败中涌现出新颖的论点

图 2.2：学生解答：翻转并反向

这些是数学学习的高层次、长期目标。确定 mo-

在学生的问题、评论或困惑之处提供了机会的环境中

要逐步培养这些高级和抽象的技能需要敏锐地意识到不仅

章节甚至整个课程的核心材料，以及更广阔的景观

数学的主题。关键是，教师必须识别学生思维中的习惯。

重新调整并进一步发展，以建立长期的成功，同时也是长期的

主题的享受。

教师选择使用的具体词汇基于对知识的了解

核心主题内容，研究表明 AI 生成的反馈可以合理地模仿

好吗，还要如何积极策划能培养这些高级技能的时刻。教练员

做出决策，比如何时介入，何时探究，以及何时只是简单地说

什么也不做，让学生自己去探索。我们的立场是这些选择

需要理解伴随挫败感和作家障碍的感受

此外，这项工作还需要清晰掌握数学内容。讲师正在促进

引导学生体验数学解题，而不仅仅是提供定义

以及内容，或许更甚。

对学生和教师过度依赖算法生成的建议

风险取代了学习数学中这些必要的经验。虽然之前的研究

确认了自动生成问题的相关性和质量

课程材料，对于与建筑相关程度的关注较少

上述的一般数学技能类型。自然语言处理系统的程度

能够捕捉这些元素，并以最佳方式充分利用它们的效用，同时

使人类教师能够填补这些空白的关键问题值得进一步研究

调查。

此外，不考虑选择性地保留指导的重要性作为部分内容

在这篇综述中发现了 AI 教育文献中的学习过程。然而，

这是一个避免学生过度依赖的重要设计考虑因素

日期。研究使用LLMs来培养学生提问能力和学生构建能力

好奇心是继续这一研究方向的有用起点。

同样重要的是，教师不应过度依赖算法生成的问题

虽然它们可能构思完整且与核心课程内容相关，但缺乏统一性

尊重核心数学思维技能以及多样性或审美吸引力

反映那些的角度来看，数学教学的作用是促进经验的获取。

反映“做”数学意味着什么应该指导如何整合人工智能系统

纳入其教学中。尽管这一特定问题的研究较为有限，但可以找到一些相似之处。

源自之前关于学生在计算机辅助教学中的经验的研究

一般来说，Krupa 等人（2014 年）发现，尽管是在计算机基础的中级学生中，

代数课的学生比面对面授课的同行表现更好，但他们表现出更有限的

能力解释方程并将其与具体情况联系起来 [33]。

在线教学和课程设计的平衡，考虑到这些问题，

AI 增强应该寻求使用LLMs作为一个更具吸引力的平台来进行开发

通过更有价值和个性化的方式掌握必要的机械性数学和技术技能

实践中，让人类教师能够将更多课堂时间用于强调应用性

以及对该领域进展的整体理解。证据表明，良好的

实施的LLMs非常能够提供措辞精准的数学内容和

开发学生对学科的好奇心，老师可以利用这一点。

2.3 信任、公平感知与算法意识

对学生来说，信任教育者和发展导师关系至关重要

STEM 领域的长期成功[31]。随着教学任务从人类教师转移到

LLMs，在思考时对这些算法的感知和信任是一个重要的考虑因素

关于这些关系将如何应对这种转变。这是一个特别的关注点。

用户对LLMs输出的信任，其决策通常是一个黑箱

用户和实施者。

关于人工智能的普遍信任与算法决策公正性的文献

制定提供了一个有用的起点，用于理解对自动化系统的依赖

可能映射到 STEM 课堂设置。大量研究已经检查了观念

在从 Facebook 新闻 Feed 策展等不同背景中产生的算法决策

对医疗诊断的关注[36][27]。Eslami 等人（2015 年）研究了为用户提供外部信息如何影响诊断。

关于决策算法存在及功能的明确信息影响

用户体验[14]。他们测量了揭示差异的效果

算法策划的纯净 Facebook 新闻 Feed 内容给用户，寻找

意识到这一点通常会提高对平台的满意度。这表明

意识到推荐算法的存在和功能是有意义的

考虑用户体验。

然而，在教育领域的自然语言处理中，没有未经掺杂的对等物

如 Eslami 等人（2015 年）所述的 feed。在教学环境中更重要的比较是

在算法做出的决策和人类做出的决策之间，而不是某种中立的决策

基线。李（2018 年）正是这样做的，更直接地比较了对决策的态度

管理场景由人类和 AI 系统制作[35]。他们发现对于

涉及主要机械技能的任务，算法和人为决策是

被视为同样公平。作者采用了“公平地对待每个人”的定义。

根据人们的表现或需求公平或公正地分配，强调感知到的公平性

而不是在他们的工作中追求算法公平。对于需要人类决策的关键情况，

此类技能，如招聘或工作评估，算法决策被认为较不公平

标准

Kizilcec（2016 年）进一步研究了不同算法级别之间的关系

用户界面的透明度和工作评估环境中感知到的公平性

[28]。他们发现，用户的期望与算法反馈相匹配的用户更加信任

那些决策不论透明度如何。然而，信任程度

收到比预期低评分的用户取决于透明度的程度

提供的信息显示，适度的解释可以改善态度，但过多的透明度

再次侵蚀了感知到的信任。

这表明 AI 系统呈现给学生的方式和数量

和他们所提供的关于其功能的背景信息的类型可能会

影响他们的体验和信任度，特别是在应用于高风险或

高度个性化的应用程序，如学术反馈。自然语言处理算法还不能

适应诸如公平、细微差别或情境等社会价值观 [34]，使这些结构

选择和透明度至关重要。应注意学生的参与程度。

意识到了底层模型，解释了其功能，并指导了如何使用

并解释它们的输出和指令。这需要在课堂上进行具体探讨。

应用程序探索这些情感在不同环境中的转化程度

上下文。有关算法解释影响的进一步讨论，请参见 Dodge 等人（2019 年）。

感知公平性 [12]。

在实施人工智能和LLMs的过程中，另一个重要的问题是

教学工具表明，不同人群对算法决策的信任并不一致

[41]。这对于在 STEM 领域部署 AI 系统可能具有重大影响，该领域

已面临严重的代表性不足问题。应当给予重点关注。

更深入地理解这些效果在教育环境中是如何相互作用的

具体而言，相关领域关于算法信任的文献表明，具体细节

这些工具的呈现和融入材料的方式可能会产生重大影响

信任水平，可能缓解一些不良影响。此外，存在

人类教练的存在可能在一定程度上缓解这种不信任。Kricorian 等人（2020 年）强调

人类指导在弥合代表性不足的差距中所扮演的关键角色[31]。一

AI 实施的目标应该是为教师释放更多时间，以便

花费在与更高参与度相关的导师式活动上

STEM 领域中的代表性不足群体的学生。

STEM 领域的公平性

在 STEM 教育中实施 NLP 系统的一个主要问题是当前状态

在许多行业中，性别、种族和社会经济方面的代表性不足

该领域的挑战在于确定其原因 [24] [15]。

在某些 STEM 领域的代表性不足，研究人员和实施者的作用至关重要

AI 系统强烈考虑 AI 信任与这些现有因素相互作用的潜在影响

STEM 领域和教育中的不公平现象。我们在这里简要概述以突出重点。

未来潜在的关注点。

1001 号确实从股权角度带来了一些独特的资产，例如它们的隔热性

从之前讨论的对学生动机的负面反应。如何-

然而，这些系统也可能带有反映其自身偏见的潜力

训练语料库，由于其决策的黑箱性质，几乎没有可能的追索权

制作中。尽管这些确实与面向学生的人工智能界面相关，但讨论

应当扩展以解决过渡到算法生成的程度问题

指令加剧了 STEM 领域中与公平性相关的现有问题。

使用 AI 交互替代传统的人工教学任务的一个缺点是

关系建设带来的积极影响的丧失

对话对学生的影响。Kricorian 等人（2020 年）建议学生的决定要

追求更深入的 STEM 教育和职业道路很大程度上受到积极导师关系的推动

某人分享其性别或种族身份的经验 [31]。实施

寻求完全取代面对面教学风格互动的人工智能系统存在风险

将这些来自 STEM 领域中代表性不足群体的学生的驱动力移除。

另一方面，以重新分配角色的方式实施的人工智能系统

教师在课堂上大量依赖讲座，以增加小组合作的时间

或个别指导有助于促进更多这样的指导关系的建立

学生与教师的互动。

AI 的使用也为特别解决策略提供了许多机会，以应对关闭问题

关注发展中的代表性差距。王和 Degol（2017 年）建议

对 STEM 学科的兴趣以及为了缩小性别差距而培养能力

在 STEM 领域中的年轻学生中[58]。此外，数字讲故事策略的发展

参与度和对该领域的兴趣[48][26]。这些方法非常适合于

GAN 生成的动画和之前讨论过的促进参与的方法

学生引导的互动。

对抗性政策文献的 2.5 课程

媒体话语中关于 AI 在行业应用的一个常见担忧是

这些工具在这些职位上重塑或取代人力的程度[17][56]。如

研究持续探讨LLMs在教育任务中的可行性，这似乎是不可避免的

对话将转向考虑 AI 完全取代人类教育者的可能性。

本文的立场是，这样的安排将是次优的，并且会

导致许多不良后果。然而，鉴于这种看似不可避免的

这些提案值得强调的是当前几个高层次的概念性缺陷

利用多个领域的最先进人工智能来了解这次对话可能如何进行

向前发展。

AI 系统应用于逻辑游戏提供了一个有用的环境，可以在其中考虑它们的

缺点。在具有明确定义的目标、离散定义的棋子位置的环境中，

并完全确定性地控制棋子移动，这些游戏呈现出极其

友好的学习环境，适用于 AlphaGo 等 AI 强化学习算法

[49]。然而，来自文献中关于对抗性攻击和政策的证据表明

反向传播训练学习网络中的几个主要弱点。王等

（2023 年）描述并测试了一种概念上简单的围棋对抗策略，

击败了训练有素、达到超人水平的 KataGo 强化学习算法

在超过 70%的尝试中的表现水平[59]。他们的方法采用了一种高度次优的

概念上简单的方案，KataGo 却难以应对。

需要注意的是，这些结果引起的关注不仅仅是

那些依赖预训练的深度学习架构的算法是易错的。更多

有意义的观察是，这些例子显示出了一种惊人的无法察觉简单的能力，

高层次的逻辑联系对人类推理来说相当简单。这体现在

在 Richardson, Heck (2023)的研究中也发现，尽管具有卓越的能力，国家-

尽管是最先进的自然语言处理系统，仍然难以处理人类觉得普通的常识性推理

琐碎的。尼文、高（2019 年）还强调，在许多情况下，LLMs似乎出现在

执行抽象推理可以简化为利用统计伪影的模型

使它们容易受到对抗性攻击的影响，从而将它们的性能降低到随机水平

猜测[42]。Talmor 等人（2019 年）对预训练的程度进行了更深入的分析

捕捉零样本设置中的逻辑推理[55]。他们再次显著地强调

不同模型的性能各异，有些模型在特定情况下完全失效

任务。Bubeck 等人（2023 年）的最新研究表明高级推理能力

GPT-4 是 GPT-3 和 ChatGPT 的后继产品[10]。然而，GPT-4 仍然难以保持

并遵循概念性数学讨论，尽管它在问题处理能力上有所提高，

回答和解决问题。

有效教学正需要这种横向的、高层次的战略思考。

围棋为强化学习性能提供了一个良好的环境，在许多方面是

学习算法应用再现的最佳情况之一

抽象推理技能是人类传统上依赖以取得成功的技能。教育指导

在高层次上呈现了一个需要选择的更加复杂的学习环境

需要执行的任务（苏格拉底式教学、说教式解释或仅仅是

不干预的方式，内容应该以何种形式传递（图示，口述，以及

书写或表演时，除了选择用来传达的特定词语或符号外，还包括

学生。

虽然这次讨论只是对 NLP 在教育领域应用的一个粗略类比，

可以总结出一些普遍的相似之处，以提示教学任务中应注意的领域

成为了偏向于通过反向传播预训练的自动化系统。

AI 系统在多个领域进行高层次、抽象推理的能力

概念上，我们应该期望人类与人工智能之间的劳动分工达到最佳

结构体在当前技术下仍保留了人类教师的一些角色。此外，

这强调了教师在培养深厚兴趣方面提供的社会价值

主题，高质量的人工智能实施应该寻求补充和

突出那些角色。

第三章

课程卡塔案例研究

CourseKata [51] 在线教材提供了一个交互式学习的有用案例研究

统计学教育正适合应用人工智能、自然语言处理和LLM工具。

独特的理论与应用交汇点。传统的高级中学和入门级

本科级统计课程（如高级统计学）涵盖了广泛的内容

看似不连贯的内容体系，涵盖了基础概率论、数据

可视化、经典汇总统计、线性建模和统计检验。

CourseKata 项目旨在解决传统入门课程中的这些挑战

统计课程，强调发展更加健全和统一的理解

统计思维的课程源于作者所说的实践

有效教学应促进连接框架的实践 [16]，

领域核心概念、关键表述以及背景和实践之间的联系

世界的实践。该项目侧重于一种转移重点的学习观

从“知识碎片”——独立的事实和程序——向更连贯的方向发展

灵活的概念连接，更好地代表了该领域专家的流利程度。

本书面向高中高年级和本科入门统计学的学生

提供多个版本，以适应不同课程级别。

CourseKata 教材以三种主要方式向学生提出问题。这些项目是

嵌入章节阅读中以帮助理解课程内容，以及在

各章节末的小结用以强化主题。最后，总结性评估

每章结束时大约有 15-20 个问题用来衡量累积情况

掌握核心章节和课程目标。这些包括多项选择、多项选择题和

开放式回答题目。

频繁的互动形式包括简短的编码任务、多项选择题和

文本中的简答题解决了被动阅读教科书的不足

作为一种学习工具，促进更深入的理解和更健全的心理表征-

能够有效地推广到新任务和相关概念的期望。这与

广泛的文献表明，提出有关阅读的问题有助于提高质量和

可转移学习 [47] [3]。

CourseKata 提供了一个有用的机会来考虑如何采用更标准的方法

教科书问题的内容和呈现方式可能需要重新考虑这些因素

从我们的文献综述来看，LLMs 在形成性学习中显示出了很大的潜力。

工具和开发学生的总结性任务中，因此伴随 AI 实施

当前教材版本中学生进步的两种衡量方法都是可行的。

第四章

匿名化的响应数据可直接从 CourseKata 获取，适用于任何注册课程

使用教科书。产生稳定项目反应参数所需的样本量

估计限制了我们对大班课程部分的分析。Drasgow（1989 年）发现样本量

至少 200 个样本可以使用边际最大似然估计得到稳定的参数估计

至少包括 5 项测试仪器的信息[13]。本分析的样本是抽取的

来自一所大型、高度选拔性的公立大学的 240 名学生中的 25 名学生。

该课程选择不共享其数据，因此只有 215 位受访者的数据可用。

我们样本中使用的 CorseKata 教材部分分为以下章节：

欢迎学习统计学：建模方法

理解数据

解释变异

检查分布

5. 一个简单的模型

量化误差

添加一个解释变量到模型

8. 带有定量解释变量的模型

请注意，在撰写本文时，最近完成的课程使用的是版本

A Simple Model 3.0 of the textbook. The complete textbook and assessment questions considered below are 

通过 CourseKata 网站免费提供。

第五章

分析与讨论

模型拟合

在考虑 AI 时，可以从我们之前的审查中得出几个联系

系统可能会在 CourseKata 中实施。章节复习评估是其中一个领域

教科书中可能需要重新考虑的部分，以便融入人工智能辅助学习。

鉴于围绕人工智能生成问题的实用性和质量的研究令人鼓舞，

一个有趣的前进道路可能是用

LLM生成的。这将允许学生在积极塑造他们的过程中发挥作用。

拥有自己的复习材料，使他们能够针对自己感兴趣的内容进行专注练习

发现更具挑战性。

在考虑这一变化时，一个重要的步骤是更好地理解这一角色的作用

当前手写的 CourseKata 评估在学生学习中的作用。要继续进行-

为了实现这一目标，我们转向项目反应理论（IRT）框架。我们的目标是开发

这些教科书测试题目的难度水平更清晰的画面

章节内容以及它们提供有用且可解释信息的程度

关于学生进展的信息给教师。未来可能有一些

问题生成被让渡给黑盒 AI 系统，定制手工选择的任务

为了最大化可解释性，监控整体课程进展变得更加重要

并确定学生可能存在困难的具体领域。

两参数 logistic (2PL) IRT 模型在这里是一个有用的框架，提供信息

关于项目难度和项目区分度的信息，以指示其有效性如何

测试项目用于定位学生在潜在维度上的能力。模型如下：

P (X= 1|θ, α, δ) =

exp(α(θ−δ))

1 + exp (α(θ− δ))

这预测了学生 i 在二分项目 j 上回答正确的概率

其中δ和α表示项目难度和项目区分参数，θ是

该学生的潜在能力参数。

维度评估

请注意，这是一维的 2PL 模型。这可以推广到更高维度。

根据假设的项目反应潜在维度而变化的情况

数据。虽然 IRT 模型对基本模型误设的鲁棒性往往较强，

评估测量工具的维度结构是一个

应用 IRT 模型时的关键步骤。分析常用方法的性能

在 MIRT 背景下进行维度评估发现传统的平行分析

使用主成分分析和四分相关性表现最佳

在确定的基本维度中占比最高[19]。这一点在当时也是如此，当

生成的 IRT 模型是一维的和多维的。

我们在样本中对第一章回顾的回应采用这种方法。章

1 条评论包含 14 个问题，所有问题均为多项选择题。为了简单起见，我们

将测试项目视为二分法。第 1 章介绍了 R 编程的基础知识，

测试项目强调利用函数和解释 R 语法。鉴于这种相对性

内容的概念统一性，我们假设存在一维性

潜在空间可能是合理的。

下图显示了进行 1000 次蒙特卡洛迭代的平行分析的碎石图

在第 1 章项目矩阵上执行。结果表明，只有一个潜在

因子的特征值超过了随机数据的特征值。这支持了假设

单维性，因此我们在这一假设下继续进行。

图 5.1：碎石图

模型分析与讨论

完整的拟合模型参数值表如下。最明显的

趋势在于项目难度参数的普遍低值。这表明

这个测试仪器的主要价值在于提供相对简单的练习机会

技能。整个测试工具提供的信息处于相对较低的能力水平。

沿着单一潜在维度，如下图所示的完整信息功能所示。

请注意，这只是各个项目信息功能的总和。

这个模型的 Wright 图提供了进一步的见解。难度参数为

α δ α δ

Q1 6.756 -2.726 Q8 2.332 -2.517

Q2 1.840 0.870 Q9 3.308 -2.093

Q3 0.962 -3.607 Q10 2.312 -2.242

Q4 2.293 -3.034 Q11 2.135 -0.737

Q5 2.472 -2.742 Q12 2.623 -2.148

Q6 0.614 -2.508 Q13 1.199 -1.941

Q7 1.777 -1.854 Q14 1.245 -3.519

表 5.1：第 1 章回顾中拟合的 2PL 模型的参数值

图 5.2：第 1 章回顾：全文题目信息功能

第 1 章复习的 14 个单独问题沿水平轴分布，

项目难度参数δ沿垂直轴绘制。直观地，这描述了

潜在能力水平，学生正确回答的机会均等

不正确地。IRT 框架的一个好处是它对交互的表述

学生能力水平和项目难度，因此我们也为每个个体获得估计值

学生能力水平。拟合模型的学生能力水平直方图已绘制完成

沿着左侧，允许比较项目的可辨别性

学生的预测技能水平。

图 5.3：第 1 章复习项目的赖特图

总体而言，这些结果表明学生的能力水平与

第 1 章复习题的难度等级。我们的模型表明这些问题

相对于学生阅读和完成后的能力水平来说，这是相当容易的

第 1 章的形成性活动。需要注意的是，这不一定是坏事

这种传统教科书中的内容。这些直接的任务强化了文本的内容，

澄清基本问题，并在应用这些内容之前提供简单的练习

设置

然而，将LLMs整合进来以增强教学和评估的潜力

我们重新评估这种机械练习的方式，考虑到优势、劣势和

concerns of AI tools discussed previously. A major benefit of AI-integration is the ability to 

根据个人需求定制练习，去除自上而下的手工问题结构。

这是 CourseKata 教科书中最适合自动化的一个元素。

人工智能生成的问题成功捕捉到核心材料的证据以及

学生在基于计算机的学习环境中表现提升的趋势

任务需要应用具体程序，这表明LLM工具可能会

可有效应用于个性化并提高这些常规练习的参与度。

此外，这减轻了手工定制一系列测试项目的难度

在各种能力水平和数学内容上进行测量，因为学生会

能够部分地指定他们接受额外练习的领域。

然而，在某种程度上保留手工生成的问题可能仍然有价值。

由LLMs或其他自动化问题生成系统生成的内容很可能

因学生而异。因此，希望合作的学生群体

不太可能看到常见问题。因为合作被充分记录以增强

数学学习[53]，保留一定量的手工生成内容可能增加价值。

此外，与LLMs互动产生的问题生成不包含任何信息

关于为什么那些问题最初是由变压器的黑匣子产生的

架构，使得个体级别和类别级别的进展评休都很困难。

这表明在基于LLM的学习中加入手工生成的内容是有价值的

项目。然而，这些项目应该被重新制定，以提供更清晰的学生指示。

在我们的 IRT 模型设置中，这涉及到追求更多样化的项目。

难度参数。此外，具有挑战性的问题具有重大的教学价值。

在数学学习中[44]，因此即使在外部引入更难的题目也可能具有价值

在整合人工智能工具的背景下。

这些手写项目也允许进行更深入的额外分析和洞察

趋势在学生反应中将证明是有用的。类似的多维分析

可能也值得在后续章节的审查工具上执行。特别是，

聚类技术可以用于检测学生反应中的趋势 [20]

帮助指示内容区域，其中包括算法问题生成和学生驱动的人工智能

互动将证明是有用的。此外，替换或增强文中项目

CourseKata 也值得探索。然而，整个讨论中的权衡

报告应在选择哪些任务适合LLM时予以考虑

交互方式，以及用户界面的呈现方式，甚至可能的演变过程

教材的课程适应个别任务。

第六章

结论

人工智能和自然语言处理系统的能力迅速增强，带来了看似无穷无尽的应用场景

跨越多个行业。然而，应用于教学的情况占据了一个独特的位置。

真正自动化的教师需要深刻的数学理解，清晰的沟通能力

沟通技巧、社会意识和情境意识，以知道何时只需观察

并且聆听。确实，正是这些事情使得教学如此激励人心和

对人类而言是一种有益的事业，这使得它对人工智能来说是一个独特的挑战。

随着之前专为人类保留的任务性能改进的令人眩晕的速度，

男性推理能力，传统的教学模式如大学讲座和标准

然而，这些标准的补充资源，如教科书，似乎注定要经历剧变。

AI 系统不可避免地进入了课堂、教科书和在线教程，

教学不可避免的社会性质也将不可避免地塑造这种关系的方式

人类与机器认知之间的关系持续发展。算法指令迫使我们

重新审视人类教师首先为其学生提供的独特价值。

一个充滜希望的未来，人工智能在教育中的应用是这些工具可以被利用来帮助

老师们策划了更多温柔、欢乐和爱的时刻，这些时刻伴随着他们

终身学习的学生。

参考文献

[1] Abdelghani, Rania, Yen-Hsiang Wang, Xingdi Yuan, Tong Wang, Pauline Lucas, H´el`ene Sauz´eon, 和 Pierre-Yves Oudeyer. “利用 GPT-3 的教学代理人培训儿童好奇心提问技巧”。ArXiv [Cs.CL], 2023. arXiv.

http://arxiv.org/abs/2211.14228.

[2] 安德森，珍妮。“私立学校争取 A 级成绩使昂贵的家教忙个不停”。纽约时报（2011）。

[3] 安德森，理查德 C. 和巴里·比德尔。“关于询问人们阅读内容的问题”。学习与动机心理学 (1975): 89-132。

[4] 巴希尔，阿姆林，沙赫琳·巴希尔，卡兰·拉纳，彼得·兰伯特，安·维纳利斯。

“后新冠时代的适应；转向在线学习、混合课程教学及其对高等教育中生物科学课程的影响”。

教育前沿 6 (2021)。https://doi.org/10.3389/feduc.2021.711619.

[5] 贝德尔，艾米丽 M.，吉布鲁，提姆尼特，麦克米伦-梅杰，安吉丽娜，以及施米切尔，玛格丽特。「关于随机鹦鹉的危险」。2021 年 ACM 公平性、责任性和透明度会议论文集，2021 年 3 月。

https://doi.org/10.1145/3442188.3445922.

[6] 贝德尔，艾米丽 M. 和科勒，亚历山大。“在数据时代迈向自然语言理解：关于意义、形式与理解”。在第 58 届年会论文集中

计算语言学协会，5185-98。在线：计算语言学协会，2020。https://doi.org/10.18653/v1/2020.acl-main.463。

[7] Bernstein-Yamashiro, Beth，和 Gil G. Noam. “师生关系：一个成长-

研究领域新方向。青少年发展新动向 2013 年，第 137 期（2013 年 4 月）：15-26。https://doi.org/10.1002/yd.20045。

[8] 博德罗，艾米丽。“私人辅导的迅速崛起”。哈佛大学教育研究生院，2021 年 5 月。https://www.gse.harvard.edu/news/21/05/rapid-rise-privatetutoring。

[9] 布朗，汤姆 B.，本杰明·曼恩，尼克·赖德，梅兰妮·苏比亚，贾里德·卡普兰，普拉富拉·达里瓦尔，阿尔温德·尼拉坎坦等。‘语言模型是少数次学习者’。ArXiv [Cs.CL]，2020 年。arXiv。http://arxiv.org/abs/2005.14165。

[10] Bubeck, S´ebastien, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric

Horvitz, Ece Kamar, Peter Lee 等. “人工通用智能的火花：与 GPT-4 的早期实验”. ArXiv [Cs.CL], 2023. arXiv. http://arxiv.org/abs/2303.12712.

[11] 崇冠、简某和志颖江。"人工智能在教育中的创新

《国际创新研究杂志》第 4 卷，第 4 期（2020 年）：134-147 页，“二十年数据驱动的历史分析”。

[12] Dodge，Jonathan，Q. Vera，Liao，云峰，张，Rachel K.，贝拉米，Casey，

杜甘。“解释模型”。第 24 届智能用户界面国际会议论文集（2019）。

[13] Drasgow, Fritz. “对双参数 logistic 模型边际最大似然估计的评估”。应用心理测量学 13, no.1 (1989): 77–90.

[14] 埃斯拉米，莫塔哈雷，艾米·里克曼，克里斯汀·瓦卡罗，阿米尔霍赛因·阿莱亚森，

安迪·冯、卡丽·卡拉哈里奥斯、凯文·汉密尔顿和克里斯蒂安·桑德维格。《“我一直以为我和[她]并不那么亲近”》。计算机系统中人类因素的第 33 届年度 ACM 会议论文集，2015 年。

https://doi.org/10.1145/2702123.2702556.

[15] Farinde, Abiola A., 和 Chance W. Lewis. “非洲裔美国女学生在 STEM 领域的代表性不足：对课堂教师的启示”，2012 年。

[16] 弗里斯，劳拉，季 Y，孙，凯伦 B，吉文，以及詹姆斯 W，斯蒂格勒。”练习进行中-

连接：用于指导复杂领域理解力发展的教学设计框架。《教育心理学评论》33 卷，第 2 期（2020 年）：739-762。

[17] 戈德堡，艾玛。“人工智能对工作的威胁引发了谁来保护工人的问题”。纽约时报（2023 年）。

[18] 伊恩·古德费洛，让·普热-阿巴迪，梅赫迪·米尔扎，邦翔，大卫·沃德-法利，

Sherjil Ozair、Aaron Courville 和 Yoshua Bengio. 《生成对抗网络》。载于《神经信息处理系统进展》，由 Z. Ghahramani、M. Welling、C. Cortes、N. Lawrence 和 K. Q. Weinberger 编辑，第 27 卷。Curran Associates, Inc.，2014 年。

[19] 郭文静和崔永正。“使用 IRT 模型评估维度性

传统与修订并行分析”。教育与心理测量 83, 第 3 期 (2022): 609–629.

[20] 胡冠宇，马志华，白仁洙。'一种非参数贝叶斯项目重

响应模型方法用于同时对项目和个体进行聚类。ArXiv [Stat.AP], 2020. arXiv. http://arxiv.org/abs/2006.00105.

[21] 胡，克里斯特尔。“CHATGPT 创下增长最快用户基础记录 - 分析师说明。”

(2023).

[22] 黄国仁、张静怡. “教育中聊天机器人的机遇与挑战评述”. 互动学习环境 0, no. 0 (2021): 1-14.

https://doi.org/10.1080/10494820.2021.1952615.

[23] 蒋正宝，俊，荒木，海波，丁，和格雷厄姆，纽比格。”我们怎么能知道

当语言模型知道？在校准语言模型以进行问题回答上的研究。《计算语言学会会刊》9 (2021): 962–977。

[24] 约翰逊，卡拉 C.，玛格丽特 J. 莫尔-施罗德，塔玛拉 J. 摩尔，和林 D. 英格利什。

STEM 教育研究手册。Routledge, Taylor & Francis 集团，2020 年。

[25] 卡斯内齐，恩克莱杰达，凯瑟琳·塞斯勒，斯特凡·库切曼，玛丽亚·班内特，达琳娜·德-

曼蒂耶娃、弗兰克·费舍尔、乌尔斯·加瑟等。《ChatGPT 有益吗？关于大型语言模型在教育中的机遇与挑战》。《学习与个体差异》103 卷（2023 年）：102274。https://doi.org/10.1016/j.lindif.2023.102274。

[26] 凯莉赫尔，凯特琳，兰迪·波许和萨拉·基斯勒。‘讲故事的爱丽丝莫-

激励中学女生学习计算机编程。2007 年人机交互系统中的人类因素会议论文集。

https://doi.org/10.1145/1240624.1240844.

[27] 金泰完和布莱恩·R·罗特利奇。“为什么要解释算法的权利

决策制定应存在：基于信任的方法。《商业伦理季刊》32 卷，第 1 期（2022 年）：75-102 页。https://doi.org/10.1017/beq.2021.3.

[28] Kizilcec, René F. 《信息量有多少？》《2016 年人机交互系统因素会议论文集》，2016 年。https://doi.org/10.1145/2858036.2858402.

[29] 科斯基宁，劳诺和皮特卡涅米，哈里。“数学中的有意义学习：一种重新

搜索“教学方法的综合”。国际电子数学教育杂志 2022 年第 17 卷第 2 期：em0679。https://doi.org/10.29333/iejme/11715

科斯米娜，纳塔利亚，卡桑德拉，谢里尔，和帕蒂，梅斯。“思考帽：培养-

通过脑电图和哈利·波特宇宙的感知魔法培养儿童的成长心态。”在 2021 年人机交互系统 CHI 会议扩展摘要中。计算机机构协会，2021 年。

[31] Kricorian, Katherine，Michelle Seu，Daniel Lopez，Elsie Ureta，和 Ozlem Equils。

影响 STEM 领域中代表性不足学生参与度的因素：匹配导师与心态。国际 STEM 教育杂志，第 7 卷，第 12 期（2020 年）。

https://doi.org/10.1186/s40594-020-00219-2.

[32] 克鲁格, 艾伦 B. “教育生产函数的实验估计。” 经济学季刊 114, 第 2 期 (1999): 497–532.

http://www.jstor.org/stable/2587015.

[33] Krupa, Erin E., Corey Webel, 和 Jason McManus. “本科生学习

学生的代数知识：评估基于计算机的影响

和传统学习环境。PRIMUS 25, no. 1 (2015): 13-30。

https://doi.org/10.1080/10511970.2014.897660.

[34] 李敏京、Anuraag Jain、Hea Jin Cha、Shashank Ojha 和 Daniel Kusbit. 'Pro-

程序正义与算法公平性。ACM 人机交互会议论文集 3，CSCW 期（2019 年）：1-26。https://doi.org/10.1145/3359284.

[35] 李敏京。《理解算法决策的感知：公平性、信任，

与算法管理的反应中的劳动与情感。《大数据与社会》5 卷，第 1 期（2018 年 3 月）：205395171875668。https://doi.org/10.1177/2053951718756684。

[36] 李敏京与凯瑟琳·里奇。《人工智能的人类感知中包括了谁？》

信任、感知公平与医疗 AI 的文化不信任问题。2021 年人机交互系统 CHI 会议论文集，2021 年。

https://doi.org/10.1145/3411764.3445570.

潘亮明、雷文强、蔡达胜和阚敏彦。"神经问题生成的近期进展"（2019）。

[38] 洛克哈特，保罗。《一个数学家的哀歌》。贝尔维尤文学出版社，2009 年。

[39] McLure, Felicity I., Barry J. Fraser, 和 Rekha B. Koul. “结构关系

课堂情感氛围、师生人际关系与学生对 STEM 的态度之间的关系。教育社会心理学，第 25 卷，第 2-3 期（2022 年）：625-648 页。https://doi.org/10.1007/s11218-022-09694-7.

[40] 穆尔瓦，埃德娜·切贝特。学生在学习和使用中遇到的困难

数学术语的翻译：批判性文献综述。《教育与实践杂志》6 (2015): 27–37。

全球态度调查

人工智能、机器学习与自动化决策。牛津人工智能与良好治理委员会，2020 年。

[42] 尼文，蒂莫西和高宏宇。'探究神经网络对自然语言的理解'

语言论证。在第 57 届计算语言学协会年会论文集中，4658-64。意大利佛罗伦萨：计算语言学协会，2019。https://doi.org/10.18653/v1/P19-1459。

[43] Vaswani, Ashish，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan

N. Gomez、Lukasz Kaiser 和 Illia Polosukhin. 《注意力就是你所需要的》。ArXiv [Cs.CL]，2017 年。arXiv。http://arxiv.org/abs/1706.03762。

[44] 帕帕多普洛斯，约安尼斯。“使用任务在数学课堂中带来挑战”。教育学研究杂志，第 4 卷，第 3 期（2020 年）：375-386。