高等教育人工智能应用研究综述：教育工作者的角色何在?

2024.03.09

奥拉夫·扎瓦克奇-里克特维多利亚·艾琳·马林

【摘要】

多种国际报告显示教育人工智能是当前教育技术新兴领域之一。虽然教育人工智能已有约三十年的历史，但是目前教育工作者仍然不清楚如何更大规模地发挥其在教学上的优势，也不清楚现实中它可能以何种方式对高等教育教与学产生有意义的影响。本文旨在通过系统综述呈现人工智能在高等教育的应用研究概况。本研究最初检索到2007—2018年间发表的2，656篇论文，根据明确的收录和排除标准，最后采用146篇论文作为综合分析的文献。描述性结果显示，此类论文多数涉及计算机科学、科学、技术、工程和数学（STEM）学科，定量研究方法是实证研究最常用的方法。对研究結果进行综合分析显示，教育人工智能在学习支持服务和教学以及行政管理服务方面的应用可以归为四类：①特征分析和预测;②考核和评价;③自适应系统和个性化;④智能辅导系统。文章最后还对以下问题进行反思：对教育人工智能带来的挑战和风险几乎不见批判性反思、与教学理论联系不密切。必须进一步探索符合道德规范和教育规律的高等教育人工智能应用。

【关键词】? 人工智能;高等教育;机器学习;智能辅导系统;综述

【中图分类号】? ?G420? ? ? ? ?【文献标识码】? B? ? ? ?【文章编号】? 1009-458x（2020）6-0001-21

导读：多年来，人工智能（artificial intelligence， AI）在促进教育教学质量提升方面被寄予厚望，国内外的研究大有日渐升温之势，如同其他教育技术一样，AI也博足眼球，引发人们的丰富遐思。从现有研究成果看，中国是教育AI研究大国之一，发展教育AI俨然已经被提升到国家教育战略高度。①②2019年由中国政府和联合国教科文组织合作举办的“国际人工智能与教育大会”更是彰显了中国作为教育AI大国的地位，国家最高领导人给大会发来贺信，充分肯定AI对教育发展的促进作用。

在这个大背景下，全面系统地回顾教育AI的研究成果，客观认识现阶段AI在教育领域的应用情况，了解面临的困难和挑战，明确进一步发展的方向，应该是一件很有意义的事情。正是基于这种考虑，德国奥尔登堡大学（University of Oldenburg）的奥拉夫·扎瓦克奇-里克特（Olaf Zawacki-Richter）教授与其同事对2007—2018年间在同行评审期刊发表并被EBSCO Education Source、Web of Science和Scopus三家国际知名数据库索引、聚焦AI在高等教育的应用并以英语和西班牙语发表的146篇高质量研究论文进行深度内容分析①，以回答以下三个问题：

1.高等教育AI研究成果的发表呈现何种趋势？这些成果发表在哪些期刊？作者的地理分布和学科背景有何特点？

2.研究者如何理解教育AI？他们认为教育AI有可能产生哪些道德上的影响、挑战和风险？

3.高等教育AI应用的本质和范围是什么？

鉴于AI是一个跨学科的研究领域，学界对其“定义和理解尚未达成共识”。文章首先梳理了有关定义以及AI在高等教育的应用可能涉及哪些内容和方法。考虑到短期内尚不可能出现“能够思考，甚至有意识，而不仅仅是模仿（人类）思维、做出理性行动”的AI，即强式或广义AI，本研究关注的是“好像真的具有智能一样”的弱式或狭义AI。文章接着阐述本综述所采用的研究方法，包括文献检索方法、样本收录标准、编码者间信度，以及编码、数据提取和分析过程，也指出本研究的局限。

针对第一个研究问题的分析结果显示，发文量随着时间的推移呈现上升趋势，近年尤为明显，而刊载此类研究成果的期刊较为分散（146篇论文发表于104家期刊）。发文量较多的3家期刊是《国际AIEd期刊》（International Journal of Artificial Intelligence in Education）（n=11）、《计算机与教育》（Computers & Education）（n=8）和《国际新兴学习技术期刊》（International Journal of Emerging Technologies in Learning）（n=5）。一半研究成果来自美国、中国和土耳其。第一作者主要来自计算机科学院系（42%）和STEM院系（20%），仅有8.9%来自教育学院系。定量研究方法是实证研究最常用的方法（73.3%），仅有1篇质性研究，8篇采用混合式研究方法，其余（20.5%）为理论性或描述性研究。

针对第二个问题的分析结果显示，学界对AI的理解似乎较为模糊，仅有5篇论文给出清晰定义。有2篇对挑战和风险进行批判性反思，主要涉及个人隐私和机构所需投入的经费和时间两个方面。

针对第三个研究问题的分析结果显示，AI在高等教育的应用集中在学习支持服务和教学以及行政管理服务上，可归为4大类17子类（有些论文出现跨类情况）：①特征分析和预测（录取决定和课程安排;辍学和保留;学生模型和学业成绩）（40%）;②考核和评价（自动评分;反馈;评价学生的理解、投入和学术诚信;评价教学）（15%）;③自适应系统和个性化（教授课程内容;推荐个性化内容;支持教师教学设计;使用学习数据监控和指导学生;用概念图表征知识）（18%）;④智能辅导系统（教授课程内容;诊断学生的知识强项或缺陷并提供自动反馈;根据学生需要提供学习材料;促进协作;教师其他方面的职能）（20%）。这篇综述详细介绍了各（子）类研究的内容。

从总体看，AI在高等教育具有广阔的应用前景，但是由于缺乏纵向研究，且以定量研究方法为主，研究结果对教育教学创新的促进作用与预期仍有一段很长距离。这其实是教育技术领域的通病（见“结论”的相关文献）。本综述还发现：

1. 对教育AI在教学和伦理道德上可能带来的挑战和风险几乎不见批判性反思。换言之，今后的研究应该更多关注“在教学、伦理道德、社会、文化和经济等方面的意义”，不能囿于AI的技术能供性层面，尤其要“重新关注学习和教学法问题，也不应该忽视数字技术应用于教育所涉及的人的因素”。

2. 与教学理论联系不密切。鉴于作者的学科背景（仅有8.9%来自教育学院系），缺乏教育视角不足为奇。这同样是教育技术研究领域的通病（见“结论”的相关文献）。当今技术决定论在教育教学实践中依然大行其道，而与之呼应的是技术决定论思潮在教育教学研究中呈愈演愈烈之势。澳大利亚莫纳什大学（Monash University）赛尔温教授是学界公认对教育技术秉承理性态度的学者，他的“苦口良药”值得我们高度重视，他指出：“危险在于把数据和编码看成提供指导和支持的权威而非相对的依据。教育如此复杂，远非可以仅被简化为数据分析和算法。如同数字技术一样，数字化数据不能提供解决教育窘况的技术良方，不管分析结果可能显得有多么大的说服力。”①

作者最后呼吁“必须进一步探索符合道德规范和教育规律的高等教育AI应用”。的确，诚如托尼·贝茨（Tony Bates）所言②，AI在金融、医疗和市场营销等领域的成功应用经验和模式在教育领域不见得同样可行，把AI视为解决教育问题的灵丹妙药实属炒作行为。他认为应该从以下几个方面检验AI对教与学的促进作用：

1.某一款技术应用是否具备“现代”AI的三个特征：大型数据集、大型计算能力和强大而又恰当的算法？与其他媒体技术（特别是普通计算机应用）相比，它是否有明显的优势？是否促进了数字时代所需的技能和知识的培养？

2.是否无意中把某些偏见嵌入所采用的算法中？是否歧视某些群体？

3.是否违背伦理道德规范侵犯学生和教师的隐私以及他们在开放和民主的社会所拥有的权利？

4.结果是否“可以解释清楚”？比如，教师或其他相关人士是否明白为何这款AI应用得出这些结果或做出这些决定并能向学生解释清楚？

贝茨认为从扎瓦克奇-里克特教授等的综述以及其他文献看，目前教育AI在很大程度上讲还不能满足上述四个方面的要求。比如，很多AI辅导系统和自适应学习系统充其量只是普通计算机应用程序，很多应用于教与学的AI系统主要是为了呈现内容和检测学生的理解和记忆，而非促进数字时代所需的技能和知识的培养。贝茨最后回到“自动化还是赋权”之问③。的确，如果我们发展教育AI的目的是通过实现教育教学“智能化/自动化”，减少对教师的需求（甚至是取代教师），从而达到降低教育成本的企图，那么教育AI的研究方向和应用现状难以有新突破。但是，如果目的是给教师和学生赋权，使AI能恰到好处地服务教育教学，那么主导AI在教育中应用的应该是教育工作者和学生，不是计算机科学家或高科技企业。更为重要的是，本综述所总结的两大问题——缺乏批判性反思和教育视角也能得以迎刃而解。

AI在教育领域是否“春常在”？我们拭目以待。

我在本综述尚未定稿时就已經跟扎瓦克奇-里克特教授敲定其中文版在本刊“国际论坛”发表。衷心感谢他长期以来对我们的支持和信任！

一、引言

过去几年，人工智能（Artificial Intelligence， AI）在教育的应用日渐升温，广为学界关注。2018年《地平线报告》把AI和自适应学习技术列为教育技术的重要发展（Educause， 2018），并预期两三年内会被采用。根据该报告，专家预测2018—2022年教育AI增长43%，显然2019年的《地平线报告》预计与教与学相关的AI应用的增长远不止43%（Educause， 2019）。“毫无疑问，（AI）这种技术必定与高等教育的未来联系在一起”（Contact North， 2018， p. 5）——这是加拿大一家主要非营利性在线学习机构的研究结论。私营公司在这个领域投入巨资（如Google花四亿美元收购欧洲AI初创企业Deep Mind），加上非营利性公私合作伙伴机构的出现（如德国人工智能研究中心[Deutsches Forschungszentrum für Künstliche Intelligenz]④），人们目前对AI的兴趣可能很快便会对高等教育机构产生重大影响（Popenici & Kerr， 2017）。比如，荷兰的埃因霍温科技大学（Eindhoven University of Technology）最近宣布将启动一个AI系统，并新增五十个AI教育和研究的教席。①

学界对教育人工智能（AI in education， AIEd）应用的研究已有约三十年历史。国际教育人工智能学会（International AIEd Society）成立于1997年，该学会出版《国际AIEd期刊》（International Journal of Artificial Intelligence in Education），今年将举办第二十届AIEd年度大会。然而，AI应用有可能在“学生在校学习生涯”（student life cycle）中向他们提供哪些学习机会——教育工作者刚刚开始研究这一类的问题。

虽然AI有可能提供很多支持教与学的机会，但是AI在高等教育的应用从道德层面讲也带来新问题和风险。比如，在财政紧缩的情况下，学校行政领导可能经不住诱惑采用有利可图的自动化AI方案代替教师的教学。教师、教学助理、学生辅导员和行政人员可能会担心智能导师、专家系统和聊天机器人将抢去他们的饭碗。AI有进一步提升学习分析能力的潜能，但是另一方面这些系统离不开大数据，包括学生和教职员工的私密信息，这引起人们对隐私和数据保护的严重关切。最近成立的一些机构（如英国教育合乎道德规范人工智能研究院[Institute for Ethical AI in Education]②）旨在制定管理AIEd道德规范的框架，2019年4月《分析与政策观察》（Analysis & Policy Observatory）发表了一篇有关澳大利亚制定AI道德框架的讨论文章。③

罗素和诺维格（Russel & Norvig， 2010， p. 1020）告诫我们：“所有AI研究者都应该注意他们的工作可能会产生道德上的影响。”因此，针对AI教育应用可能带来哪些道德层面的影响和风险，研究者对此有何反映呢？这也是我们想了解的问题。本文旨在对AI在高等教育的应用研究进行全面述评。近年来本领域发展迅速，教育工作者对AI越来越感兴趣，因此这个综述是非常必要的。

具体来说，本文希望通过系统文献述评回答以下研究问题（参见：Gough， Oliver， & Thomas， 2017; Petticrew & Roberts， 2006）：

①高等教育AI的成果发表是如何随着时间推移发展的？这些成果发表在哪些期刊？作者的地理分布和学科背景有何特点？

②研究者如何理解AIEd？他们认为AIEd有可能产生哪些道德上的影响、挑战和风险？

③AI应用于高等教育环境时其本质和范围是什么？

AI源于计算机科学和工程学，但是在很大程度上受到其他学科的影响，如哲学、认知科学、神经科学和经济学。由于AI领域的跨学科性，AI研究者对AI（乃至“智能”）的定义和理解尚未达成共识（Tegmark， 2018）。伊诺霍-卢塞纳等（Hinojo-Lucena， Aznar-Díaz， & Cáceres-Reche， 2019）指出：“（AI）这种技术已经正在高等教育领域得到应用，虽然很多教师不知道其范围，尤其是不清楚它包含哪些内容。”鉴于本研究的目的，我们应该澄清有关术语的含义。因此，我们拟在下一节梳理AIEd的各种定义以及AI在高等教育的应用可能涉及哪些内容和方法。

二、AIEd（教育人工智能）

AI的提出可以追溯到20世纪50年代，当时约翰·麦卡锡（John McCarthy）在美国达特茅斯学院（Dartmouth College）组织一次历时两个月的工作坊。他在组织这次工作坊的申请报告中第一次使用AI这个术语：“学习的每一个方面或智能的任何其他特征原则上都可以被精确描述，以便机器能对其进行模仿。（人工智能的）研究将在这种假设的基础上进行。我们将试图研究机器如何使用语言、进行抽象和形成概念以解决各种人类问题，并自我改进”（McCarthy， 1956，转引自 Russel & Norvig， 2010， p. 17）。

贝克和史密斯（Baker & Smith， 2019， p. 10）的AI定义更宽泛：“（AI用于描述）执行通常与人脑相关，尤其是学习和解决问题之类的认知任务的计算机。”他们解释说AI不是指任何一种单独的技术，而是一个统称，用于描述各种技术和方法，比如机器学习、自然语言处理、数据挖掘、神经网络或算法。

AI和机器学习经常同时出现在文献中。机器学习是AI的一种方法，用于监督和非监督分类和特征分析，比如可用来预测某个学生辍学或被录取的可能性，或者识别书面作业的主题。帕皮尼奇和科尔（Popenici & Kerr， 2017， p. 2）把机器学习定义为“AI领域的一个分支，包括能够辨别模式、做出预测和把新发现的模式应用于非原先設计所涵盖的情景的软件。”

理性代理（rational agents）是AI的核心概念。“代理可以被看作是能通过传感器来感知周围环境并通过执行器对该环境采取行动的任何东西”（Russel & Norvig， 2010， p. 34）。真空清洁器机器人就是一种智能代理的简单形式，但是如果我们讲的是自动驾驶出租车，情况就变得非常复杂、充满各种可能性了。

AI有强式和弱式（Russel & Norvig， 2010， p. 1020）或狭义和广义之分（Baker & Smith， 2019， p. 10）。未来机器是否能够思考，甚至有意识，而不仅仅是模仿（人类）思维、做出理性行动？这是一个哲学问题。短期内可能不会出现这种强式或广义AI。因此，本文仅对“老式AI”（GOFAI，即good old-fashioned AI的缩略词，是哲学家约翰·豪奇兰德[John Haugeland]1985年创造的术语）在高等教育的应用研究文献进行述评。换言之，这些代理和信息系统好像真的具有智能一样。

“老式AI”可能在哪些方面应用于教育，尤其是高等教育？卢金等（Luckin， et al.， 2016）把今天应用于教育领域的AI软件分为三类：私人导师、协作学习智能支持系统和智能虚拟现实。

智能辅导系统（Intelligent tutoring systems， ITS）可用于模拟一对一私人辅导。它们能根据学习者模型、算法和神经网络决定某个学习者的学习路径和应该选择什么内容，提供认知上的指导和帮助，与学生进行对话。ITS有巨大的应用潜能，尤其是对大型远程教学机构而言，因为这些机构的课程报读人数数以万计，不可能提供一对一辅导。大量研究显示学习是一项社会活动，学习的实质是交互和协作（比如，Jonassen， et al.， 1995）。然而，在线协作离不开指导，必须有人主持此类活动（Salmon， 2000）。AIEd能够根据学习者模型支持自适应分组，指导在线小组交互，或总结讨论情况供教师用于指导学生朝着达成课程目标的方向努力，因此有助于促进协作学习。至于建立在ITS基础上的智能虚拟现实，则可以用于吸引和指导学生参加增强现实和基于游戏的学习环境下的学习。比如，在虚拟或远程实验室，虚拟代理可以充当教师、学习指导者或学习伙伴（Perez， et al.， 2017）。

随着AIEd的发展和学生（大）数据以及学习分析已成为可能，卢金等（Luckin， et al.， 2016， p. 35）主张“（学习）考核的复兴”（renaissance in assessment）。AI能及时提供反馈和考核结果。我们不必要求学生暂停学习参加考核，而是可以把AIEd嵌入学习活动中，持续分析学生进步。算法则已经被用来预测某个学生不能完成作业或辍学的概率，而且准确率很高（比如：Bahadir， 2016）。

贝克和史密斯（Baker & Smith， 2019）从三个方面分析教育AI工具：①面向学生的AIEd;②面向教师的AIEd;③面向系统的AIEd。面向学生的AI工具指学生用于学习学科内容的软件，如自适应或个性化学习管理系统或ITS。面向教师的系统则用于向教师提供支持服务，通过管理工作、考核、反馈和剽窃检测等的自动化减轻教师工作量。AIEd工具还能提供学生学习进步情况分析，教师因此能够未雨绸缪提供必要的支持服务和指导。面向系统的AIEd则能向学校行政管理人员和业务管理人员提供信息，比如监控各学院的学生流失模式。

我们把高等教育的“学生在校学习生涯”（Reid， 1995）用作描述机构和行政管理层面以及支持教与学的各种基于AI的服务框架。

三、方法

综述旨在通过使用清晰、系统和可复制的检索方法，根据相关标准对检索结果予以收录或排除，以回答具体问题（Gough， Oliver， & Thomas， 2012）。然后对样本进行数据编码和提取，以便综合分析研究发现，揭示它们的实际应用情况，发现存在的不足或矛盾。本研究的样本是146篇高等教育AI的论文。

（一）检索方法

最初的检索词（见表1）和标准（见表2）包括以英语发表、同行评审的论文，这些论文涉及AI在各层次教育中的应用并且被三个国际数据库索引：EBSCO Education Source、Web of Science和Scopus（标题、摘要和关键词）。虽然学界对同行评审有些疑虑（比如：Smith，2006），本研究的样本仅限于发表在同行评审期刊的论文。一般而言，这些期刊能赢得学界信任，遵循严格评审程序（Nicholas， et al.， 2015）。文献检索于2018年11月进行，最初检索到2，656篇文章。

剔除重复文章之后，我们决定把文章发表时间限于2007年或之后，因为这一年iPhone推出Siri。这是一款基于算法的个人助理，原先是美国国防高级研究计划署（US Defense Advanced Research Projects Agency）资助的一个AI项目，后来转变为一家公司并被苹果公司收购了。我们还决定把收录范围仅限于讨论高等教育AI应用的文章。

（二）甄别和编码者间信度

三位编码者对1，549篇论文的标题和摘要进行甄别。这个阶段的甄别要求编码者具有敏感性而不是详细分析，目的是决定哪些论文可以录用。我们定期对第一批80篇论文是否符合收录标准进行讨论，以达成共识。我们随机抽出20篇论文，评估三位编码者（A、B和C）的编码情况，并使用科恩 kappa（κ）系数检查编码者间信度（Cohen， 1960），了解不同评估者意见一致的程度（Neumann， 2007， p. 326）。Kappa值0.40～0.60、0.60～0.75和0.75以上分别被视为中、良和优（Bakeman & Gottman， 1997; Fleiss， 1981）。编码者A和B的编码一致程度是κ=0.79，A和C是κ=0.89，B和C是κ=0.69（median=0.79）。因此，本研究的编码者间信度达到“优”等级。

经过最初的甄别之后，剩下332篇论文进行全文甄别（见图1）。但是，其中有41篇论文无法检索到全文，通过图书馆订购系统和联系作者均未果。因此，我们对其余291篇文章的全文进行甄别和编码，进一步排除了145篇，最终剩下146篇。①

（三）编码、数据提取和分析

所有文章被上载专门软件EPPI Reviewer②以提取数据，并制定编码系统。编码包括文章信息（发表年份、期刊名称、作者国籍和第一作者学科背景）、研究设计和过程（实证或描述性、教育场景）和如何应用AI（学生在校学习生涯中的应用、具体的应用和方法）。此外，还对文章是否阐述AI的挑战和益处以及是否对AI进行定义进行编码。描述性数据分析在R-tidyr包统计软件进行（Wickham & Grolemud， 2016）。

（四）局限

虽然本综述方法严谨，但是任何综述均受到其检索方法的限制。我们选择三个大型国际性教育研究数据库，规定录入文章必须是以英语或西班牙语发表并经同行评审，因此本综述不包括其他语言的文章。同样，会议论文、论文集论文、灰色文献（grey literature）以及虽被上述三个数据库索引但不是学术期刊论文等均被排除在外。此外，虽然我们把西班牙语同行评审作为录入标准之一，但是检索词并不包含西班牙语，因此会影响对西班牙语文章的检索。今后的研究可以考虑增加数据库数量、出版/发表类型和语言等，以扩大述评范围。但是，此时必须认真考虑所需的资源和实际操作上的难度。

四、结果

（一）期刊、作者和方法

1. 年发文量

从2007年起发文量显著上升，2007年仅有6篇，到了2018年已经增加到23篇（见图2）。

2. 发文期刊

146篇文章发表于104家期刊，发文最多的三家是《国际AIEd期刊》（International Journal of Artificial Intelligence in Education）（n=11）、《计算机与教育》（Computers & Education）（n=8）和《国际新兴学习技术期刊》（International Journal of Emerging Technologies in Learning）（n=5）。表3列舉了2007—2018年至少发表两篇AIEd论文的期刊。

3. 国家和地区分布

我们根据第一作者的国籍对他们的地理分布进行分析（n=38个国家和地区）。表4显示发文量至少两篇的19个国家和地区，另外，美国、中国（含台湾地区）和土耳其的发文量占全部样本的50%。

4. 作者所属部门

如同其他国家和地区分布一样，我们仅分析第一作者的供职部门（见表5）。来自计算机科学院系的作者发文量最大（n=61），科学、技术、工程和数学（STEM）院系次之（n=29）。仅有9位第一作者来自教育学院系，有些作者同时供职于教育学和计算机科学院系（n=2）、教育学和心理学院系（n=1）或教育学和STEM院系（n=1）。

5. 方法

编码结果显示，30篇文章（20.5%）是理论性或描述性研究。大多数研究（73.3%）采用定量方法，仅有1篇（0.7%）是质性研究，8篇（5.5%）采用混合式方法。这项质性研究对英语为第二语言的学生进行访谈，目的是对自动作文评分系统和教师评分所提供的书面评语进行比较（Dikli， 2010）。很多研究采用准实验方法，即把样本分成实验组（使用AI应用程序，如ITS）和控制组（常规教学），并进行前测和后测（比如：Adamson， Dyke， Jang， & Rosé， 2014）。

（二）对AI的理解和批判性反思挑战与风险

146篇文章涉及不同类型和层次的AI，但是仅有5篇（3.4%）给出AI的清晰定义。这5篇文章指出AI的主要特点是AI与人脑的相似之处。作者们把AI理解为智能计算机系统或具有人类特点的智能代理，如能够记忆知识、如同人一样能够感知和利用环境、能够理解人类自然语言等（Huang， 2018; Lodhi， et al.， 2018; Huang， 2018; Welham， 2008）。多迪格维克（Dodigovic， 2007）的AI定义是：“AI是一个用于指模仿智慧生物的机器的术语……AI是一个跨学科的知识和研究领域，旨在了解人脑的运作并在技术设计中应用人脑运作原理。在语言学习和教学中，AI可被用于模仿教师或学习者的行为。”多迪格维克是唯一一个来自艺术、人文与社會科学院系又对AI进行定义的作者，因此她把AI与第二语言学习的智能导师联系在一起。

146篇论文中仅有2篇（1.4%）批判性反思AI应用于教育在道德层面的问题、挑战和风险。比例之低令人难以置信。李（Li， 2007）在文章中表达了对智能代理支持下在线学习的隐私关切：“在开展基于代理的个性化教育时隐私也是一个重要关切。如上所述，代理能够自动收集学生的很多个人信息，如学习风格和学习能力。事实上，个人信息是私有的。很多学生不想别人知道自己的隐私信息（如学习风格和学习能力）。学生可能会担心教师出于特殊学习需要而根据学习表现区别对待学生。因此，必须先解决隐私问题，然后才采用基于代理的个性化教与学技术。”

韦勒姆（Welham， 2008）提到应用AI的另一个挑战，即很多公立学校无法承担开发和引进基于AI方法所需的费用和时间。

（三）AI在高等教育的应用

如上所述，我们以学生在校学习生涯（Reid， 1995）这个概念为框架描述机构和行政管理层面各种基于AI的服务（如入学录取、咨询辅导、图书馆服务等）和教与学层面的学习支持服务（如考核、反馈和学习辅导等）。编码结果显示，92篇论文（63.0%）是围绕学习支持服务的研究，48篇（32.8%）聚焦机构和行政管理服务研究，6篇（4.1%）涉及上述两个领域服务的研究。大多数研究（n=91，62.3%）的对象是本科生，以研究生为研究对象的只有11篇论文（7.5%），另有44篇（30.1%）没有说明研究对象的层次。

迭代编码的结果表明，146篇论文涉及的AI应用可分为四个方面，共17个子类。这四个方面是：①特征分析和预测;②考核和评价;③自适应系统和个性化;④智能辅导系统（见表6）。

1. 特征分析和预测

很多AI应用以学习者模型和特征分析为基础进行预测，如预测学生辍学或被某个专业录取的概率，以便在学习过程中针对具体问题及时提供支持或反馈和指导。分类、建模和预测是教育数据挖掘不可或缺的一部分（Krishna， Kumar， & Sri， 2018）。

多数研究（55.2%，n=32）涉及机构和行政管理层面的问题，很多研究（36.2%，n=21）涉及课程的教与学，还有少数（8.6%，n=5）同时涉及这两方面问题。“特征分析和预测”类文章包括三个子类：录取决定和课程安排（n=7）、辍学和保留（n=23）、学生模型和学业成绩（n=27）。另有1篇是研究成本预测，对一所中国大学用于支持基于人工神经网络的管理决策的成本进行预测（Ge & Xie， 2015）。

这一类全部58项研究均采用机器学习方法对模式进行识别和分类并对学生特征进行建模以实现预测。因此，它们都是定量研究。很多研究使用几种机器学习算法（如ANN、SVM、RF、NB，见表7）①并将它们的总体预测准确度与常规的逻辑回归进行比较。表7显示所有研究均证明机器学习方法在分类准确度上优于逻辑回归。我们还可以使用F1分数评估分类器（classifiers）的表现（Umer， et al.，2017;关于诊断性准确率方法另见?imundi， 2009）。F1分数的值介于0～1之间，最佳值是1（最佳精确率和召回率）。一项根据在线讨论参与情况预测学生小组项目表现的研究显示，J48、NB和SVM的F1分数值很高，分别是0.848、0.911和0.914（Yoo & Kim， 2013）。

（1）录取决定和课程安排

有研究指出：“准确预测学生的学业表现对做出录取决定和提供更好的教育服务非常重要”（Chen & Do， 2014）。有四项研究旨在预测有意愿申请入学的人是否会被大学录取。比如：阿昔克卡尔和阿凯（Acikkar & Akay， 2009）根据体能测试、全国入学考试成绩和中学毕业的平均积分点（GPA）为土耳其一所体育和运动学校挑选候选人，他们使用SVM技术对学生进行分类并预测录取决定，2006年的准确率是97.1%，2007年是90.51%。SVM也被安德里斯等（Andris， Cowen， & Wittenbach， 2013）用于研究可能偏向于来自美国某些地区申请入学者的空间模式（spatial patterns）。冯等（Feng， Zhou， & Liu， 2011）以中国25个省份的入学数据为训练数据，使用ANN模型预测其他省份的注册率。机器学习方法和ANN也被用于预测学生选课行为以支持课程安排。凯丹等（Kardan， Sadeghi， Ghidary， & Sani， 2013）调查影响学生选课的因素，比如课程和教师特点、学习量、教学方式和考试时间，并建构一个模型，使用ANN预测两个计算机工程和信息技术硕士专业的选课情况。凯丹等（Kardan & Sadeghi， 2013）的另一项研究是提出一个开课决策支持系统。总的看来，对录取决定预测的准确率能够达到很高水平，因此AI方案可以减轻行政管理人员的工作量，使他们能够集中精力处理更难的问题。

（2）辍学和保留

这一类研究旨在开发早期预警系统，以便能够在学生入学第一年发现“危机”学生（比如：Alkhasawneh & Hargraves， 2014; Aluko， et al.， 2016; Hoffait & Schyns， 2017; Howard， Meehan， & Parnell）或预测本科生的总体流失情况（比如：Oztekin， 2016; Raju & Schumacker， 2015）。德伦（Delen， 2011）收集美国一所大学过去八年25，224名新生的数据，使用ANN、决策树和逻辑回归三种分类技术预测辍学情況。学生数据包括与他们的人口统计信息、学习情况和经济情况相关的变量（如性别、年龄、民族、GPA、托福成绩、财政资助、学生贷款等）。根据十折交叉验证的结果，德伦发现ANN模型准确率最高（81.19%）（见表7），其结论是预测学生辍学的最重要因素是学生过去和现在的成绩以及他们是否获得财政支持。苏塔娜等（Sultana， Khan， & Abbas， 2017）讨论了工程学本科生的认知和非认知特征对预测其学习表现的影响。与其他很多研究相比，他们重点研究能提高预测准确率的非认知因素，即时间管理、自我概念、自我评价、领导力和社区支持。

（3）学生模型和学业成绩

很多研究旨在分析学生特征并对他们的行为进行建模，以预测课程学习成绩。侯赛因等（Hussain， et al.， 2018）使用几种机器学习算法分析来自英国开放大学虚拟学习环境的学生行为数据，以便预测学生的学习投入。这对于一所大型远程教学大学来讲尤为重要，因为不可能组织绝大多数学生参加面授辅导。该研究旨在开发一个智能预测系统，使教师能够自动识别学习投入不足的学生并进行干预。斯皮科尔等（Spikol， Ruffaldi， Dabisias， & Cukurova， 2018）在工程学学生的工作坊上通过人脸和手势跟踪技术评估他们在基于项目的学习中的进步情况，他们的结论是多模态数据所产生的结果能使教师更好地了解基于项目学习活动的主要特征。布利克斯坦等（Blikstein， et al.， 2014）根据学生在软件开发项目创建的150，000份代码记录，研究他们学习计算机编程的模式，发现他们这个基于编程过程的模型比期中成绩有更好的预测力。巴比奇（Babi， 2017）则是根据学生在在线学习环境的行为开发一个预测他们学习动力的模型。学生模型的研究是设计ITS和自适应学习环境的一个重要基础。

2. ITS

研究ITS的29篇文章，除了1篇是针对机构和行政管理层面问题外，其余均是针对教与学层面的问题。针对机构和行政管理层面问题的这一项研究介绍了一款交互性智能学生助理StuA，能够回答大学新生有关教师、考试、课外活动、图书馆服务等方面的问题（Lodhi， Mishra， Jain， & Bajaj， 2018）。

这些研究经常使用“智能（在线）导师”或“智能辅导系统”（比如：Dodigovic， 2007; Miwa， Terai， Kanzaki， & Nakaike， 2014）等名称，虽然也有使用其他名称的，如“智能（软件）代理”（比如：Schiaffino， Garcia， & Amandi， 2008）或“智能助理”（比如：Casamayor， Amandi， & Campo， 2009; Jeschike， et al.， 2007）。根据韦勒姆（Welham， 2008）的研究，最早见诸报道的ITS是1970年推出的SCHOLAR系统，该系统允许师生相互提问但不支持持续对话。

有研究（Huang & Chen， 2016）介绍了ITS通常包含的模型：学生模型（如有关学生知识水平、认知能力、学习动力和学习风格等的信息）、教师模型（如分析学生现状、选择教学策略和模式、提供帮助和指导等）、领域模型（如学生和教师的知识表征）和诊断模型（如根据领域模型对错误和缺陷进行评估）。

这些研究对ITS的应用和验证通常持续时间不长（一门课程或一个学期），只有一项纵向研究（Jackson & Cossitt， 2015）。多数研究显示（一定程度）积极或令人满意的初步结果，但是它们没有考虑新技术应用于教育时可能会产生的新奇效应（novelty effect）。有一项研究呈现基于IT的支持服务产生负面影响（Adamson， et al.， 2014）;如果研究者也考虑该研究涉及的学习者类型这个因素，研究结果可能更有价值。

总体看，ITS的作用尚待进一步研究。五年前斯滕贝亨-胡和库珀（Steenbergen-Hu & Cooper， 2014）对39项ITS研究进行元分析，结果发现ITS对学生的学习有一定影响，其作用不如教师辅导，但却优于其他教学方法（如传统课堂教学、阅读印刷或数字化文本、完成家庭作业）。

根据本综述的文献，ITS的功能可分为教授课程内容（n=12）、诊断学生的知识强项或缺陷和提供自动反馈（n=7）、根据学生需要提供学习材料（n=3）、促进学习者协作（n=2）和教师其他方面的职能（n=5）。

（1）教授课程内容

这一类有四项研究涉及教授计算机科学内容（Dobre， 2014; Hooshyar， Ahmad， Yousefi， Yusop， & Horng， 2015; Howard， Jordan， di Eugenio， & Katz， 2017; Shen & Yang， 2011）。其他研究包括教授数学（Miwa， et al.， 2014）、商业统计与会计（Jackson & Cossitt， 2015; Palocsay & Stevens， 2008）、医学（Payne， et al.， 2009）和心理学本科生的写作和阅读理解策略（Ray & Belden， 2007; Weston-Sementelli， Allen， & McNamara， 2018）。总体看，ITS在这些研究中的主要目的是向学生推送教学内容，同时也提供学习支持（提供自适应反馈以及涉及学习内容的问题的提示，发现学生在学习课程内容或完成练习过程碰到的困难或出现的错误）。

克朗等（Crown， et al.， 2011）把教授内容和与聊天机器人的对话结合起来，即学生同时也从这种对话中学到知识，他们称之为“基于文本的聊天代理”。这种教学方法更能促进具有主动性、反思性和思考性的以学生为中心的学习。达菲和阿泽韦多（Duffy & Azevedo， 2015）开发了一款ITS——MetaTutor，目的是教授人类循环系统但同时也通过系统自身的功能（计时器、使用不同学习策略的工具栏和学习目标等等）帮助学生进行自我调节学习。

（2）诊断学生的知识强项或缺陷和提供自动反馈

这一类有四项研究的ITS是一个计算机对学生的单向交流系统，发现学生的知识缺陷并提供反馈。在涉及STEM的三项研究中，两项通过反馈和监控学生行为在虚拟实验室提供虚拟帮助（Duarte， et al.， 2008; Ramírez， et al.， 2018），一项是单机ITS在计算机学科的应用（Paquette， Lebeau， Beaulieu， & Mayers， 2015）。此外，还有一项研究涉及ITS在第二语言学习中的应用（Dodigovic， 2007）。

两项研究的诊断错误和提供反馈通过人机对话完成，一款是能通過识别问题与学习者进行交流的交互式泛在教学机器人（Umarani， Raviram， & Wahidabanu， 2011），另一款是基于大学物理入门的辅导对话工具包的辅导系统（Chi， VanLehn， Litman， & Jordan， 2011）。这款辅导对话工具包（TuTalk）是另一项研究开发的同伴对话代理的核心（Howard， et al.， 2017），在这项研究中ITS与学生开展一对一解决问题的对话，交流可以通过语言和图形进行，而且是过程导向，协作解决问题而非常规辅导。这项研究可被视为同伴代理协作的例子。

（3）根据学生需要提供学习材料

这一类有两项研究着重学习材料的提供（Jeschike， et al.， 2007; Schiaffino， et al.， 2008），一项则是把这个功能当成该研究所开发的探测系统的一个特性进行介绍（Hall Jr. & Ko， 2008）。希夫里诺等（Schiaffino， et al.， 2008）开发了一款面向eLearning学生的eTeacher系统，通过观察他们的课程学习行为形成学生特征分析，向他们提供个性化帮助。该系统既能推荐相应的阅读材料和练习，也能推荐个性化行动。耶施克等（Jeschike， et al.， 2007）研究的是用于统计力学虚拟实验室的一款智能助理，该系统提供练习、学生学习评价以及适合具体学生的交互式课程材料。

（4）促进学习者协作

这一类只有两项研究：一项使用有利于促进学习的话步（talk moves）支持在线协作学习讨论（Adamson， et al.， 2014），另一项通过提供自动反馈、自动生成问题和分析学习过程促进协作写作（Calvo， et al.， 2011）。这两项研究均表明AI软件有促进学生协作的潜能，因此应该成为今后一个研究方向。

（5）教师其他方面的职能

如上所述，贝克和史密斯（Baker & Smith， 2019， p.12）区分面向学生的AI和面向教师的AI。但是，只有两篇ITS文章聚焦教师职能。卡萨马约等（Casamayor， et al.， 2009）研究如何通过监控和发现协作学习过程的冲突向教师提供帮助。该研究的智能助理向教师提供每一个小组成员学习情况，包括每个人的进步、以何种方式参与小组学习、发现有冲突情况时发出的提醒信息以及学习风格（登录之后的活动），方便教师适时采取干预措施。另一项研究是突出如何分摊教师的教学辅导工作（Chou， Huang， & Lin， 2011）。同样强调减轻教师工作量的还有池等的研究（Chi， et al.， 2011）。此外，很多面向学生的AI系统也会涉及教师职能，虽然它们的重点是帮助学生。

3. 考核和评价

这一类研究也是多数聚焦教与学的问题（86%，n=31），虽然有五项围绕机构层面的应用研究。阿纳多卢大学（Anadolu University）研究者使用Twitter API Twython获取学生在Twitter上提到该校远程开放教育系统使用情况方面的内容并采用情感分析法（sentiment analysis）分析这些内容，以便了解学生对该校在线远程教育的意见（Ozturk， Cicek， & Ergul， 2017）。研究者通过分析这些公开获取的数据了解学生的意见，因为他们可能无法从学校的学习管理系统获取这类信息，因此研究结果有助于改进正在使用的系统。有两项研究通过AI评估学生的先前学习认定。卡尔兹等（Kalz， et al.， 2008）采用潜在语义分析（Latent Semantic Analysis）和电子档案袋帮助学生设计个性化学习路径;比勒特斯卡等（Biletska， Biletskiy， Li， & Vovk， 2011）使用语义网络技术对学生在不同学校获得的资格证书进行换算，可能还包括课程介绍和主题，方便授予学分。另一项聚焦机构层面问题的研究（Sanchez， et al.， 2016）通过算法对照用人单位所要求的专业素养和能力培养学生，确保课程内容和业界需求一致。

总体看，AI应用能够非常准确和高效完成考核和评价工作。然而，由于需要对这些系统进行校准和训练（监督机器学习），它们更适合应用于学生规模大的课程或专业。

这类文章可以进一步分为四个子类：自动评分（n=13）、反馈（n=8）、评价学生的理解、投入和学术诚信（n=5）、评价教学（n=5）。

（1）自动评分

对自动作文评分（Automated Essay Scoring）系统的研究涉及各个学科（如生物学、医学、商学、英语作为第二语言等），但是多数在本科课程使用（n=10），包括以读写能力较差的学生为研究对象（Perin & Lauterbach， 2018）。吉尔尔等（Gierl， et al.， 2014）采用LightSIDE这款开源Java软件给医学研究生作文评分，结果显示计算机评分与教师评分的一致性介于94.6%到98.2%之间，因此在应对大规模考核的评分任务时能够减少人工费用和时间（Barker， 2011; McNamara， et al.， 2015）。但是，他们强调并非所有体裁的作文适合使用自动作文评分系统，而且由于需要使用大量预评分作文校准系统，因此不宜在小班教学中使用。借助算法分析回答文本的模式已被发现有助于鼓励学生做更多修改（Ma & Slater， 2015），不再只能依靠多项选择测试检查学生的知识和能力（Nehm， Ha， & Mayfield， 2012）。但是，自动作文评分系统的反馈质量一直引起关注（Dikli， 2010），贝克（Barker， 2011）发现系统提供的反馈越详细学生越有可能對分数提出质疑，也有研究质疑自动反馈对语言初学者的帮助（Aluthman， 2016）。

（2）反馈

这一类研究包括各种面向学生的工具，比如：在学生感到不解或停滞不前时向他们提供提示或指导的智能代理（Huang et al.， 2008）、向在飞行途中正在失去情景意识（situation awareness）的飞行学员发出警告的软件（Thatcher， 2014）和具备生成自动反馈、帮助学生提高写作水平的词汇功能的机器学习技术（Chodorow， Gammon， & Tetreault， 2010; Garcia-Gorrostieta， Lopez-Lopez， & Gonzalez-Lopez， 2018; Nguyen， 2017; Quixal & Meurers， 2016）。这些技术能防止学生认知超负荷（Yang， Wong， & Yeh， 2009）;基于自适应测试的自动反馈系统不仅能够根据布鲁姆的认知层次确定最恰当答案，而且还推荐额外材料和任务（Barker， 2010）。

（3）评价学生的理解、投入和学术诚信

有三项研究报告面向学生的工具评价学生理解概念（Jain， Gurupur， Schroeder， & Faulkenberry， 2014; Zhu， Marquez， & Yoo， 2015）和提供个性化帮助（Samarkou， et al.， 2015）的情况。侯赛恩等（Hussain， Zhu， Zhang， & Abidi， 2018）使用机器学习算法评价英国开放大学学生在一门社会科学课程的学习投入，包括最终成绩、考核分数和学生使用虚拟学习环境的情况，目的是提醒教师注意是否需要采取干预措施。阿米古德等（Amigud， Arnedo-Moreno， Daradoumis， & Guerrero-Roldan， 2017）使用机器学习算法评估学生作业雷同程度，检查他们的学术诚信。该研究的平均准确率为93%，因此证明这种方法能减少对监考员的需求或因需要登录学生账户引发的隐私关切。

（4）评价教学

有四项研究在课程评价中使用数据挖掘算法评价教师表现（Agaoglu， 2016; Ahmad & Rashid， 2016; DeCarlo & Rizk， 2010; Gutierrez， et al.， 2018），其中阿高格鲁（Agaoglu， 2016）使用四种不同分类技术后发现评价问卷的很多问题不恰当。有一项研究通过算法评价微分方程课上所使用的教学方法的影响，结果发现提供即时反馈的在线作业比课堂反应系统的效果更好（Duzhin & Gustafsson， 2018）。这项研究还发现，一般而言，以前考试成绩对后面的考试结果有良好的预测作用，但是无助于了解学生在基于项目的任务中的表现。

4. 自适应系统和个性化

这一类研究多数涉及教与学问题（85%，n= 23），也有四项研究旨在解决机构和行政管理层面的问题，其中两项研究聚焦本科生学习咨询指导（Alfarsi， Omar， & Alsinani， 2017; Feghali， Zbib， & Hallal， 2011），阮等（Nguyen， et al.， 2018）则是围绕AI支持大学提供就业服务的研究。吴等（Ng， Wong， Lee， & Lee， 2011）开发一款基于代理的远程学习管理系统，该系统允许用户获取各专业的数据，而不是仅限于使用某一个院系的数据，可用于管理资源、支持决策和机构制定政策以及帮助管理本科生学习流程（如入学、考试和课程管理）。

这些研究对自适应系统的称谓似乎不一致，这可能是因为自适应系统功能的多样性所致的结果。有些研究采用的术语类似于ITS的别称，如智能助理（Li， 2007; Ng， et al.， 2011）。最常用的名称是智能eLearning系统（Kose & Arslan， 2016）、自适应基于网站的学习系统（Lo， Chan， & Yeh， 2012）或智能教学系统（Ji & Liu， 2014）。如同ITS的研究一样，多数研究对系统进行描述或包含试点但并没有报告使用较长时间的结果，而且除了维格特等（Vlugter， et al.， 2009）的研究显示使用基于对话的计算机辅助语言学习系统的实验组在延迟后测的成绩比控制组低，其他研究通常只报告正面结果。

针对教与学问题的23项研究可以分成五个子类：教授课程内容（n=7）、推荐个性化内容（n=5）、支持教师教学设计（n=3）、使用学习数据监控和指导学生（n=2）、用概念图表征知识（n=2）。但是有些研究难以分类，因为其工具的使用目的特殊，包括帮助组建兴趣相同的在线学习小组（Yang， Wang， Shen， & Han， 2007）、支持模拟商业决定（Ben-Zvi， 2012）和使用具身会话代理改变神经性厌食病人的态度和行为（Sebastian & Richards， 2017）。阿帕利西奥等（Aparicio， et al.， 2018）的研究并不是分析自适应系统的应用情况，而是研究学生对信息系统（包括智能信息获取系统）应用于教育（尤其是生物医学教育）的看法。

（1）教授课程内容

这一类研究涉及多种课程，包括环境教育（Huang， 2018）、动画设计（Ji & Liu， 2014）、语言学习（Jia， 2009; Vlugter， Knott， McDonald， & Hall， 2009）、计算机科学（Iglesias， Martinez， Aler， & Fernandez， 2009）和生物学（Chaudhri， et al.， 2013）。沃世尔等（Walsh， Tamjidul， & Williams， 2017）介绍一款基于机器学习与人机学习共生的自适应系统，但没有说明应用于哪一个学科的教与学。

（2）推荐个性化内容

这一类研究根据学生在工商管理学（Hall & Ko， 2008）和计算机科学（Kose & Arslan， 2016; Lo， et al.， 2012）的学习行为分析结果向学生提供量身定制的内容、材料和练习。戴等（Tai， Wu， & Li， 2008）开发了一个旨在帮助在线学生选课的eLearning推荐系统，而托雷斯-迪亚兹等（Torres-Díaz， Infante Moro， & Valdiviezo Díaz， 2014）研究的则是慕课（自适应）推荐系统根据学生个人偏好建议他们采取相应行动、推荐新内容等的效果。

（3）支持教师教学设计

有三项研究属于这一类。一项是围绕一个教学模式混合推荐系统的研究，旨在帮助教师根据具体班级的情况制定教学策略（Cobos， et al.， 2013）;一项介绍一个基于元数据的模型，该模型能够进行自动学习设计，解决发现的问题（Camacho & Moreno， 2007）;一项是描述性研究（Li， 2007），作者认为智能代理能完成重复性工作，从而节省在线教师的时间，使教师更能把精力集中在创造性工作上。

（4）使用学习数据监控和指导学生

这一类研究的自适应系统能提取学生学习信息以做出相应诊断，使教师能主动提供个性化指导（Rovira， Puertas， & Igual， 2017）。此外，系统还能评价学生表现和提供个性化帮助和反馈，如“基于AI的学习者诊断、帮助和评价系统”（Learner Diagnosis， Assistance， and Evaluation System based on AI [StuDiAsE]）（Samarakou， et al.， 2015）。

（5）用概念图表征知识

概念图有助于培养学生对概念结构的自我意识。这一类的两项研究均涉及专家系统。一项旨在通过综合概念图系统（ICMSys）呈現同伴的观点，方便比较，减轻学生认知负荷，促进学生对概念的反思（Kao， Chen， & Sun， 2010）;另一项旨在帮助英语为外语的大学生运用照应（referential）关系思维导图提高阅读理解能力（Yang， Wong， & Yeh， 2009），这个系统还提供系统指导的教学、练习和反馈。

五、结论与进一步研究的启示

本文分析了AIEd研究的作者和发文期刊情况。研究发现，本领域的主要研究者是来自美国、中国、中国台湾地区和土耳其（占第一作者的50%）的学者，他们大多（62%）就职于计算机科学和STEM院系，主要发文期刊是《国际AIEd期刊》《计算机与教育》《国际新兴学习技术期刊》。

更重要的是，本综述显示AI在高等教育有广泛的应用潜能，包括向学生、教师和行政管理人员等提供支持。这些方面的应用被分为4大类（特征分析和预测、智能辅导系统、考核和评价，以及自适应系统和个性化）、17个子类。这样的分类有助于学界了解和认识AIEd的实践和研究。

纵向研究的匮乏，对技术进行描述性和试点研究为数可观，以及以定量方法为主，尤其是准实验方法的实证研究比比皆是，所有这些都说明，从对高等教育学习产生积极影响的角度看，AIEd实践与研究的创新性和意义仍有很大的提升空间，如可以采用基于设计的研究方法（Easterday， Rees Lewis， & Gerber， 2018）。最近一项文献综述显示有关教育技术促进个性化的研究也经常采用定量方法（Bartolomé， Casta?eda， & Adell， 2018）。米西约克和沃森（Misiejuk & Wasson， 2017， p. 61）在其学习分析文献综述中指出：“（有关学习分析的）实施研究和影响研究为数极少。”这一点也在本综述得到印证。

今天我们仍然无法预测AI发展的全面影响，但是AI应用似乎可能成为未来20年最为重要的教育技术问题之一。基于AI的工具和服务在学生在校学习生涯中向学生、教师和行政管理者提供支持上的潜力很大。本综述所归纳的各种应用为智能学生支持系统的设计和引导学生在自适应和个性化学习环境下进行学习提供巨大的教与学机会。对于大型高等教育机构（如远程开放教学大学）而言更是如此，因为AIEd能帮助它们克服向众多学生提供高等教育的机会（大众化高等教育）所面对的窘境。AIEd也能有助于它们提供灵活且具有交互性和个性化的学习机会。比如：AIEd能给数以百计，甚至是数以万计的作业评分，从而减轻教师的工作负担，使他们能够把精力放在充满人文关怀的教学上。

必須指出，教育技术不（仅仅）是关乎技术，我们应该关心的是AIEd在教学、伦理道德、社会、文化和经济等方面的意义。赛尔温（Selwyn， 2016， p. 106）指出：“当然，危险在于把数据和编码看成提供指导和支持的权威而非相对的依据。教育如此复杂，远非可以仅被简化为数据分析和算法。如同数字技术一样，数字化数据不能提供解决教育窘况的技术良方，不管分析结果可能显得有多么大的说服力。”

技术潜能不应该是我们追求的目标，我们应该经常自问：哪些（技术潜能）具有教学上的意义？教室的人脸识别技术（“智慧校园”[Smart Campus]①）在中国正被用于监控学生的课堂表现，并显示在教师的仪表盘上。这是教育监控的例子，诸如此类的系统能否给教师提供真正的增值服务，使其能够及时了解学习小组的动态（包括在线和在校园的情况），并相应采取富有人性关怀和教学意义的措施？这一点现在还远未定论。从这个意义上讲，我们必须有“关怀道德”（ethics of care）之心，开始思考我们是如何发挥嵌入AIEd应用之中的算法决策系统的潜能的。此外，我们也不应该忘记AI系统“首先需要人的控制。即使最智能化的AI系统也可能出现非常愚蠢的错误。……AI系统的智能充其量只能达到用于训练它们的数据的智慧程度”（Kaplan & Haenlein， 2019）。我们应该超越工具层面，重新关注学习和教学法问题，也不应该忽视数字技术应用于教育所涉及的人的因素（Casta?eda & Selwyn， 2018）。联合国教科文组织关于AIEd促进可持续发展的机会和挑战的报告涉及几个方面的内容，这些内容均包括重要的教学、社会和伦理道德问题，比如确保AIEd的包容和公平、确保教师为AI驱动的教育做好准备、开发优质和包容的数据系统、数据采集、使用和传播的伦理道德和透明度等（Pedró， et al.， 2019）。

本综述有一个令人吃惊的研究发现，即对于在高等教育实施AI应用可能在教学和伦理道德上带来的问题以及风险的批判性反思严重缺失。从伦理道德上讲，有一项学习分析文献综述也发现实证研究很少注意隐私问题（Misiejuk & Wasson， 2017）。如何把AI应用融合到学生在校学习生涯中？如何充分利用它们给创设智能教与学系统所带来的巨大机会？这些问题有待于教育工作者和学习设计者进一步研究。本综述显示来自教育学院系背景的作者比例非常低，由此可见我们必须重视从教育的角度看AI这些技术的发展。

总体看，理论缺失可能是教育技术领域的一种典型现象。丘等（Hew， et al.， 2019）发现三家一流教育技术期刊的文章中超过40%存在“去理论化”（a-theoretical）。巴托洛美等（Bartolomé， Casta?eda， & Adell， 2018）的综述也显示他们所分析的研究缺乏清楚的教育法视角。本综述的大多数研究把重点局限于分析和发现数据中的模式，目的是为了开发模型和面向学生和教师的应用，或使用几十年前提出的数学理论和机器学习方法支持行政管理上的决策（Russel & Norvig， 2010）。由于计算能力的发展和学生大数据唾手可得，这一类研究现在已经不是什么难事。然而，目前几乎没有证据表明AI驱动的教育技术促进了教学理论和学习心理学理论的发展。本综述一个重要的启示是：要鼓励研究者阐述围绕AIEd开发和实施的实证研究的理论基础，这样才能使研究结果得到推广，帮助我们了解（如本综述所示）将对高等教育机构带来巨大影响的AI发展的原因和机制。

[参考文献]

Acikkar， M.， & Akay， M. F. （2009）. Support vector machines for predicting the admission decision of a candidate to the School of Physical Education and Sports at Cukurova University. Expert Systems with Applications， 36（3 PART 2）， 7228-7233. https：//doi.org/10.1016/j.eswa.2008.09.007

Adamson， David， Dyke， G.， Jang， H.， & Penstein Rosé， C. （2014）. Towards an Agile Approach to Adapting Dynamic Collaboration Support to Student Needs. International Journal of Artificial Intelligence in Education， 24（1）， 92-124. https：//doi.org/10.1007/s40593-013-0012-6

Agaoglu， M. （2016）. Predicting Instructor Performance Using Data Mining Techniques in Higher Education. IEEE ACCESS， 4， 2379-2387. https：//doi.org/10.1109/ACCESS.2016.2568756

Ahmad， H.， & Rashid， T. （2016）. Lecturer performance analysis using multiple classifiers. Journal of Computer Science， 12（5）， 255-264. https：//doi.org/10.3844/fjcssp.2016.255.264

Alfarsi， G. M. S.， Omar， K. A. M.， & Alsinani， M. J. （2017）. A Rule-Based System for Advising Undergraduate Students. Journal of Theoretical and Applied Information Technology， 95（11）. Retrieved from http：//www.jatit.org

Alkhasawneh，? R.， & Hargraves，? R. H. （2014）. Developing a hybrid model to predict student first year retention in STEM disciplines using machine learning techniques. Journal of STEM Education： Innovations & Research， 15（3）， 35-42. https：//core.ac.uk/download/pdf/51289621.pdf

Aluko， R. O.， Adenuga， O. A.， Kukoyi， P. O.， Soyingbe， A. A.， & Oyedeji， J. O. （2016）. Predicting the academic success of architecture students by pre-enrolment requirement： using machine-learning techniques. Construction Economics and Building， 16（4）， 86-98. https：//doi.org/10.5130/AJCEB.v16i4.5184

Aluthman， E. S. （2016）. The Effect of Using Automated Essay Evaluation on ESL Undergraduate Students Writing Skill. International Journal of English Linguistics， 6（5）， 54-67. https：//doi.org/10.5539/ijel.v6n5p54

Amigud， A.， Arnedo-Moreno， J.， Daradoumis， T.， & Guerrero-Roldan， A.-E. （2017）. Using learning analytics for preserving academic integrity. International Review of Research in Open and Distance Learning， 18（5）， 192-210. DOI： 10.19173/irrodl.v18i5.3103

Andris， C.， Cowen， D.， & Wittenbach， J. （2013）. Support Vector Machine for Spatial Variation. Transactions in GIS， 17（1）， 41-61. https：//doi.org/10.1111/j.1467-9671.2012.01354.x

Aparicio， F.， Morales-Botello， M. L.， Rubio， M.， Hernando， A.， Mu?oz， R.， López-Fernández， H.， … Buenaga， M. de. （2018）. Perceptions of the use of intelligent information access systems in university level active learning activities among teachers of biomedical subjects. International Journal of Medical Informatics， 112（December 2017）， 21-33. https：//doi.org/10.1016/j.ijmedinf.2017.12.016

Babic， I. D. （2017）. Machine learning methods in predicting the student academic motivation. Croatian Operational Research Review， 8（2）， 443-461. https：//doi.org/10.17535/crorr.2017.0028

Bahad?r， E. （2016）. Using neural network and logistic regression analysis to predict prospective mathematics teachers academic success upon entering graduate education. Kuram ve Uygulamada Egitim Bilimleri， 16（3）， 943-964. https：//doi.org/10.12738/estp.2016.3.0214

Bakeman， R.， & Gottman， J. M. （1997）. Observing interaction-an introduction to sequential analysis. Cambridge： Cambridge University Press.

Baker， R. S. （2016）. Stupid Tutoring Systems， Intelligent Humans. International Journal of Artificial Intelligence in Education， 26（2）， 600-614. https：//doi.org/10.1007/s40593-016-0105-0

Baker， T.， & Smith， L. （2019）. Educ-AI-tion Rebooted？ Exploring the future of artificial intelligence in schools and colleges. Retrieved from Nesta Foundation website： https：//media.nesta.org.uk/documents/Future of AI and education v5 WEB.pdf

Barker， T. （2010）. An automated feedback system based on adaptive testing： Extending the model. International Journal of Emerging Technologies in Learning， 5（2）， 11-14. https：//doi.org/10.3991/ijet.v5i2.1235

Barker， T. （2011）. An Automated Individual Feedback and Marking System： An Empirical Study. Electronic Journal of E-Learning， 9（1）， 1-14. https：//www.learntechlib.org/p/52053/

Bartolomé， A.， Casta?eda， L.， & Adell， J. （2018）. Personalisation in educational technology： the absence of underlying pedagogies. International Journal of Educational Technology in Higher Education， 15（14）. https：//doi.org/10.1186/s41239-018-0095-0

Ben-Zvi， T. （2012）. Measuring the perceived effectiveness of decision support systems and their impact on performance. Decision Support Systems， 54（1）， 248-256. https：//doi.org/10.1016/j.dss.2012.05.033

Biletska， O.， Biletskiy， Y.， Li， H.， & Vovk， R. （2010）. A semantic approach to expert system for e-Assessment of credentials and competencies. Expert Systems with Applications， 37（10）， 7003-7014. https：//doi.org/10.1016/j.eswa.2010.03.018

Blikstein， P.， Worsley， M.， Piech， C.， Sahami， M.， Cooper， S.， & Koller， D. （2014）. Programming Pluralism： Using Learning Analytics to Detect Patterns in the Learning of Computer Programming. Journal of the Learning Sciences， 23（4）， 561-599. https：//doi.org/10.1080/10508406.2014.954750

Brunton，? J.， & Thomas，? J. （2012）. Information management in systematic reviews. In D. Gough， S. Oliver， & J. Thomas （Eds.）， An introduction to systematic reviews （pp. 83-106）. London： SAGE.

Calvo， R. A.， ORourke， S. T.， Jones， J.， Yacef， K.， & Reimann， P. （2011）. Collaborative Writing Support Tools on the Cloud. IEEE Transactions on Learning Technologies， 4（1）， 88-97. https：//www.learntechlib.org/p/73461/

Camacho， D.， & Moreno， M. D. R. （2007）. Towards an automatic monitoring for higher education Learning Design. International Journal of Metadata， Semantics and Ontologies， 2（1）， 1-1. https：//doi.org/10.1504/ijmso.2007.015071

Casamayor， A.， Amandi， A.， & Campo， M. （2009）. Intelligent assistance for teachers in collaborative e-Learning environments. Computers & Education， 53（4）， 1147-1154. https：//doi.org/10.1016/j.compedu.2009. 05.025

Casta?eda， L. & Selwyn， N. （2018）. More than tools？ Making sense of the ongoing digitizations of higher education. International Journal of Educational Technology in Higher Education， 15（22）. https：//doi.org/10.1186/s41239-018-0109-y

Chaudhri， V. K.， Cheng， B.， Overtholtzer， A.， Roschelle， J.， Spaulding， A.， Clark， P.， … Gunning， D. （2013）. Inquire Biology： A Textbook that Answers Questions. AI Magazine， 34（3）， 55-55. https：//doi.org/10.1609/aimag.v34i3.2486

Chen， J.-F.， & Do， Q. H. （2014）. Training neural networks to predict student academic performance： A comparison of cuckoo search and gravitational search algorithms. International Journal of Computational Intelligence and Applications， 13（1）. https：//doi.org/10.1142/S14690268 14500059

Chi， M.， VanLehn， K.， Litman， D.， & Jordan， P. （2011）. Empirically evaluating the application of reinforcement learning to the induction of effective and adaptive pedagogical strategies. User Modeling and User-Adapted Interaction， 21（1）， 137-180. DOI 10.1007/s11257-010- 9093-1

Chodorow， M.， Gamon， M.， & Tetreault， J. （2010）. The utility of article and preposition error correction systems for English language learners： Feedback and assessment. Language Testing， 27（3）， 419-436. https：//doi.org/10.1177/0265532210364391

Chou， C.-Y.， Huang， B.-H.， & Lin， C.-J. （2011）. Complementary machine intelligence and human intelligence in virtual teaching assistant for tutoring program tracing. Computers & Education， 57（4）， 2303-2312. https：//www.learntechlib.org/p/167322/

Cobos， C.， Rodriguez， O.， Rivera， J.， Betancourt， J.， Mendoza， M.， León， E.， & Herrera-Viedma， E. （2013）. A hybrid system of pedagogical pattern recommendations based on singular value decomposition and variable data attributes. Information Processing and Management， 49（3）， 607-625. https：//doi.org/10.1016/j.ipm.2012.12.002

Cohen， J. （1960）. A coefficient of agreement for nominal scales. Educational and Psychological Measurement， 20， 37-46. https：//doi.org/10.1177/001316446002000104

Contact North. （2018）. Ten facts about artificial intelligence in teaching and learning. Retrieved from https：//teachonline.ca/sites/default/files/tools-trends/downloads/ten_facts_about_artificial_intelligence.pdf

Crown， S.， Fuentes， A.， Jones， R.， Nambiar， R.， & Crown， D. （2011）. Anne G. Neering： Interactive chatbot to engage and motivate engineering students. Computers in Education Journal， 21（2）， 24-34.

DeCarlo， P.， & Rizk， N. （2010）. The design and development of an expert system prototype for enhancing exam quality. International Journal of Advanced Corporate Learning， 3（3）， 10-13. https：//doi.org/10.3991/ijac.v3i3.1356

Delen， D. （2011）. Predicting student attrition with data mining methods. Journal of College Student Retention： Research， Theory and Practice， 13（1）， 17-35. https：//doi.org/10.2190/CS.13.1.b

Delen， D. （2010）. A comparative analysis of machine learning techniques for student retention management. Decision Support Systems， 49（4）， 498-506. https：//doi.org/10.1016/j.dss.2010.06.003

Dikli， S. （2010）. The Nature of Automated Essay Scoring Feedback. CALICO Journal， 28（1）， 99-134. DOI： 10.11139/cj.28.1.99-134

Dobre， I. （2014）. Assessing the students knowledge in informatics discipline using the METEOR metric. Mediterranean Journal of Social Sciences， 5（19）， 84-92. DOI： 10.5901/mjss.2014.v5n19p84

Dodigovic， M. （2007）. Artificial Intelligence and Second Language Learning： An Efficient Approach to Error Remediation. Language Awareness， 16（2）， 99-113. https：//doi.org/10.2167/la416.0

Duarte， M.， Butz， B.， Miller， S.， & Mahalingam， A. （2008）. An Intelligent Universal Virtual Laboratory （UVL）. IEEE Transactions on Education， 51（1）， 2-9. DOI： 10.1109/SSST.2002.1027009

Duffy， M. C.， & Azevedo， R. （2015）. Motivation matters： Interactions between achievement goals and agent scaffolding for self-regulated learning within an intelligent tutoring system. Computers in Human Behavior， 52， 338-348. https：//doi.org/10.1016/j.chb.2015.05.041

Duzhin， F.， & Gustafsson， A. （2018）. Machine Learning-Based App for Self-Evaluation of Teacher-Specific Instructional Style and Tools. Education Sciences， 8（1）. https：//doi.org/10.3390/educsci8010007

Easterday， M. W.， Rees Lewis， D. G.， & Gerber， E. M. （2018）. The logic of design research. Learning： Research and Practice， 4（2）， 131-160. https：//doi.org/10.1080/23735082.2017.1286367

EDUCAUSE. （2018）. Horizon Report： 2018 Higher Education Edition. Retrieved from EDUCAUSE Learning Initiative and The New Media Consortium website： https：//library.educause.edu/～/media/files/library/ 2018/8/2018horizonreport.pdf

EDUCAUSE. （2019）. Horizon Report： 2019 Higher Education Edition. Retrieved from EDUCAUSE Learning Initiative and The New Media Consortium website： https：//library.educause.edu/-/media/files/library/ 2019/4/2019horizonreport.pdf

Feghali， T.， Zbib， I.， & Hallal， S. （2011）. A web-based decision support tool for academic advising. Educational Technology and Society， 14（1）， 82-94. https：//www.learntechlib.org/p/52325/

Feng， S.， Zhou， S.， & Liu， Y. （2011）. Research on data mining in university admissions decision-making. International Journal of Advancements in Computing Technology， 3（6）， 176-186. https：//doi.org/10. 4156/ijact.vol3.issue6.21

Fleiss， J. L. （1981）. Statistical methods for rates and proportions. New York： Wiley.

Ge， C.， & Xie， J. （2015）. Application of Grey Forecasting Model Based on Improved Residual Correction in the Cost Estimation of University Education. International Journal of Emerging Technologies in Learning， 10（8）， 30-33. DOI： 10.3991/ijet.v10i8.5215

Gierl， M.， Latifi， S.， Lai， H.， Boulais， A.， & Champlain， A. （2014）. Automated essay scoring and the future of educational assessment in medical education. Medical Education， 48（10）， 950-962. https：//doi.org/10.1111/medu.12517

Gough， D.， Oliver， S.， & Thomas， J. （2017）. An introduction to systematic reviews （2nd edition）. Los Angeles： SAGE.

Gutierrez， G.， Canul-Reich， J.， Ochoa Zezzatti， A.， Margain， L.， & Ponce， J. （2018）. Mining： Students Comments about Teacher Performance Assessment using Machine Learning Algorithms. International Journal of Combinatorial Optimization Problems and Informatics， 9（3）， 26-40. https：//ijcopi.org/index.php/ojs/article/view/99

Hall， O. P.， & Ko， K. （2008）. Customized content delivery for graduate management education： Application to business statistics. Journal of Statistics Education， 16（3）. https：//doi.org/10.1080/10691898.2008. 11889571

Haugeland， J. （1985）. Artificial intelligence： The very idea. Cambridge， Mass.： MIT Press

Hew， K. F.， Lan， M.， Tang， Y.， Jia， C.， & Lo， C. K. （2019）. Where is the “theory” within the field of educational technology research？ British Journal of Educational Technology， 50（3）， 956-971. https：//doi.org/10.1111/bjet.12770

Hinojo-Lucena， F.-J.， Aznar-Díaz， I.， Cáceres-Reche， M.-P.， & Romero-Rodríguez， J.-M. （2019）. Artificial Intelligence in Higher Education： A Bibliometric Study on its Impact in the Scientific Literature. Education Sciences， 9（1）， 51. https：//doi.org/10.3390/educsci9010051

Hoffait， A.-S.， & Schyns， M. （2017）. Early detection of university students with potential difficulties. DECISION SUPPORT SYSTEMS， 101， 1-11. https：//doi.org/10.1016/j.dss.2017.05.003

Hooshyar， D.， Ahmad， R.， Yousefi， M.， Yusop， F.， & Horng， S. （2015）. A flowchart-based intelligent tutoring system for improving problem-solving skills of novice programmers. Journal of Computer Assisted Learning， 31（4）， 345-361. https：//doi.org/10.1111/jcal.12099

Howard， C.， Jordan， P.， di Eugenio， B.， & Katz， S. （2017）. Shifting the Load： a Peer Dialogue Agent that Encourages its Human Collaborator to Contribute More to Problem Solving. International Journal of Artificial Intelligence in Education， 27（1）， 101-129. https：//doi.org/10.1007/s40593-015-0071-y

Howard， E.， Meehan， M.， & Parnell， A. （2018）. Contrasting prediction methods for early warning systems at undergraduate level. Internet and Higher Education， 37， 66-75. https：//doi.org/10.1016/j.iheduc.2018.02.001

Huang， C.-J.， Chen， C.-H.， Luo， Y.-C.， Chen， H.-X.， & Chuang， Y.-T. （2008）. Developing an Intelligent Diagnosis and Assessment E-learning Tool for Introductory Programming. Educational Technology & Society， 11（4）， 139-157. https：//www.jstor.org/stable/jeductechsoci.11. 4.139

Huang， J.， & Chen， Z. （2016）. The research and design of web-based intelligent tutoring system. International Journal of Multimedia and Ubiquitous Engineering， 11（6）， 337-348. https：//doi.org/10.14257/ijmue.2016.11.6.30

Huang， S. P. （2018）. Effects of using artificial intelligence teaching system for environmental education on environmental knowledge and attitude. Eurasia Journal of Mathematics， Science and Technology Education， 14（7）， 3277-3284. https：//doi.org/10.29333/ejmste/91248

Hussain， M.， Zhu， W.， Zhang， W.， & Abidi， S. M. R. （2018）. Student engagement predictions in an e-Learning system and their impact on student course assessment scores. Computational Intelligence and Neuroscience. https：//doi.org/10.1155/2018/6347186

Iglesias， A.， Martinez， P.， Aler， R.， & Fernandez， F. （2009）. Reinforcement learning of pedagogical policies in adaptive and intelligent educational systems. Knowledge-Based Systems， 22（4）， 266-270. https：//e-archivo.uc3m.es/bitstream/handle/10016/6502/reinforcement_aler_KBS_2009_ps.pdf？sequence=1&isAllowed=y

Tegmark， M. （2018）. Life 3.0： Being human in the age of artificial intelligence. London： Penguin Books.

Thatcher， S. J. （2014）. The use of artificial intelligence in the learning of flight crew situation awareness in an undergraduate aviation programme. World Transactions on Engineering and Technology Education， 12（4）， 764-768. https：//www.semanticscholar.org/paper/The-use- of-artificial-intelligence-in-the-learning-Thatcher/758d305305151 1cde2f28fc6b2181b8e227f8ea2

Torres-Díaz， J. C.， Infante Moro， A.， & Valdiviezo Díaz， P. （2014）. Los MOOC y la masificación personalizada. Profesorado， 18（1）， 63-72. http：//www.redalyc.org/articulo.oa？id=56730662005

Umarani， S. D.， Raviram， P.， & Wahidabanu， R. S. D. （2011）. Speech based question recognition of interactive ubiquitous teaching robot using supervised classifier. International Journal of Engineering and Technology， 3（3）， 239-243. http：//www.enggjournals.com/ijet/docs/IJET11-03-03-35.pdf

Umer， R.， Susnjak， T.， Mathrani， A.， & Suriadi， S. （2017）. On predicting academic performance with process mining in learning analytics. Journal of Research in Innovative Teaching， 10（2）， 160-176. https：//doi.org/10.1108/JRIT-09-2017-0022

Vlugter， P.， Knott， A.， McDonald， J.， & Hall， C. （2009）. Dialogue-based CALL： A case study on teaching pronouns. Computer Assisted Language Learning， 22（2）， 115-131. https：//doi.org/10.1080/095882209 02778260

Walsh， K.， Tamjidul， H.， & Williams， K. （2017）. Human Machine Learning Symbiosis. Journal of Learning in Higher Education， 13（1）， 55-62. http：//cs.uno.edu/～tamjid/pub/2017/JLHE.pdf

Welham， D. （2008）. AI in training （1980-2000）： Foundation for the future or misplaced optimism？ British Journal of Educational Technology， 39（2）， 287-303. https：//doi.org/10.1111/j.1467-8535.2008.00818.x

Weston-Sementelli， J. L.， Allen， L. K.， & McNamara， D. S. （2018）. Comprehension and Writing Strategy Training Improves Performance on Content-Specific Source-Based Writing Tasks. International Journal of Artificial Intelligence in Education， 28（1）， 106-137. https：//doi.org/10.1007/s40593-016-0127-7

Wickham， H.， & Grolemund， G. （2016）. R for data science： Import， tidy， transform， visualize， and model data （First edition）. Sebastopol， CA： O Reilly.

Yang， F.， Wang， M.， Shen， R.， & Han， P. （2007）. Community-organizing agent： An artificial intelligent system for building learning communities among large numbers of learners. Computers & Education， 49（2）， 131-147. https：//doi.org/10.1016/j.compedu.2005.04.019

Yang， Y. F.， Wong， W. K.， & Yeh， H. C. （2009）. Investigating readers mental maps of references in an online system. Computers and Education， 53（3）， 799-808. https：//doi.org/10.1016/j.compedu.2009.04.016

Yoo， J.， & Kim， J. （2014）. Can Online Discussion Participation Predict Group Project Performance？ Investigating the Roles of Linguistic Features and Participation Patterns. International Journal of Artificial Intelligence in Education， 24（1）， 8-32. https：//www.learntechlib.org/p/155243/

Zhu， W.， Marquez， A.， & Yoo， J. （2015）. “Engineering Economics Jeopardy！” Mobile App for University Students. Engineering Economist， 60（4）， 291-306. https：//doi.org/10.1080/0013791X.2015.1067343

責任编辑韩世梅

Jackson， M.， & Cossitt， B. （2015）. Is intelligent online tutoring software useful in refreshing financial accounting knowledge？ Advances in Accounting Education： Teaching and Curriculum Innovations， 16， 1-19. https：//doi.org/10.1108/S1085-462220150000016001

Jain， G. P.， Gurupur， V. P.， Schroeder， J. L.， & Faulkenberry， E. D. （2014）. Artificial Intelligence-Based Student Learning Evaluation： A Concept Map-Based Approach for Analyzing a Students Understanding of a Topic. IEEE Transactions on Learning Technologies， 7（3）， 267-279. DOI： 10.1109/TLT.2014.2330297

Jeschike， M.， Jeschke， S.， Pfeiffer， O.， Reinhard， R.， & Richter， T. （2007）. Equipping Virtual Laboratories with Intelligent Training Scenarios. AACE Journal， 15（4）， 413-436. https：//www.learntechlib.org/primary/p/23636/

Ji， Y.， & Liu， Y. （2014）. Development of an Intelligent Teaching System Based on 3D Technology in the Course of Digital Animation Production. International Journal of Emerging Technologies in Learning， 9（9）， 81-86. https：//doi.org/10.3991/ijet.v11i09.6116

Jia， J. （2009）. An AI Framework to Teach English as a Foreign Language： CSIEC. AI Magazine， 30（2）， 59-59. https：//doi.org/10.1609/aimag.v30i2.2232

Jonassen， D.， Davidson， M.， Collins， M.， Campbell， J.， & Haag， B. B. （1995）. Constructivism and computer-mediated communication in distance education. American Journal of Distance Education， 9（2）， 7-25. https：//doi.org/10.1080/08923649509526885

Kalz， M.， van Bruggen， J.， Giesbers， B.， Waterink， W.， Eshuis， J.， & Koper， R. （2008）. A model for new linkages for prior learning assessment. Campus-Wide Information Systems， 25（4）， 233-243. https：//doi.org/10.1108/10650740810900676

Kao， Chen， & Sun. （2010）. Using an E-Learning System with Integrated Concept Maps to Improve Conceptual Understanding. International Journal of Instructional Media， 37（2）， 151-151.

Kaplan， A.， & Haenlein， M. （2019）. Siri， Siri， in my hand： Whos the fairest in the land？ On the interpretations， illustrations， and implications of artificial intelligence. Business Horizons， 62（1）， 15-25. https：//doi.org/10.1016/j.bushor.2018.08.004

Kardan， A. A.， & Sadeghi， H. （2013）. A Decision Support System for Course Offering in Online Higher Education Institutes. International Journal of Computational Intelligence Systems， 6（5）， 928-942. https：//doi.org/10.1080/18756891.2013.808428

Kardan， A. A.， Sadeghi， H.， Ghidary， S. S.， & Sani， M. R. F. （2013）. Prediction of student course selection in online higher education institutes using neural network. Computers and Education， 65， 1-11. https：//doi.org/10.1016/j.compedu.2013.01.015

Kose， U.， & Arslan， A. （2016）. Intelligent E-Learning System for Improving Students Academic Achievements in Computer Programming Courses. International Journal of Engineering Education， 32（1， A）， 185-198.

Li， X. （2007）. Intelligent Agent-Supported Online Education. Decision Sciences Journal of Innovative Education， 5（2）， 311-331. https：//doi.org/10.1111/j.1540-4609.2007.00143.x

Lo， J. J.， Chan， Y. C.， & Yeh， S. W. （2012）. Designing an adaptive web-based learning system based on students cognitive styles identified online. Computers and Education， 58（1）， 209-222. https：//doi.org/10.1016/j.compedu.2011.08.018

Lodhi， P.， Mishra， O.， Jain， S.， & Bajaj， V. （2018）. StuA： An Intelligent Student Assistant. International Journal of Interactive Multimedia and Artificial Intelligence， 5（2）， 17-25. https：//doi.org/10.9781/ijimai. 2018.02.008

Luckin， R.， Holmes， W.， Griffiths， M.， & Forcier， L. B. （2016）. Intelligence unleashed-an argument for AI in education. Retrieved from http：//discovery.ucl.ac.uk/1475756/

Ma， H.， & Slater， T. （2015）. Using the Developmental Path of Cause to Bridge the Gap between AWE Scores and Writing Teachers Evaluations. Writing & Pedagogy， 7（2）， 395-422. https：//doi.org/10.1558/wap.v7i2-3.26376

McNamara， D. S.， Crossley， S. A.， Roscoe， R. D.， Allen， L. K.， & Dai， J. （2015）. A hierarchical classification approach to automated essay scoring. Assessing Writing， 23， 35-59. https：//doi.org/10.1016/j.asw.2014. 09.002

Misiejuk， K.， & Wasson， B. （2017）. State of the Field report on Learning Analytics. SLATE Report 2017-2. Bergen： Centre for the Science of Learning & Technology （SLATE）. Retrieved from http：//bora.uib.no/handle/1956/17740

Miwa， K.， Terai， H.， Kanzaki， N.， & Nakaike， R. （2014）. An intelligent tutoring system with variable levels of instructional support for instructing natural deduction. Transactions of the Japanese Society for Artificial Intelligence， 29（1）， 148-156. https：//doi.org/10.1527/tjsai.29.148

Moher，? D.， Liberati，? A.， Tetzlaff，? J.， & Altman，? D. G. （2009）. Preferred reporting items for systematic reviews and meta-analyses： The PRISMA statement. BMJ. Clinical Research Ed.， 339， b2535. https：//doi.org/10.1136/bmj.b2535

Nehm， R. H.， Ha， M.， & Mayfield， E. （2012）. Transforming Biology Assessment with Machine Learning： Automated Scoring of Written Evolutionary Explanations. Journal of Science Education and Technology， 21（1）， 183-196. https：//doi.org/10.1007/s10956-011-9300-9

Neumann， W. L. （2007）. Social research methods： Qualitative and quantitative approaches. Boston： Pearson.

Ng， S. C.， Wong， C. K.， Lee， T. S.， & Lee， F. Y. （2011）. Design of an Agent-based Academic Information System for Effective Education Management. Information Technology Journal， 10（9）， 1784-1788. https：//doi.org/10.3923/itj.2011.1784.1788

Nguyen， J.， Sánchez-Hernández， G.， Armisen， A.， Agell， N.， Rovira， X.， & Angulo， C. （2018）. A linguistic multi-criteria decision-aiding system to support university career services. Applied Soft Computing Journal， 67， 933-940. https：//doi.org/10.1016/j.asoc.2017.06.052

Nicholas，? D.， Watkinson，? A.， Jamali，? H. R.， Herman，? E.， Tenopir，? C.， Volentine，? R.， . . . Levine，? K. （2015）. Peer review： still king in the digital age. Learned Publishing， 28（1）， 15-21. https：//doi.org/10.1087/20150104

Oztekin， A. （2016）. A hybrid data analytic approach to predict college graduation status and its determinative factors. Industrial Management and Data Systems， 116（8）， 1678-1699. https：//doi.org/10.1108/IMDS-09-2015-0363

Ozturk， Z. K.， Cicek， Z. I. E.， & Ergul， Z. （2017）. Sentiment Analysis： an Application to Anadolu University. Acta Physica Polonica A， 132（3）， 753-755. DOI： 10.12693/APhysPolA.132.753

Palocsay， S. W.， & Stevens， S. P. （2008）. A Study of the Effectiveness of Web-Based Homework in Teaching Undergraduate Business Statistics. Decision Sciences Journal of Innovative Education， 6（2）， 213-232. https：//doi.org/10.1111/j.1540-4609.2008.00167.x

Paquette， L.， Lebeau， J. F.， Beaulieu， G.， & Mayers， A. （2015）. Designing a Knowledge representation approach for the generation of pedagogical interventions by MTTs. International Journal of Artificial Intelligence in Education， 25（1）， 118-156. https：//www.learntechlib.org/p/168275/

Payne， V. L.， Medvedeva， O.， Legowski， E.， Castine， M.， Tseytlin， E.， Jukic， D.， & Crowley， R. S. （2009）. Effect of a limited-enforcement intelligent tutoring system in dermatopathology on student errors， goals and solution paths. Artificial Intelligence in Medicine， 47（3）， 175-197. https：//doi.org/10.1016/j.artmed.2009.07.002

Pedró， F.， Subosa， M.， Rivas， A.， & Valverde， P. （2019）. Artificial intelligence in education： challenges and opportunities for sustainable development. Paris： UNESCO.

Perez， S.， Massey-Allard， J.， Butler， D.， Ives， J.， Bonn， D.， Yee， N.， & Roll， I. （2017）. Identifying Productive Inquiry in Virtual Labs Using Sequence Mining. In E. André， R. Baker， X. Hu， Ma. M. T. Rodrigo， & B. du Boulay （Eds.）， Artificial Intelligence in Education （Vol. 10331， pp. 287-298）. https：//doi.org/10.1007/978-3-319-61425-0 24

Perin， D.， & Lauterbach， M. （2018）. Assessing Text-Based Writing of Low-Skilled College Students. International Journal of Artificial Intelligence in Education， 28（1）， 56-78. https：//doi.org/10.1007/s40593- 016-0122-z

Petticrew， M.， & Roberts， H. （2006）. Systematic reviews in the social sciences： A practical guide. Malden， MA; Oxford： Blackwell Pub.

Phani Krishna， K. V.， Mani Kumar， M.， & Aruna Sri， P. S. G. （2018）. Student information system and performance retrieval through dashboard. International Journal of Engineering and Technology（UAE）， 7， 682-685. DOI： 10.14419/ijet.v7i2.7.10922

Popenici， S.， & Kerr， S. （2017）. Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning. DOI： 10.1186/s41039- 017-0062-8

Prinsloo， P. （2017）. Fleeing from Frankensteins monster and meeting Kafka on the way： Algorithmic decision-making in higher education. E-Learning and Digital Media， 14（3）， 138-163. https：//doi.org/10.1177/2042753017731355

Quixal， M.， Meurers， Detmar. （2016）. How can Writing Tasks be Characterized in a way serving Pedagogical Goals and Automatic Analysis Needs？ Calico Journal， 33（1）， 19-48. https：//doi.org/10.1558/cj.v33i1.26543

Raju， D.， & Schumacker， R. （2015）. Exploring student characteristics of retention that lead to graduation in higher education using data mining models. Journal of College Student Retention： Research， Theory and Practice， 16（4）， 563-591. https：//doi.org/10.2190/CS.16.4.e

Ramírez， J.， Rico， M.， Riofrío-Luzcando， D.， Berrocal-Lobo， M.， & Antonio， A. （2018）. Students Evaluation of a Virtual World for Procedural Training in a Tertiary-Education Course. Journal of Educational Computing Research， 56（1）， 23-47. https：//doi.org/10.1177/0735633117706047

Ray， R. D.， & Belden， N. （2007）. Teaching College Level Content and Reading Comprehension Skills Simultaneously via an Artificially Intelligent Adaptive Computerized Instructional System. Psychological Record， 57（2）， 201-218. https：//opensiuc.lib.siu.edu/cgi/viewcontent.cgi？referer=https：//www.google.com/&httpsredir=1&article=1103&co ntext=tpr

Reid， J. （1995）. Managing learner support. In F. Lockwood （Ed.）， Open and distance learning today （pp. 265-275）. London： Routledge.

Rovira， S.， Puertas， E.， & Igual， L. （2017）. Data-driven system to predict academic grades and dropout. PLoS ONE， 12（2）， 1-21. https：//doi.org/10.1371/journal.pone.0171207

Russel， S.， & Norvig， P. （2010）. Artificial Intelligence-A Modern Approach. New Jersey： Pearson Education.

Salmon， G. （2000）. E-Moderating-The key to teaching and learning online （1st ed.）. London： Routledge.

Samarakou， M.， Fylladitakis， E. D.， Früh， W. G.， Hatziapostolou， A.， & Gelegenis， J. J. （2015）. An advanced eLearning environment developed for engineering learners. International Journal of Emerging Technologies in Learning， 10（3）， 22-33. https：//doi.org/10.3991/ijet.v10i3.4484

Sanchez， E. L.， Santos-Olmo， A.， Alvarez， E.， Huerta， M.， Camacho， S.， & Fernandez-Medina， E. （2016）. Development of an expert system for the evaluation of students curricula on the basis of competencies. FUTURE INTERNET， 8（2）. https：//doi.org/10.3390/fi8020022

Schiaffino， S.， Garcia， P.， & Amandi， A. （2008）. eTeacher： Providing personalized assistance to e-learning students. Computers & Education， 51（4）， 1744-1754. https：//doi.org/10.1016/j.compedu.2008.05.008

Sebastian， J.， & Richards， D. （2017）. Changing stigmatizing attitudes to mental health via education and contact with embodied conversational agents. Computers in Human Behavior， 73， 479-488. https：//doi.org/10.1016/j.chb.2017.03.071

Selwyn， N. （2016）. Is technology good for education？ Cambridge， UK： Malden， MA ： Polity Press.

Shen， V. R. L.， & Yang， C.-Y. （2011）. Intelligent Multiagent Tutoring System in Artificial Intelligence. International Journal of Engineering Education， 27（2）， 248-256.

?imundi， A.-M. （2009）. Measures of diagnostic accuracy： basic definitions. Journal of the International Federation of Clinical Chemistry and Laboratory Medicine， 19（4）， 203-2011. https：//www.ncbi.nlm.nih.gov/pubmed/27683318

Smith，? R. （2006）. Peer review： a flawed process at the heart of science and journals. Journal of the Royal Society of Medicine， 99， 178-182. DOI： 10.1258/jrsm.99.4.178

Spikol， D.， Ruffaldi， E.， Dabisias， G.， & Cukurova， M. （2018）. Supervised machine learning in multimodal learning analytics for estimating success in project‐based learning. Journal of Computer Assisted Learning， 34（4）， 366-377. https：//doi.org/10.1111/jcal.12263

Sreenivasa Rao， K.， Swapna， N.， & Praveen Kumar， P. （2018）. Educational data mining for student placement prediction using machine learning algorithms. International Journal of Engineering and Technology（UAE）， 7（1.2）， 43-46. DOI： 10.14419/ijet.v7i1.2.8988

Steenbergen-Hu， S.， & Cooper， H. （2014）. A meta-analysis of the effectiveness of intelligent tutoring systems on college students academic learning. Journal of Educational Psychology， 106（2）， 331-347. https：//doi.org/10.1037/a0034752

Sultana，? S.， Khan，? S.， & Abbas，? M. （2017）. Predicting performance of electrical engineering students using cognitive and non-cognitive features for identification of potential dropouts. International Journal of Electrical Engineering Education， 54（2）， 105-118. https：//doi.org/10.1177/0020720916688484

Tai， D. W. S.， Wu， H. J.， & Li， P. H. （2008）. Effective e-learning recommendation system based on self-organizing maps and association mining. Electronic Library， 26（3）， 329-344. https：//doi.org/10.1108/02640470810879482