美国“教育中的人工智能”研究:回溯与评析
蒋鑫 朱红艳 洪明
【摘要】? ?美国“教育中的人工智能”研究主要分为五大热点方向:第一,人工智能改善在线教育的参与度研究;第二,情绪感知支持下的教学实践研究;第三,游戏化学习研究;第四,人工智能教育应用的典型模式研究;第五,学习空间的设计研究。美国“教育中的人工智能”研究历史,依次经历了为促进教育实际问题解决的关注专家知识应用自动化的初级阶段、对知识自动获取与系统建模聚焦的转向阶段、为促进教育优质与公平而对有效使用技术的审思阶段。经历几十年的探究与发展,美国“教育中的人工智能”研究逐渐形成了强调结果与凸显学生成功导向的研究特色,但同时也存在过于偏向高等教育学生、部分下位概念边界模糊和理论层面研究单一等现实问题。
【关键词】? 人工智能;教育应用;AIED;AI;研究历程;研究文献;智能导师系统;学习空间
【中图分类号】? ?G627? ? ? ? 【文献标识码】? A? ? ? ?【文章编号】? 1009-458x(2020)2-0009-13
一、引言
伴随着“智能化领跑教育信息化2.0”前沿论断的提出及成为教育信息化研究者的共识,“教育中的人工智能”研究(Artificial Intelligence in Education, AIED)应声落地,成为教育信息化的一种高端形态。作为人工智能(AI)与教育科学融合形成的专项领域,AIED研究有两个基本目标:一是在教育领域全面深入地应用人工智能技术(Artificial Intelligence, AI)以促进教育改革和发展;二是通过利用人工智能技术,更系统、更微观、更深入地揭示学习发生的原理与机制,进而为学习者能够有效掌握某方面知识创造条件(闫志明, 等, 2017)。然而,人工智能与教育的结合却并非是近年才开始出现的新领域,其原始形态最早可追溯至上世纪50年代末期的美国程序教学机(梁迎丽, 等, 2019)。从这个角度讲,作为人工智能的发源地,美国“教育中的人工智能”研究的历史积淀无与伦比。
近年来,美国已将人工智能与国家安全紧密联系在一起,且研究的重点与对象主要针对中国。这其中最典型的当属2018年美国国际战略中心(CSIS)出台的《美国机器智能国家战略规划》(A National Machine Intelligence Strategy for the United States),首次将人工智能的发展上升至国家安全层面进行战略性布局,并多处提及中国政府对人工智能在各个领域的规划布局。国内学者对美国人工智能变革教育研究的梳理却不多见。从国内相关研究的现状看,有学者指出,国内教育中的人工智能研究仍处于起步阶段,从教育教学立场出发的系统的理论分析工作亟须开展(张志祯, 等, 2019 a)。鉴于这两点,本研究尝试对美国AIED研究进行历史关照,以便审时度势努力为国内人工智能变革教育的理论和实践的积累提供来自美国的经验。
二、研究方法与研究过程
(一)研究样本选择
本研究选择了Web of Science平台下的核心数据库作为文献数据来源,其中包含了自然科学引文索引数据库、社会科学引文索引和艺术引文索引三大核心引文数据库,收录文献的质量较高。鉴于“教育中的人工智能”已经成为一个专项领域,因此,在检索词的确定方面,为了尽可能全面地搜索样本文献,本研究除了选择以“Artificial Intelligence in Education”作为检索策略外,拟再增加“Artificial Intelligence & Education”的主题搜索,将文献发表时间设定为“2019年4月23日之前”,将“精选国家”选择美国。之后,通过对检索出的文献的标题、摘要等信息进行浏览,筛除“人工智能教育”主题文献,再排除不相关、重复等文献,最终获得273篇学术论文,作为本研究的重要数据来源。根据多数关键文献通常集中于少数核心期刊的布拉德福文献离散规律,这273篇文献基本可以代表美国“教育中的人工智能”研究的真实情况。通过对文献的检视发现,平台收录最早的美国学者在学术层面关注“教育中的人工智能”的研究出现在1981年,锡拉丘兹大学的莫森塔尔(Mosenthal.P)发表的《阅读理解中的理论问题——从认知心理学、语言学、人工智能和教育的角度》标志着美国对该领域开始了系统的学术探讨。
(二)研究方法与过程
本研究基于知识图谱的视角,采用内容分析法、引文分析法,对检索文献的研究内容和研究历程两个维度进行定性分析,以揭示美国人工智能支持教育的研究结构与发展脉络。
第一,采取知识图谱方法。借助Citespace可视化软件生成文献被引聚类图谱、文献关键词聚类图谱和引文文献共被引区视图谱,以此探测美国人工智能在教育领域应用的现状。第二,运用内容分析法、引文分析法对高被引文獻进行深度分析。由于高被引文献是构成人工智能辅助教育研究的重要知识基础,是反映学科领域研究状况的核心文献,具有重大的学术价值,因此,它们所蕴含的理论基础、关注主题、研究方法等信息均可直观反映美国AIED研究的主题聚焦与演进趋势。
三、美国“教育中的人工智能”
研究聚焦
关键词是对整篇文献的概括,关键词出现频次的高低可以在一定程度上作为判断某研究方向在领域内是否为研究热点的重要论证依据;中心度是衡量研究热度的另一重要指标,在某种意义上中心度是决定节点在系统中重要程度的重要度量,体现着关键词节点在不同聚类之间的枢纽作用,中心性越高的节点对其他节点的联系控制作用越强。这两个指标可以为确定研究热点提供重要参考,而从二者的一致性和差异性上可以有效探寻美国AIED研究不同研究方向之间的耦合关系,为深入分析美国AIED研究的热点与现状提供有价值的参考和依据。将文献导入软件,形成关键词共现知识图谱(见图1)。
图1所示的关键词共现图谱共出现677个网络节点,1,674个连接,其中网络模块化度量值Modularity Q和网络同质性指标Mean Sihouette的值分别为0.8369、0.7571。根据“网络模块化度量值和网络同质性指标值均要大于0.5”的Citespace聚类规律,可推断本研究对273篇美国AIED研究文献所生成的关键词共现聚类图是科学可行的。软件共运行出13个聚类,每个聚类都代表了AIED研究的一个热点研究方向,这13个聚类基本可以反映美国AIED研究的全貌。根据图1,软件后台分别统计出频次排名居前20位的关键词信息表(见表1),这些关键词基本可以确定是美国学界关注的热点主题。
在软件后台对图1形成的13个关键词聚类的基础上,再进一步合并、排除一些边缘聚类后。本研究选取了5个核心聚类作为美国AIED研究的主要方向(见表2)。
(一)改善在线教育学生参与度的可行性探究
参与度是个性化学习行为发生的前提(牟智佳, 等, 2018)。有研究发现,情感投入、认知投入、行为投入都与参与度有直接关系(Matkin, 2014)。传统技术解决在线学习个性化服務之所以遇到困难,教师难以摆脱“满足尽可能多的学生”的教学设计理念是其重要诱因(Johnson & Lester, 2016)。学习个性不同,学生选择的学习路径也必然不同。因此,个性化学习服务必然要求智能教学系统的知识表征方式从传统对知识内容的陈列、细化向学习策略和路径建议转变。
库尔山(Kurshan, 2017)指出,学习系统的推荐引擎设计对未来学习效率的提高有重要作用。知识图谱(Knowledge map)技术的成熟为以多维关系图描述真实世界或特定领域各类实体及实体关系提供了可能。目前,作为知识图谱重要应用的概念网络(Concept Net)不仅已经实现了智能语义搜索、个人智能助理等智能应用,而且能根据学生的问题行为、内部个体特征以及外部环境因素提供教育教学相关知识的对应与定位(余胜泉, 等, 2019 a)。在此基础上,如果再将人类的经验、常识以及直觉等信息引入智能教学系统之中,将人类的知识引导与系统的数据驱动融合起来,那么经过这种融合之后的教学系统将不再是单纯依赖数据驱动的教学辅助系统,而是有着更加精准的学习路径推荐(Bassi, Daradoumis, Xhafa, Caballe, & Sula, 2014)功能的智能系统。以Moocs为例,虽然Moocs因为其在彻底解决优质资源无法覆盖所有学生这一顽疾方面展现出巨大潜力而风靡世界,但Moocs教学模式也存在缺乏知识深度理解和有效教学手段的不足。有研究分析后发现,Moocs需要在求助渠道、环境构造方面进行改善(胡艺龄, 等, 2018)。将数据智能、图谱嵌入Moocs系统之中,根据教学系统对不同学习者学习过程的记录,形成对每个知识点的重点、难点以及学习策略和路径的推荐,可以帮助学习者在没有教师或同伴的指导时少走弯路。
在这个实例中,更加准确地收集学习过程信息是学习路径推荐的基础。学习者学习过程数据包括表情、文字、视频等多种数据信息,能否对这些信息进行多模态统一的数据表征与综合分析对精准把握学习者学情至关重要(Handoko, et al., 2018)。伴随着媒体关联、媒体统一表征以及深度挖掘技术的日趋成熟,教学系统正在逐步突破仅能分析单一数据形式的极限,这种可以综合处理各种感知信息的媒体智能或将在预测辍学学生、优化特殊学习者的个性体验、增加Moocs对学习者个人感受与非认知体验等方面发挥更大作用。
(二)情绪感知支持下的教学实践探究
继计算智能与感知智能之后,认知智能揭开了人工智能2.0时代新的序幕。不同于感知智能仅能感知与判断语音、图像和手势信息,认知智能具备探究深度学习的能力,可以根据感知的语音、图像、手势等表征信息更深入地对学习者的观点、学习风格与能力、情感态度进行判断(Freedman, 2018)。从综合文献以及技术类型来看,以自然语言理解、语义分析技术、学习分析、虚拟现实、智能陪伴(Intelligent Companions)以及表情和手势识别等技术作支撑的情绪感知系统研究是美国AIED研究的一个重点方向。
在认知智能时代,仅听懂学生的声音已经不能满足AI发展的需求,察言观色与感知学习者的情感与态度已经成为人工智能的新追求。精准教学(Precision Teaching)的内在要求就是不断促进有效教学的发生,而有效教学不仅意味着教学系统需按照知识的内在要求实现对“准确”知识精准传授,更要求系统可以根据学生的情感状态自动调整知识难易及不同趣味程度学习材料的推送(Ellis, Rudnitsky, & Moriarty, 2010)。美国北卡罗来纳州立大学亚历山德里亚(Alexandria)认为,如果教学系统持续不断地给一个充满厌倦、排斥态度的学生推送难度较大的教学知识,必然导致无效教学的发生。在一项实验研究中,亚历山德里亚通过一套以Java编程的学习系统完成了对学习者面部表情与学习行为等数据的收集,精准实现了学习结果的预测。结果显示,在Java编程中,通过脑电波监测、皮肤传导以及表情识别获得的学习状态可以作为未来教学系统对学习者学习困惑判断的重要依据(Li, Wong, & Kankanhali, 2016)。
与仿真教学或者传统教学相比,这种沉浸式学习的最大优点是可以实现对真实情景更深的体悟和感知。然而,这种学习模式以立体眼镜、数据手套和头盔等各类跟踪系统为基础,在通过感觉完全真实的教学场景达到增强教学互动效果的同时,也极易产生过多的冗余数据,出现数据、信息的呈现不当,在自主学习过程中极易造成学习者注意力难以集中,进而出现认知负荷过重的问题,影响学习者的有效学习。因此,迈伦·萨哈米等(Sahami, Desjardins, Dodds, & Neller, 2011)指出,在智能环境中要注重元认知策略,减少认知负荷,帮助学习者从无关元素中解放出来,提高学习的参与度。也有学者预测,未来的人工智能或可将学生DNA数据纳入学习数据框架之中,为每位学生推荐最佳培养方案,可以帮助学生减轻由复杂环境而引发的信息呈现不当的负担(曹晓明, 2018)。
(三)游戏化学习研究
作为游戏与教育领域相融合的产物,游戏化学习一直是教育技术领域学者关注的热点问题。由于游戏化解決方案的复杂程度伴随着学习者认知需求的提升而日益增高,将人工智能技术更深入地嵌入游戏化学习之中成为越来越多研究者的理想诉求(Zhang, Zhang, Chang, Esche, & Chassapis, 2016)。从文献看,该方向的研究主要围绕智能代理(Intelligent Agent)如何更加有效地增强互动、促进学生的适应性发展和在深度学习环境中的使用策略而展开。具体主要体现在以下两个方面:
第一,智能代理在游戏情境中扮演的角色。智能代理在游戏化学习环境中所表现出的互动优势正成为一种极具潜力的支持技术。对于游戏环境中智能代理应如何为学习者有效学习提供支持与保障,詹姆斯(James)认为,智能代理可以在基于故事的学习互动中扮演重要角色。在这个过程中,角色细化是协作学习成功的重要条件,角色越多,越可能在游戏环境中诱发学习者的负面情绪,越不利于知识的理解和迁移(转引自胡艺龄, 等, 2018);埃塞琳(Ethlyn)则认为,博弈机制和开放式教学任务的游戏结构能有效促使智能代理开展协作学习和概念学习,产生高情绪觉醒(转引自Saltzman, Davis, & Homer, 2018)。
第二,游戏环境下的人机互动与反馈。这个方向主要围绕如何有效地将自然语言等技术融入游戏化学习环境之中而开展。自然语言以上下文相关文本、语音对话的形式使智能代理与学生用户直接进行互动交流成为可能。将语音识别、智能多模态界面等技术引入智能代理,可以实现文本与语音教学对话相互融合,实现智能代理对学习者在游戏过程中的面部表情、手势以及注视活动的识别和跟踪。从功能上看,这种识别与跟踪不仅使智能代理实现了根据学习者的情绪状态提供相适应的情感支持,使学习者更容易沉浸其中,而且丰富了智能代理的功能框架,为促进学习者与代理的深层次交互提供了情景的支撑。伯恩斯(Berns. A)指出,智能代理嵌入游戏教学研究在关注学习信息收集与处理的同时,更应考虑如何利用AI对知识与教学内容进行智能化的表征和改造,具备感知功能的游戏环境应可以根据学习者的情绪和态度适时调整教学内容交互的难度与趣味性,进而有效避免倦怠情绪的产生与学习行为的提前中止(转引自Lamba, Annettac, Vallettb, & Sadlerd, 2014)。
(四)人工智能教育应用的典型模式探究
在智能时代,随着机器对劳动力技能的不断复制,知识等认知技能已不再是教学的唯一标准,学生的创造力、社会交互能力、心理健康、解决问题能力等非认知技能的作用越发凸显。为此,美国已经形成了以智能教学系统、智能学习系统和智能管理系统等为代表的人工智能教育应用的典型模式 (见表3)。
其中,开发具有育人功能的“AI教师”是美国AIED研究的一个亮点趋势,主要体现在对智能导师系统(ITS)功能升级的关注上。总的来说,传统的ITS主要有“AI代理”(Agent)和“AI助手”(Assistant)两种形式。无论是仅能代替教师重复性工作的“AI代理”,还是增强教师自动化处理的“AI助手”,均无法完全满足教学育人工作的需要。在新形势下,突破教师认知极限的“AI教师”是教学育人工作对ITS提出的新要求,将成为人机协同教育的一种更高级形态(余胜泉, 等, 2019 b)。从功能上看,“AI教师”主要承担人机协同过程中教育规则、策略等认知信息的外包以及增强传统教师的感知和认知能力。可见,具有“AI教师”角色的新型ITS更加注重从重视知识教授向能力素养培育的过渡与转型。
维内特(Vernet, Nicolas, 2010)指出,为确保知识与相关能力素养的培育,建构、定位、预测、强化将是未来ITS系统的主体框架,精准整合学习者背景、学习风格等各方面的信息则是系统优化的关键问题。从文献的梳理看,神经网络算法、粒子群优化、案例推理、遗传算法、蚁群系统、模糊算法等是美国学界为实现学习风格等各方面信息精准判断涉及较多的智能算法,而位置、身份、时间、活动成为ITS对动态学习环境表征的关键要素。
基于上述对具有“AI教师”功能的ITS的构想,我们可以将其育人的基本路径作以下描述。首先,ITS通过对位置、身份不同时刻的属性进行组合或串接表征实现对学习者学习活动的实时感知;其次,根据学习者的不同学习风格,从现实情景中快速提炼出问题要点及精准整合信息,提供学习风险预警;最后,依据教育学、心理学等知识建构针对育人的综合解决模型,实现对学习者在整个学习过程的动态、个性化的学习服务供给。从目前研究的进展看,基于人工智能模糊逻辑算法的学习分析系统、基于本体论的计算机辅助项目库、网络智能导师等成为目前美国优化ITS的主要成果。有研究表明,在学习干预效果方面,这些优化的智能导师系统已经具备了与人类导师同样的功效(Vanlehn, 2011)。但是在整合与提炼问题信息方面,系统提取出的信息仍较为零散,ITS据此做出决策的准确性仍需进一步提高(田国会, 等, 2018)。可以预见,建立数据之间的完全联系,实现对学习环境的准确认知,更加准确地执行服务任务,可能仍是美国学者对ITS持续关注的重要方向。
(五)学习空间的设计研究
人工智能助力下的教育正发生着重大变迁。基于人机协同的精准教学使传统学习方式突破了原有学习空间的局限,延伸至生活中的每一个角落,不仅使泛在学习、非正式学习、智慧学习等越来越多地出现在师生践行学习的过程之中,成为人们挖掘教学创新的新途径,而且也使教学内容实现了由标准化向定制化转变,使教育理念真正迈向终身全纳(塔卫刚, 等, 2018)。这种追求优质、个性的随时随地皆可学习的学习环境也对合理安排教学过程中所涉及的各种要素提出了新要求。
在正式学习的空间设计方面,传统的智慧学习空间较多依赖文本信息,对语音、图像以及非机打文本信息关注较少。对此,有学者尝试利用实时传感器以及可实现情感識别的深度学习算法和云计算模块对目前的智慧教室系统进行重构,借助网络摄像头、眼动仪等设备跟踪学生的眼球运动和面部表情。实验结果表明,重构后的智慧教室系统实现了对演讲训练者的实时监测,帮助训练者及时纠正了不当的非语言行为,如手势、面部表情和身体语言等,有效提高了演讲质量和记忆能力(Kim, Soyata, & Behnagh, 2018)。
在非正式学习空间的设计方面,远程教育、在线学习等非正式学习方式或将是未来泛在学习的主要形式。这种学习应该是一种主动的学习、一种适合自己的学习、一种满足自己需要的学习、一种可以得到最适合自己的教师帮助的学习。从本质上说,这种学习将是一种人网融合的新形态教育,不能仅满足于将课堂同步于网络之中。这种新形态教育基于人工智能、大数据等技术,将重新建立起一种汇聚了各种名师教学以及各种优质资源的学习路径共享网络,并以学习分析技术形成智慧引导系统,以便可以及时发现学习中存在的问题,自动为学生提供适合的学习建议和路径选择指导(许亚锋, 等, 2018)。有学者提出可以通过智能算法设置“阈值”的方式实现对价值不大资源的过滤,但是这种资源价值的判断必须以数据格式的标准化存储为前提,基础性、使用频次、典型性等均可以成为智能筛选的重要维度。在这个过程中,也可以根据学习过程中生成的学习者个性化学习画像和学习轨迹,为学习者筛选出同质或异质学习伙伴,实现合作学习(Rose, et al., 2017)。
四、美国“教育中的人工智能”的研究流变
利用软件的“区视图”功能可以将图1所示的聚类图按照关键词首次出现的年份予以排序,而关键词随着年份的变化则可以直观反映出美国AIED研究领域所关注的主题随时间的演进脉络。这对把握人工智能技术在教育领域应用的发展脉络和前沿都具有重要意义。在关键词区视图中每一个圆形节点代表一个关键词,而节点之间的连线代表关键词之间的演变关系(见图2)。
总体看来,美国“教育中的人工智能”研究的历史基本保持了一个较为稳定的延续演进态势。从时间线图谱看,软件能探测到AIED研究关键主题词出现的最早年份为1993年,“阅读困难”“空间”“阅读技能”“系统”等主题词开始在该年份成为学者关注的热点;从时间线的走势看,在后续年份出现的主题词中并未出现新增主题词或明显的偏移现象,说明后续出现的高频关键词均从1993年出现的主题词中演变而来,可以推断1993年出现的热点主题词对后来AIED研究的发展具有重要的方向引领与铺垫作用。
从研究发展趋势看,2018年可能是美国教育中的人工智能发展的关键时间节点,18个高频关键词较为集中地出现在该年份,从历年出现的关键词数量上看,高居第一位,表明美国AIED研究正呈现出丰富多元的发展趋势,其中“情感识别”“实时计算”“智慧教室”等研究主题开始在该年份凸显出来。可以预见,这些研究方向或将在未来受到美国学界的持续关注。
根据前文对表1关键词的中心度呈现,关键词“系统”“人工智能”在关键词共现网络知识图谱中的影响力最大,中心度值最高,可以推测这两个关键词首次出现的年份即1993年,1998年是美国AIED研究发展较为关键的时间节点,这也在一定程度上印证了图2所示1993年是关键时间节点的推断,再结合表1,基本可以将美国AIED研究发展划分为三个阶段,而根据“高频关键词每年的不同代表着研究内容的不断切换”的区视图规律与软件所析的高被引文献,我们可以概括出每个阶段美国学者关注的重点与研究特征。
(一)专家系统的滥觞:教育实践导向研究向度的确立(1981—1992年)
20世纪80年代初,美国针对人工智能与教育结合可能性的系统学术研究刚刚起步,学界研究当时形成了两个基本倾向:一是专家系统的研究成为共识;二是将致力解决实践问题作为“教育中的人工智能”研究的主要目标。究其原因,主要有两点:其一,在技术应用层面,受制于早期人工智能算法的缺陷,AI资助者的“浮夸性承诺”始终难以兑现,“通用型机器是海市蜃楼”的论断逐渐成为学界共识,使得长期存在于美国学界的过于智能化的“人工智能可以综合地复现人类思维能力”强AI目标遭受重创(王彦雨, 2018)。其二,在先期可行性的探究层面,20世纪50年代以斯金纳为代表的行为主义学者对程序教学机支持教学实践的学理探讨对后来智能教学机器的实践产生了影响。实验结果表明,程序教学机的逻辑符号系统与现实世界始终难以完全对应,导致其在信息呈现、存储、分析交互等方面表现不佳,限制了原本预期的适用领域(张志祯, 等, 2019 b)。因此,寻求更加有效的人工智能实践路径就成为学界在“教育中的人工智能”研究伊始亟须解决的首要问题。
博尔科(Borko, 1985)认为,作为教育与人工智能结合的产物,ITS可以借鉴专家运用知识解决实际问题的过程,通过完善的知识库与推理引擎实现教学问题的解决,帮助教师做出只有专家才能做出的科学决策,实现教育策略的定制;古德(Good. R)等认为ITS、自动化测评系统在教学领域的使用应该以传递知识、辅助学习者的知识构建为核心目标,该目标的实现需要基于知识系统进行解释推理,知识是实现教育智能的前提(Good, 1987)。亚茨达尼(Yazdani, 1986)则更进一步指出,若要真正达到辅助学习者并引导其知识体系形成的目标,智能教学系统必须以追求高效、生动的人机交互为前提。这些交互离不开智能技术辅助教学过程中所涉及的影响学生知识学习效果的心理因素,如自我效能、动机、认知策略等,这些因素对知识学习的促进作用远超过支持学习和教学的技术工具本身。
可以说,教学与评价是该时期美国专家系统研究者较为青睐的领域,这或与前期程序教学机器的探索奠定了一定的学理基础不无关系。在实现路径上,学者们对智能教学机器的研究突破了传统借助于逻辑推理的范式,将知识引导作为专家系统实现辅助教学的实践方式。专家系统较大程度依赖于系统存储的专家知识库的知识引导,从这个角度讲,美国该时期的“教育中的人工智能”研究就是围绕如何实现系统存储的教育知识应用自动化而展开的。以教学知识应用自动化实现教学问题的解决也就成为该时期学者研究的重要特征。值得一提的是,在该时期对专家系统进行知识传递的研究进程中,心理学层面的研究视角开始萌芽,为下一阶段教育中的人工智能研究项目的深入奠定了基础。
(二)机器学习的兴起:研究视域的转向与丰富(1993—1998年)
之所以在这一时期“教育中的人工智能”研究发生了研究视域的转向,主要是因为专家系统存在难以弥合的缺陷。其一,过于狭隘的应用方向。人工为系统提供知识是使用专家系统的前提,这就决定了使用专家系统进行课程学习的本质就是一个给定学科内容的教学过程。其二,无法适用于教学的全部过程。安德森等(Anderson, Corbett, Koedinger, & Pelletier, 1995)指出,真正的教学过程是一个包含理解、转化、教学、评价、反思和形成新的理解的完整阶段,而对这个完整过程,专家系统仅对课堂教学与评价实现了自动化,对理解、反思却能力有限。基于以上两点,美国在该时期的“教育中的人工智能”研究开始从关注实现知识应用的自动化向关注获取知识自动化转变。具体主要体现在对两个问题的回答上。
对于为什么要研究系统能否通过学习、反思获取知识,研究者们从系统评估的角度对该问题研究的必要性进行了学理讨论。威特等(Witt & Gish, 1996)认为,从人力资本的角度而言,使专家系统实现知识获取是智力资本升级的有效方式;耶鲁大学的尚克等(Schank & Slade, 1991)则从教学发生的视角指出,在教师向学生传递已经转化为个体经验与观念的知识的过程中,教师对知识的理解是会发生更新的,而以模拟教师辅导行为为本源特征的智能教学系统也需要建立心智模型,对最初输入系统的知识进行推理,不断实现知识的重塑和修正。另外,认知语言学的基本理论也为智能教学系统的完善提供了发展镜鉴。罗格斯大学的肯德尔(Kendall, 1992 a)指出,隐喻作为人类理解抽象概念、认知和表述未知概念的重要方式可以为教学机器的自然语言理解问题提供解决思路。肯德尔建议,通过创建通用的语义知识库和专门的隐喻知识库建立源域与未知概念目标域之间的映射,实现教学系统对概念的认知。
实现机器对知识的自主获取及探寻建模方法是该时期美国学者关注的主要内容。其中,统计模型与案例推理(CBR)成为该时期学者们研究与探究的主要方法,尤其是基于统计模型方法的提出,成为该时期研究者们对建模方法关注转向的重要标志。德州农工大学的帕仁(Parzen, 1997)认为,统计在智能教学系统使用的目的就是自主扩展知识库,这主要体现在迭代算法可以实现对信息的提取,并在递归推理中得出有证据的结论,而案例推理则继承和发展了前一时期基于知识引导的建模方式,主张通过提取源案例(Base case)解決不同新情境下的目标案例(Target case),强调对相似案例求解结果的复用。在这一模型中,“什么程度才算相似”成为系统基于案例学习的关键。从文献上看,属性之间的相似程度成为学者们对“类比”定义的共识。如,肯德尔(Kendall, 1992 b)认为两个案例的客体是否一致是通过语义知识库对未知抽象概念进行解释的关键;印第安纳大学的莱克等(Leake & Ram, 1995)、匹兹堡大学的布坎南等(Buchanan, Moore, Forsythe, Carenini, & Ohlsson, 1995)则认为求解问题是否相关决定了学生能否与系统实现信息的交流与互动。
可以说,研究目标与研究方法的变化是此阶段研究视域发生转向的重要体现,而知识生产自动化的目标导向与统计建模的出现则成为研究目标与研究方法发生转向的重要标志。该时期“教育中的人工智能”研究的突出贡献是将统计建模作为通过机器学习方式达到自动获取知识目标的方法路径。事实表明,正是这种建模方式为后续的深度学习、神经网络算法在教育领域的应用提供了依据。
(三)优质与公正的追求:AIED研究的正式确立与深化(1999年至今)
21世纪伊始,人工智能的发展迎来巨变。深度神经网络学习算法的提出使知识获取的方法向统计模型倾斜,综合多维数据的泛在推理成为这个时期人工智能发展的根本特征。得益于新技术的推动,美国教育中的人工智能研究呈现出了新特征。
首先,在研究目的上,构建全球课堂(Global Classroom)成为“教育中的人工智能”研究的新追求。伍尔夫等(Woolf, Lane, Chaudhri, & Kolodner, 2013)认为,人工智能教育应用的目标就是构建全球课堂。以人工智能与Moocs系统的结合为标志,学者们围绕通过人工智能实现全球课堂的构建进行了初步探究。之所以选择Moocs作为全球课堂实践的雏形,这与以提供一种支持泛在学习、深度参与的学习环境作为目标的全球课堂和以致力于解决高等教育公平与普及化的教学质量提升问题的Moocs在目的上的契合不无关系。泰金等(Tekin, Braun, & Van Der Schaar, 2015)以深度学习算法为基础的辍学预测模型可以对Moocs学习过程中处于辍学边缘的学生进行个性化干预,改善了Moocs系统仅适应具有一定知识背景和较高学习动机学习者的不足。除此之外,机器学习的局限性也间接推动了全球课堂研究导向的确立。以数据和算法为核心的机器学习改进学习效果的有效与否过于依赖能否拥有大量的数据信息,Moocs的开放性给机器获取充分的数据样本提供了可能。
其次,在研究方向上,工程教育改革成为学界关注的重点领域。具体原因,一方面,以美国科学院、工程院联合颁布的《21世纪CPS教育报告》为标志,美国近年来工程教育改革愈演愈烈。积重难返的工程教育培养质量薄弱问题促使研究者考虑如何使用新技术克服完成工程学位的障碍;另一方面,AI可以消除相关概念的抽象性,使学生切身感受到工程概念的真实应用。有学者指出,构建由计算机算法、网络和物理组件无缝集成的系统工程环境将促进航天工程专业学生创造力等高阶思维的发展(Farook, Sekhar, Agrawal, Bouktache, & Ahmed, 2011)。对于软件工程课程的学习,马克西姆等(Maxim, Kaur, Apzynski, Edwards, & Evans, 2016)则以AI游戏平台的形式实现了编程课堂的体验式教育。结果表明,智能代理较好地解决了知识迁移问题,降低了学生对编程失败的恐惧和焦虑。从以上实验不难发现,人工智能对促进优质工程教育的积极作用已经成为多数学者的共识,但也有学者提出了质疑。基于STEM教育既有的跨学科特征,柯林斯等(Collins, et al., 2015)认为,如果研究者不能拥有同教师同等的重构教学的权利或将使智能系统无法在实际教学中普及。
最后,在研究内容上,侧重研究反思与教学理论的总结成为新时期研究的重要亮点。以贝克等1999年《Bringing back the AI to AI & ED》一文的发表为标志,美国学界首次有学者开始对先前研究进行反思。该文献认为无论是过去的机器学习研究还是智能系统研究都过于侧重建模方法,缺少从学习发生视角进行的讨论,这种缘木求鱼的研究取向或仅能使人工智能教育应用停留在实验室中,对教师的借鉴价值有限(Beck & Stern, 1999)。可以说,该研究指出先前研究存在侧重“教学之上的技术”的局限。同年,塞尔夫(Self, 1999)在综合反思先前ITS研究与技术新发展的基础上首次对AIED概念进行了明确厘定。他认为,AIED应以使用精准的计算和清晰的形式表示学习过程中含糊不清的知识与全面深入地理解学习过程为目标,通过智能工具的有意义使用为学习者的高效学习和真实体验提供支持,提升教学效率,促进教育公平。可以说,这两个标志性成果的发布对AIED研究发展具有里程碑意义,标志着AIED研究开始由最初的学术探讨向独立研究方向的转型。具体体现在以下两点:
其一,侧重对有效使用技术规律的总结,注重对“技术之上的教学”规律的反思。以学者对AI教学法(Pedagogy)的阐释为标志。当面对数学、物理和编程等相关STEM学科中过于抽象的教学内容的困扰时,可以尝试基于无人机的学习(Drone-based learning),但需要考虑环境、设备的因素,教师也需要给予引导,避免学生过于沉迷对机器的控制而忽视学习内容(Hsu, 2015);当教学注重学习过程中的体验而非结果时,可以通过趣悦学习(Playful Learning)引导学生从不同角度探索问题(Michael, 2001);在对大学生传授创意、设计类的教学内容时,使用虚拟工作室的学习(Virtual Studios)可能效果更佳(Kunnath, 2016)。
其二,不少研究者以先前研究为资料来源,通过综述或元分析的实证方法拓展理论层面上的AIED研究。学习、情感等理论的最新发展对先前研究的反思提供了重要视角。掌握学习理论认为,在掌握学习与个性化辅导策略综合干预下的学生成绩比传统方式干预下的学生成绩高出两个完整的标准差。对此,罗尔等(Roll & Wylie, 2016)指出,实现学生成绩表现的“two-sigma”效应是人工智能变革教育绩效的标准与追求,而掌握学习理论可以作为个性化教学系统研究的理论基础。在此基础上,他通过元分析对1990年以来的AI辅助教育实践总结后认为,在掌握学习情境下,交互风格、知识属性、教学目标均会对消除成绩差异有不同程度的影响,而作为对情感、元认知等最新研究成果向教育中的人工智能領域的迁移的回应,基于共同学习的智能陪伴成为人机协同教学的核心特征。克姆等(Kim & Baylor, 2016)基于扎根理论对以智能代理为主题的文献进行文本挖掘分析,发现智能代理的角色存在“分裂效应”,即角色维度的数量与学生的负面情绪有直接关系。将合并的智能代理角色拆分为情感代理和激励代理时对程序性知识学习动机的增强效果更优,因此,要注意降低角色的多面性。但在STEM教学中,角色的多维性却对K12阶段的女性学生有更强的情感与动机支持。
五、美国“教育中的人工智能”研究的特征与反思
(一)研究重点的演变:从注重过程转为强调结果
从某种意义而言,知识是早期美国教育实现智能化的重要前提。无论是最早的教育专家系统还是后来的机器学习模型,学者们希望教学系统通过对完备专家知识的自主获取与应用实现对实际教学问题的解决。然而,在近年教育技术领域逐渐从“使用技术”向“有效使用技术”转变的背景下,尤其是传统技术始终没有彻底解决的“公平享受技术带来的优质体验”历史遗留问题,人工智能技术承载着这一久治未愈的问题可以随着技术进步而得到解决的美好期待,因此学者们愈发强调使用智能系统改善学习的绩效问题。如,近年来研究越发明确要实现学生成绩表现的“two-sigma”效应,实现全球课堂环境的构建。这种演变既有教育公平与卓越要求的驱动,也是AIED从最初的学理探讨向一个独立研究方向转变的学科内在逻辑发展的结果。
(二)研究目标的更新:凸显学生成功为目标的研究导向
作为对全球竞争激烈和难以完全兑现教育公平愿景的回应,“质量优先,确保公平”已经成为美国教育的新追求。正如《每个孩子成功法》(ESSA)指出“通过推进教育卓越和确保公平,促进学生提高成绩,为全球竞争做好准备应是美国教育的核心使命”(U. S. Department of Education, 2016)。而这反映到教育技术领域就是关注如何有效使用技术促进学生成功。如近年来美国学界已然形成了新技术促进学业成绩要高于传统方式干预下的学生成绩两个完整标准差的共识;为了克服Moocs发展过程中存在的低临场感、高退出率的不足,研究者们又积极推进情感设计、个性化学习路径推荐等技术与公共教育体系的融合。可见,促进学业进步、提高学生留存等已成为学者们对新技术变革教育的主要期待,有事实表明,这种学生成功的研究导向或将进一步深化。2019年美国教育科学研究院(IES)发布的《利用技术支持大学生学习》(Using Technology to Support Post-secondary Student Learning from the What Works Clearinghouse)报告对未来有效使用技术支持学习的建议指出,“技术可提供在大学内外取得成功的关键社会联系,技术的提供应与学习成果的目标相结合,对此,我们需要更加严谨的技术干预对学生成功影响的研究”(Frye & Costelloe, 2019)。
(三)研究方法的变化:从以质性描述为主转变为偏向量化实证研究
从历史发展看,20世纪90年代后,技术硬件的无力与专家系统难以弥合的缺陷使得学界亟须扭转已经陷入瓶颈的传统AIED研究思路。在此背景下,研究者以系统评估的视角将机器“应可以自主获取知识”作为当时研究的侧重目标,提出了诸如“两个案例的客体属性是否相同、待解决的问题是否相关”等实现机器自主学习的主要设计思路。可以说,归纳推演成为先前研究者进行系统建模及机器获得解释性理解的主要方式。但当有学者指出这种研究取向“存在过于侧重对系统建模构建的缺陷”时,美国学界的研究视角逐渐向聚焦“技术之上的教学”过渡,从研究热点看近年来美国学界已经完成了研究关注的转向。尤其是深度学习算法的出现使得基于数据统计的建模思路逐渐取代基于案例推理的建模方法成为研究者关注的新思路,教育数据也相应成为研究者关注的重心。在实践层面,研究者积极尝试围绕教育数据驱动形成如教学机器人、智能批改、学习者数字肖像、智能导师等典型应用场景,通过对数据的分析实现了“技术之上的教学”规律的总结;在理论层面,也有不少研究者选择元分析方法对先前研究资料进行回顾,对影响智能系统改善学生成绩效果的可能因素进行总结,并将此作为理论增长的重要方式。
(四)美国“教育中的人工智能”研究的反思与不足
从前文对美国AIED研究的热点与历史发展的回溯看,重视人工智能与教育质量、学习效果之间的关系的研究已经成为当前美国学界进行AIED研究的主流趋向。教育研究的重要价值之一就是促进教育理论向教育实践的转化。换言之,AIED研究的重要意义就在于使人工智能可以最大限度地兑现其改善教学绩效的潜力作用。梅耶曾言,任何一种艺术在被引入教学领域时,都会被人寄予巨大期望(转引自任友群, 等, 2019 a)。但有研究却指出,从先前技术的使用效果看,技术改善教学绩效的实际效果未如预期,而有关技术对学习实际影响研究的缺乏是造成技术未能发挥其改变教育潜力的重要原因(任友群, 等, 2019 b)。从前文对美国AIED研究热点与演进的梳理看,美国学界已经注意到了人工智能改善实际教育效果的复杂性,更加注重对人工智能在实际教学环境中使用绩效的研究。如,在研究热点方面,美国学界近年来开始聚焦游戏化学习环境中智能代理的角色研究、情绪感知的教学实践研究等热点方向;在研究视角方面,美国学界更加强调“学习发生视角”;在教学策略与方法方面,更加注重对不同领域、学科使用人工智能支持教学可采用的不同教学方法的总结以及将学生成绩表现的“two-sigma”效应作为研究绩效的重要追求。这些都表明,美國学界可能已经意识到了技术改善教学的潜力与技术改善实际教学效果之间存在的鸿沟,而与技术有关的教育研究也难以得出普适性的结论与策略,体现出美国学界对人工智能与实际教学绩效之间关系的关注。相较于先前有关技术对学习实际影响研究的缺乏,当前美国学界对AIED的研究无疑是明显进步了。
不过,通过梳理相关研究文献发现,美国“教育中的人工智能”研究仍存在一些不足。第一,对部分下位概念边界的界定尚不明确。其中最明显的证据就是“智慧教育”概念的边界模糊。有学者将“智慧教育”理解成是运用智能化技术的智慧教育,但也有学者从智能概念的视角将智慧教育理解成是一种以培养人的高阶思维能力为目标的教育,这两种理解一种侧重于教育方式,一种侧重于教育结果,二者是有明显不同的。第二,在理论层面,虽然近年来有学者开始注重AIED理论的拓展与丰富,但总体而言,基于先前实证研究的反思在美国AIED理论研究中所占比例较大,较少有学者将人工智能教育应用与社会文化、技术哲学、人类学结合起来进行探究,在一定程度上使AIED理论研究缺少了一个重要维度。第三,在研究对象上,过于偏向大学生群体,针对基础教育阶段的研究不多。或许有四个方面的原因:①受美国近年来“以学生为中心”本科教学(SC)改革潮流的带动;②受人工智能对劳动力市场巨大冲击的驱使;③在教学内容重构方面,大学需要根据社会分工的变化重新整合设置专业,相较于基础教育,高等教育学习内容整合改变的自主性更大;④受限于学生的年龄特征,伦理、安全因素对基础教育的影响更大。
[参考文献]
曹晓明. 2018. “智能+”校园:教育信息化2.0视域下的学校发展新样态[J]. 远程教育杂志,36(04):57-68.
胡艺龄,胡梦华,顾小清. 2018. 兼容并包:从多元走向开放创新——美国AERA 2018年会述评[J]. 远程教育杂志,36(05):15-26.
梁迎丽,梁英豪. 2019. 人工智能时代的智慧学习:原理、进展与趋势[J]. 中国电化教育(02):16-21.
牟智佳,王卫斌,李雨婷,等. 2018. MOOCs环境下个性化学习需求预测建模与仿真——系统动力学的视角[J]. 电化教育研究,39(11):29-37.
任友群,万昆,冯仰存. 2019. 促进人工智能教育的可持续发展——联合国《教育中的人工智能:可持续发展的挑战和机遇》解读与启示[J]. 现代远程教育研究(05):3-10.
塔卫刚,张际平. 2018. 我国学习空间研究的进展与前瞻——兼论“人工智能+教育”视域下学习空间未来发展[J]. 远程教育杂志,36(06):31-40.
田国会,王晓静,张营. 2018. 一种家庭服务机器人的环境语义认知机制[J]. 华中科技大学学报(自然科学版),46(12):18-23.
许亚锋,高红英. 2018. 面向人工智能时代的学习空间变革研究[J]. 远程教育杂志,36(01):48-60.
闫志明,唐夏夏,秦旋,等. 2017. 教育中的人工智能(EAI)的内涵、关键技术与应用趋势——美国《为人工智能的未来做好准备》和《国家人工智能研发战略规划》报告解析[J]. 远程教育杂志,35(01):26-35.
余胜泉,彭燕,卢宇. 2019. 基于人工智能的育人助理系统——“AI好老师”的体系结构与功能[J]. 开放教育研究,25(01):25-36.
余胜泉,王琦. 2019. “AI+教师”的协作路径发展分析[J]. 电化教育研究,40(04):14-22,29.
王彦雨. 2018. 基于历史视角分析的强人工智能论争[J]. 山东科技大学学报(社会科学版),20(06):16-27,35.
张志祯,张玲玲,李芒. 2019. 人工智能教育应用的应然分析:教学自动化的必然与可能[J]. 中国远程教育(01):25-35,92.
张志祯,张玲玲,罗琼菱子,等. 2019. 人工智能教育应用的实然分析:教学自动化的方法与限度[J]. 中国远程教育(03):1-13,92.
Anderson, J.R., Corbett, A.T., Koedinger, K.R., Pelletier, R. (1995). Cognitive tutors: Lessons learner: Lessons learned. The Journal of the Learning Sciences, 4 (2) , 167-207.
Bassi, R., Daradoumis, T., Xhafa, F., Caballe, S., Sula, A. (2014). Software Agents In Large Scale Open E-learning: A Critical Component For The Future Of Massive Online Courses. International Conference on Intelligent Networking and Collaborative Systems (pp. 184-188).
Beck, Je., Stern, Mk. (1999). Bringing Back The AI To AI & ED. Artificial Intelligence in Education: Open Learning Environments: New Computational Technologies to Support Learning, Exploration and Collaboration, (50), 233-240.
Borko, H. (1985). Artificial-intelligence And Expert Systems Research And Their Possible Impact On Information-science Education. Education for Information, 3(2), 103-114.
Buchanan, Bg., Moore, Jd., Forsythe, De., Carenini, G., Ohlsson, S. (1995). An Intelligent Interactive System For Delivering Individualized Information To Patients. Artificial Intelligence in Medicine, 7 (2), 117-154.
Collins, Dl., Santiago, Ng., Huyke, H., Papadopoulos, C., Vega-Riveros, Jf., Nieves-Rosa, A., et al. (2015). Increasing Student Engagement Through The Development Of Interdisciplinary Courses: Linking Engineering And Technology, The Sciences, And The Humanities. 2015 Frontiers in Education Conference (FIE) (pp. 912-916).
Ellis, G., Rudnitsky, A., Moriarty, M. (2010). Theoretic Stories: Creating Deeper Learning In Introductory Engineering Courses. International Journal of Engineering Education, 26 (5), 1072-1082
Farook, O., Sekhar, Cr., Agrawal, Jp., Bouktache, E., Ahmed, A. (2011). Computer Engineering Technology Program - A Curriculum Innovation Initiative. Asee Annual Conference & Exposition.
Freedman, R. (2018). Evolution Of Methods Of Evaluation In Ai In Education. Intelligent Tutoring Systems, 428-430.
Frye, M., Costelloe, S. (2019, May 24). Using Technology to Support Postsecondary Student Learning from the What Works Clearinghouse. Retrieved July 1, 2019, from https://ies.ed.gov/blogs/ncee/post/leading-experts-provide-evidence-based-recommendations-on-using- technology-to-support-postsecondary-student-learning
Good, R. (1987 April). Artificial-intelligence And Science-education. Journal of Research in Science Teaching, 24 (4), 325-342.
Handoko, E., Robin, R., Mcneil, G., Gronseth, S., Phan, T., Zhang, H. Y. (2018). Igniting the Massive Population Potential: The Role of Self Regulated Learning in Student Achievement in MOOCs. New York: Annual Conference of the American Educational Research Association.
Hsu, Wh. (2015). Creating Open Source Lecture Materials: A Guide To Trends, Technologies, And Approaches In The Information Sciences. Stem Education: Concepts, Methodologies, Tools, and Applications, 68-94.
Johnson, W. L., Lester, J. C. (2016). Face-to-face Interaction With Pedagogical Agents, Twenty Years Later. International Journal of Artificial Intelligence in Education, 26 (1), 25-36.
Kendall, Je. (1992). Using Metaphors To Enhance Intelligence In Information-systems - Rationale For An Alternative To Rule-based Intelligence. Ifip Transactions a-computer Science and Technology, (14), 213-219.
Kim, Y., Soyata, T., Behnagh, R. F. (2018, January 10). Towards Emotionally Aware AI Smart Classroom: Current Issues and Directions for Engineering and Education. IEEE Access, (6), 5308-5331.
Kim, Y., Baylor, Al. (2016). Research-based Design Of Pedagogical Agent Roles: A Review, Progress, And Recommendations. International Journal of Artificial Intelligence in Education, 26 (1), 160-169.
Kunnath, Mla. (2016). Virtualized Higher Education: Where E-learning Trends And New Faculty Roles Converge Towards Personalization. International Conference on Information Society (i-society 2016) (pp.109-114).
Kurshan, B. (2017, May 31). The future of artificial intelligence in education. Retrieved June 20, 2019, from http://www.forbes.com/sites/barbarakurshan/2016/03/10the-future-of-artificial-intelligence-in-education/#9e3113d2e4d8
Lamba, R., Annettac, L., Vallettb, D., Sadlerd, T. (2014). Cognitive diagnostic like approaches using neural-network analysis of serious educational videogames. Computers & Education, (70), 92-104.
Leake, Db., Ram, A. (1995). Learning, Goals, And Learning-goals - A Perspective On Goal-driven Learning. Artificial Intelligence Review, 9 (6), 387-422.
Li, J., Wong, Y., Kankanhali, M. S. (2016). Multi-stream Deep Learning Framework for Automated Presentation Assessment. 2016 IEEEIntl. Symp. Multimedia (pp. 222-225).
Matkin, G. W. (2014). Mooc Research: What Can We Learn And How?. 7th International Conference of Education, Research and Innovation (pp.5276-5281).
Maxim, Br., Kaur, R., Apzynski, C., Edwards, D., Evans, E. (2016). An Agile Software Engineering Process Improvement Game. 2016 IEEE Frontiers in Education Conference (FIE).
Michael, J. (2001). In Pursuit Of Meaningful Learning. Advances In Physiology Education, 25 (3), 145-158.
Parzen, E. (1997). Data Mining, Statistical Methods Mining, And History Of Statistics. Mining and Modeling Massive Data Sets in Science, Engineering, and Business With a Subtheme in Environmental Statistics, 29 (1), 365-374.
Roll, I., Wylie, R. (2016). Evolution And Revolution In Artificial Intelligence In Education. International Journal of Artificial Intelligence in Education, 26 (2), 582-599.
Rose, L., Manolis, M., Mutlu, C., Kaska P. P.,Wayne, H., Bart, R., et al. (2017). How Do We Unleash AIED at Scale to Benefit All Teachers and Learners?. Artificial Intelligence in Education, (10), 665-667.
Sahami, M., Desjardins, M., Dodds, Z. Neller, T. (2011). Neller T.educational Advances In Artificial Intelligence. Proceedings of the 42nd ACM Technical Symposium on Computer Science Education (pp. 81-82).
Saltzman, E., Davis, A. R., Homer, B. D. (2018). Exploring Collaborative Learning with a Geometry Video Game: The Role of Elaboration and Game Mechanics. New York: Annual Conference of the American Educational Research Association.
Schank, Rc., Slade, Sb. (1991). The Future Of Artificial-intelligence - Learning From Experience. Applied Artificial Intelligence, 5 (1), 97-107.
Self, J. (1999). The Defining Characteristics Of Intelligent Tutoring Systems Research: ITSs care, precisely. International Journal of Artificial Intelligence in Education, (10), 350-364.
Tekin, C., Braun, J., Van Der Schaar, M. (2015). Etutor: Online Learning For Personalized Education. 2015 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) (pp. 5545-5549).
U. S. Department of Education. (2016, January 1). Every Student Succeeds Act. Retrieved July 1, 2019, from http://www.ed.gov/essa?src=policy
Vanlehn, K. (2011). The Relative Effectiveness of Human Tutoring ,Intelligent Tutoring Systems, and Other Tutoring Systems. Educational Psychologist, (4), 197-221.
Vernet, D., Nicolas, R. (2010). Work in Progress-Intelligence Tutouing Systerm Framework for the Acquisition of Knowledge and Competences. NewYork: 2010 IEEE Frontiers in Education Conference (pp. 1-2).
Witt, J., Gish,J. (1996). Intelligent Advisor To Assist Extruder Operators: A Case Study. Journal of Plastic Film & Sheeting, 12 (3), 180-194.
Woolf, BP., Lane, HC., Chaudhri, VK., Kolodner, JL. (2013). AI Grand Challenges for Education. AI Magazine, 34 (4), 66-84.
Yazdani, M. (1986 May). Lawler RwArtificial-intelligence And Education - An Overview. Instructional Science, 14 (3/4), 197-206.
Zhang, Z., Zhang, Ms., Chang, Yz., Esche, S. K., Chassapis, C. (2016, March 7). A Smart Method For Developing Game-based Virtual Laboratories. Houston: Proceedings of the ASME International Mechanical Engineering Congress and Exposition, (5).