基于行为序列的学习过程分析与学习效果预测
江波 高明 陈志翰 王小霞
摘要:学习过程数据反映了学习者在学习过程中的状态。当前众多对学习者学习过程数据进行挖掘与分析的研究,大多基于学习者在某一学习行为上投入的精力和时间来开展。这些粗粒度数据并不能细致地反映学习者的认知投入水平,且部分学习行为数据对学习效果的预测正确率不高。与学习者参与度相比,学习过程中的学习行为序列,更能反映学习者学习行为轨迹、意愿与认知过程。利用滞后序列分析法对DEEDS平台上的学习过程数据的分析发现:滞后序列分析法可以清晰地揭示若干重要的学习行为序列;相较于支持向量机、逻辑斯蒂回归以及决策树等数据挖掘方法,朴素贝叶斯方法具有良好的预测性能,平均正确率超过70%。研究结果证明,学习者的学习行为序列可以为教师呈现更全面的在线学习图景,帮助教师发现学习者的学习习惯、偏好以及认知过程,辅助教师对教学过程进行反思。同时,通过行为序列数据可以较准确地预测出学习者的学习成就,继而对预测模型中关键属性进行分析,为教师在后续教学过程中采取有针对性的干预措施提供建议,达到提高教育教学绩效的目的。
关键词:学习过程;行为序列;数据挖掘;滞后序列分析法;学习效果预测
中图分类号:G434 文献标识码:A 文章编号:1009-5195(2018)02-0103-10 doi10.3969/j.issn.1009-5195.2018.02.012
一、引言
学习过程数据反映了学习者在学习过程中的状态。在传统课堂教学中,往往需要指派特定人员对课堂中学习者的学习行为进行观察、记录,整理成学习过程数据,再借助这些数据对学习者学习参与度、学习行为与学习效果关系进行研究(McIntyre et al., 1983)。但是,无论是通过传统的研究人员观察、手动记录,还是借助视音频录制设备对学习者学习过程进行录制,再经转录形成研究数据,都存在数据收集烦琐、录入易出错等问题。随着信息通信技术的不断发展、各类在线学习平台(如MOOC、Moodle等)和学习设备(如电子书包等)的不断涌现,人们在学习平台、学习设备上的大量数据也得以被简单有效地收集起来。
学习者的学习过程数据收集问题虽得以解决,但是这些数据大多是无规则的、零散的,隐含大量潜在信息,通过常規的统计方法难以对其进行分析。随着数据挖掘技术在其他领域的有效应用,已有众多研究者利用数据挖掘技术分析教育领域的学习数据,发掘隐藏在其中的、具有潜在价值的信息和知识。例如,通过学习者的学习过程数据,发现学生的学习时间偏好以及在线课程模块访问偏好(魏顺平,2011);挖掘学习行为与学习效果之间的关联(傅钢善等,2014;贾积有等,2014);通过学习行为数据来预测学习者的学习效果(孙力等,2015;胡祖辉等,2017)等。现有的很多关于学习效果预测的相关研究是基于学习者的学习行为参与度(Engagement)数据,即学习者某一学习行为上投入的精力和时间。这些粗粒度数据并不能细致地反映学习者的认知投入水平,且部分学习行为数据对学习效果的预测正确率不高(Macfadyen et al.,2010)。最新研究发现,与学生参与度相比,学习过程中的学习行为序列,更能反映学习者学习行为轨迹、意愿与认知过程(杨现民等,2016)。例如,通过学习行为序列分析来研究整个活动过程行为模式(Hou et al., 2009),以及不同学习阶段行为模式和不同学习成就组行为模式的比较(Yang et al.,2015)等。同时,借助学习者学习行为序列对学习者学习效果预测,可为教师确定用于监控和分析学习过程的关键行为序列,达到监测学习者学习情况、及时实施教学干预、提高学习效果的目的。受此启发,本文针对某虚拟仿真实验平台的学习行为数据,利用学习者的学习行为序列来开展过程分析与学习效果预测研究。
二、文献综述
目前对学习行为的概念尚没有明确的界定,不同学者从不同层面、不同学习环境、不同学习对象等出发对学习行为给出了各自不同的定义。例如,有学者从网络环境出发,认为学习行为是学习者在由现代信息技术所创设的、具有全新沟通机制与丰富资源的学习环境中,开展的远程自主学习行为(彭文辉等,2006)或学习活动的总和(杨金来等,2008)。也有学者从学习行为涵盖的注意力、学习动机、学习态度与策略应用等方面指出,学习行为是学习者在学习中所表现出来的积极的和消极的两个方面的行为(姚纯贞等,2009)。吴淑苹(2013)针对教师这一特定学习对象,给出了其在网络学习环境下的学习行为是教师在专业成长的过程中,在由信息技术所创设的,具有全新沟通机制、研修模式与丰富资源的网络培训环境中,开展的网络自主研修学习行为。
综合考虑学习环境、学习对象等各方面因素,研究将学习行为界定为学习者在某种动机指引下,为获得某种学习结果而与周围环境进行双向交互活动的总和(郁晓华等,2013)。基于此,本研究中的学习行为序列是指按照学习行为发生时间先后所形成的行为次序,也就是将一种行为向另一种行为的转换定义为一个行为序列。
寻找具有显著性的若干学习行为序列可以发现学习者的学习行为模式。滞后序列分析法(Lag Sequential Analysis,LSA)是萨基特(Sackett,1978)提出的一种用于检验行为序列显著性的方法,旨在通过分析一种行为在另一种行为之后出现所形成概率的显著性来探索人类的行为模式。该方法自提出后,已被应用于众多领域,如在电子商务领域,用于客户行为偏好分析;在医疗领域,用于患者行为分析与治疗;在游戏领域,用于玩家游戏行为分析等。近年来,该方法引起了教育研究者的广泛关注,并将其迁移运用至教育领域内。在已有研究中,部分研究利用滞后序列分析法探究群体间在行为模式上的差异。例如,胡(Hou,2012)采用LSA探索了角色扮演游戏中不同性别群体在行为序列上的差异,并根据研究结果探讨了所采用的教学模式的不足,提出了相应的改进建议。李爽等(2017)利用LSA对开放大学2131名学生在Moodle平台上的日志数据进行了在线学习行为序列和参与模式探索。其研究发现,根据行为序列可以定义出不同的在线参与模式,进而提出更具针对性的教学改进意见。另一部分研究,利用滞后序列分析法探索整个活动过程中的学习行为模式(Jeong,2003;Lan et al.,2012;Yang et al.,2016)。例如,胡等(Hou et al.,2009)从教师的在线讨论行为出发探索了知识分享讨论活动中教师的行为模式。还有一部分研究运用滞后序列对不同学习阶段的学习者学习模式差异进行了分析。例如,杨等(Yang et al.,2015)利用LSA分析了协同翻译过程中,学生在不同活动阶段的知识建构行为。以往研究均表明,通过分析学习者的学习行为序列可以帮助教学相关者把握学习者潜在的行为模式,发现不同学习群体、整个学习活动阶段以及不同学习阶段学习行为上的差异。然而已有研究鲜少尝试利用这些行为序列建立学习者学习效果预测模型,帮助教师确定用于监控和分析学习过程的关键行为序列,从而实现监测学习者学习情况、及时实施教学干预、提高学习效果的目的。
学习效果预测是教育数据挖掘领域的一类常见问题,一般使用学习者的各类学习数据对其学习效果进行预测(Huang et al.,2013;Jiang et al.,2014;牟智佳等,2017)。例如,通过学习者的操作日志数据、论坛行为数据对学习成绩进行预测(Vicente-Arturo et al.,2012;Romero et al.,2013),或者根据学习者的行为数据对其所学课程的证书获得情况进行预测(Qiu et al.,2016;贺超凯等,2016)。以上研究均表明通过对预测模型中相关属性的理解与分析,可以找出影响学习效果的关键行为,辅助教学者在后续教学活动中采取更有针对性的教学方式,制定科学合理的教学管理制度,从而有效地提高教育教学绩效。
虽然已有众多研究对学习者学习过程数据进行挖掘与分析,但大多是从学习者在某一学习行为上投入的精力和时间来开展,较少从学习行为序列的角度来考察学习行为与学习效果之间的关联。鉴于此,本研究基于已有学习过程数据集,应用滞后序列分析法来探索学习者的学习行为模式,并尝试根据学习者的学习行为序列对其学习效果进行预测。
三、研究方法
1.研究问题
在已有研究基础上,本研究尝试应用滞后序列分析法、数据挖掘方法来研究以下两个问题:(1)在学习者的学习过程中,有哪些行为序列的出现概率达到显著性水平,由此反映的学习者学习参与模式是怎样的?(2)根据学习者在学习过程中的学习行为序列,是否可以对学习者的学习效果进行预测?
2.案例课程与数据样本
本研究以意大利热那亚大学(University of Genoa)2014年秋季学期“数字电路”实验课程有完整记录的93名计算机工程专业学生在DEEDS(Digital Electronics Education and Design Suite)平台上的学习过程数据为样本。該课程分为理论教学和实验教学两部分,其中本研究所涉及的实验学习部分,主要是在学生完成理论知识学习后,在教室环境下借助DEEDS平台提供的虚拟仿真环境根据预设的学习任务在规定时间内自主探究并完成实验课程的学习。DEEDS是由意大利两位学者专为“数字电路”实验课程的学习而开发的(Donzellini et al.,2007),集成了课程所需的“数字电路模拟器(d-DcS)”“有限状态机模拟器(d-FsM)”和“微机接口与编程模拟器(d-McE)”三大模拟器,可实现逻辑电路的设计、组装、测试以及时序电路图绘制等多种功能,为课程电路实验的开展提供了一个逼真的虚拟仿真实验环境。
学习者在DEEDS平台上的学习过程数据经研究者使用特定软件被收集起来(Vahdat et al.,2015),从而形成了研究所使用的数据集。本研究分析的是93名学生在2014年秋季学期“数字电路”课程学习中产生的20余万条数据,这些数据构成了本研究的数据样本。研究重点分析数据集所记录的学号(student_id)、活动(activity)等字段,考察学生在虚拟仿真实验环境下的行为序列与转换模式,并尝试从行为序列出发对学习者的学习效果进行预测。
3.数据处理与编码
原始数据集定义并记录了不同学时和不同学习任务下的15种大类的学习活动。例如,“Deeds_Es_# _#”表示某一课时进行某一任务的普通逻辑电路模拟活动,“Deeds_Es”表示未具体甄别出所属课时以及所属任务的普通逻辑电路模拟活动。需要说明的是,“Deeds_Es_#_#”和“Deeds_Es”虽然在数据采集中被认为是两种学习活动,但它们之间的差异仅在于具体课时和任务的不同,本质上还是在进行逻辑电路模拟活动。因此,本研究对类似的学习活动进行了合并处理,将其归纳为9种学习行为,作为行为序列分析的行为对象。表1呈现的是9种行为的名称、描述、来源活动以及研究编码。
如前所述,本研究将一种行为向另一种行为的转换定义为一个行为序列,并用两种行为的编码组合表示两种行为形成的序列,组合中行为编码的前后顺序代表该序列中行为转换的方向。例如,AS表示先查看学习任务(A)后阅读学习资料(S)这一行为序列,亦即从查看学习任务(A)跳转到阅读学习资料(S)所形成的序列。根据行为序列的定义,本研究中的9种行为形成了可供研究的81个行为序列。
4.研究工具与方法
研究首先采用Python语言编写算法从原始数据集中提取学习行为数据并生成研究所需格式的行为序列文件;之后,采用滞后序列分析工具GSEQ 5.1①对两种行为所形成序列的发生频次和概率值进行计算,并根据结果绘制行为转换模式图;接着,采用适用于Python语言的数据挖掘包scikit-learn进行学习效果预测研究,运用SPSS 18.0对包含不同特征数目的模型进行预测效果比较以及最终模型确定等工作。
四、研究结果
1.学习过程分析
研究应用滞后序列分析法考察学习者在学习过程中达到显著性水平的行为序列,构建学习者在虚拟仿真环境下进行实验学习的行为序列转换图,呈现一幅学习过程全景图,并进一步对行为序列转换图所反映出的行为模式、学习习惯等进行分析。
(1)行为序列总体情况
研究首先对学生在课程学习期间所产生学习行为序列的频次进行统计,形成如表2所示的9种学习行为间的转换频次表。表中行代表起始行为,列表示紧接着该行行为之后发生的行为,也就是由行行为跳转到列行为;表中数据代表的是两种行为所形成的行为序列的发生频次。例如,第1行第3列中的数字339表示,在查看学习任务行为(A)后紧接着进行普通电路模拟行为(D1)这一行为序列发生的总频次为339次。另外,从表2中也可以快速发现序列发生频次的总体情况,例如出现较多的行为序列有D1T(从组装与运行普通电路行为跳转到记录与反思实验结果行为,11686次)、TD1(记录与反思实验结果行为跳转到组装与运行普通电路行为,12215次),出现较少的行为序列有AP(查看学习任务行为跳转到电路参数调节行为,7次)等。
(2)行为转换模式分析
根据滞后序列分析理论,表3是在行为频次矩阵基础上调整后的残差表,表中数据是两种行为所形成的行为序列发生频次调整后的残差值(Z-score)。其中,Z-score>1.96表明该行为序列出现的频次在统计上具有显著意义(p<0.05)。从表3中可以发现,AA(从查看一个学习任务跳转到查看另一个学习任务)、OA(由进行与实验无关的其他行为跳转到查看学习任务)以及SA(从阅读学习资料行为跳转到查看学习任务)等31个行为序列发生频次达到了显著性水平。为了更直观呈现学习过程中行为序列之间的跳转情况,依据其中具有显著意义的31个行为序列绘制了如图1所示的行为序列转换图。图中节点表示各种学习行为,节点之间的连线表示有意义的行为序列,箭头代表行为转换的方向。
图1中不同节点之间众多的交叉连线表明,学生在DEEDS平台上的行为转换较为丰富。由图可知,9种学习行为中,普通电路模拟行为(D1)、阅读学习资料行为(S)与其他行为相比有着更多具有显著意义的序列。另外,可以发现这些序列中既包括单向的跳转序列,也包括双向的彼此交互序列。
通过对图1所示行为序列转换图的分析可以发现学习者潜在的一些行为模式、学习习惯以及认知过程等:(1)当学习者在查看学习任务时,倾向于对当前课时学习任务首先进行一番了解(AA),以便做出合理的计划。例如,是选择按照所给任务顺序按部就班完成当前课时的学习,还是选择先完成自己熟悉的,再探究尚不熟悉的内容。(2)在进行普通电路的模拟时,他们倾向于在电路运行成功后及时记录实验结果(D1T)。(3)在进行时序电路图的绘制时,倾向于不断运行实验电路,根据实验现象来绘制对应的时序电路图(D2D1、D1D2)。(4)在实验中遇到问题时,经常采取的解决办法有以下几种:其一,不断试错。例如,D1P、PD1(或者FP、PF)表示的是不断调整参数不断运行电路这一行为,D2P、PD2表示的是调整参数与制图之间的往返行为。其二,通过在平台上查阅教师分发的学习资料寻找解决办法(D1S、SD1)。其三,通过回顾以往学习内容,如查看已完成的电路或时序电路图,从而获得启发以解决当前所遇到的问题(D2D2、FF)。(5)与其他学习行为相比,当学习者在查看学习任务或阅读学习资料时,他们的注意力更容易分散,从事一些与学习无关的活动(AO、SO)。学生在A、S两种行为之后更易分神的原因:一方面可能是在学习基本理论知识时遇到困难,导致在查看实验课程学习任务时无法激起学习兴趣,直接放弃本节课的学习,同时为了应付教师在实验学习时的巡视,在两个活动界面间不断切换(OA、AO);另一方面可能是在电路运行时出现问题,查阅学习资料时对学习资料无法理解或依旧无法找出解决办法时放弃尝试,从事与学习无关的学习活动(SO)。另外,当学习者从事与学习无关的行为时,往往更难以进行自我约束,以致难以及时返回到当前学习进程中,这与在线学习环境下经常出现的情况也是相吻合的(OO)。
同时,通过对行为序列转换图(图1)的分析,也可以发现学生在虚拟仿真环境下进行实验学习的一些局限。例如,FS序列的缺乏表明学生在有限状态机实验环节遇到困惑时,较少通过查阅或复习相关学习资料去寻求解决办法,而更倾向于通过调节参数来解决(FP、PF)。然而学生在普通电路实验环节遇到问题时,却能够通过查阅学习资料寻找解决办法(D1S)。FS序列未达到显著性水平,这可能在某种程度上揭示了教师在平台上所提供的学习资料存在一定的缺陷,未能起到解惑和补充的作用。D2S的缺乏可能同样表明了教师所提供的学习资料内容在绘制时序电路图环节的局限性。再如,由图1可知,与编码O所示行为(与实验无关的其他行为)进行交互所形成的序列大多是查看学习任务(OA)、跳转到另一无关行为(OO)等,而缺乏OD1(由无关行为跳转到组装与运行普通电路)、OD2(从无关行为回到绘制时序电路图)、OF(由无关行为跳转到组装与运行有限状态机电路)等行为序列,表明当学生偏离学习路线时,他们往往很难再继续回到与实验学习直接相关的电路组装与绘制时序电路图等行为上。这在某种程度上也反映了教师在学生的学习过程中可能未能很好地起到监督与引导作用,未能在學生偏离当前学习路线时及时进行干预,让学生返回到当前的实验学习中。因此,在后续教学中,教师还应重视对学生学习过程的观察,积极与学生进行交流,了解学生在学习过程中的问题所在,及时进行引导。
2.学习成绩预测建模与分析
在进行学习效果预测之前,研究对原始数据进行了如下处理:
第一,预测属性的划分。原始学习成绩采用的是百分制,研究取60分作为中间值,将成绩划分成“及格”和“不及格”两个类别,并以此作为预测属性。
第二,数据归一化。为了消除特征属性之间的量纲对数据挖掘的影响,本研究将所有学习者的81种行为序列特征属性取值归一化处理至0到1之间。
(1)特征选择
本研究采用卡方检验进行特征属性的选择。基于卡方检验的特征选择是通过计算每一个特征属性与类别之间的卡方统计量来表示两者之间的相关性,卡方统计量越大表明两者之间的相关性越大。表4是特征属性与类别按卡方值大小排序后得到的卡方检验结果。从表中可以发现,与学习效果关系最密切的三个行为序列分别是PF、FP、ST,最不相关的是最后6个行为序列。为了选择不同的行为序列属性进行建模,研究根据卡方值大小生成81个特征子集,即第一个特征子集中仅包含卡方值最大的一个行为序列(PF),第二个特征子集中包含卡方值最大的2个序列特征PF、FP,依此类推,第81个特征子集中包含全部的行为序列。
(2)模型建立
在对学习行为序列与学习效果进行相关性分析后,本研究使用Python及其常用的scikit-learn包作为数据挖掘工具,应用四种常用的数据挖掘方法——朴素贝叶斯(Romero et al.,2013)、支持向量机(Qiu et al.,2016)、逻辑斯蒂回归(贺超凯等,2016)以及决策树(孙力等,2015;胡祖辉等,2017)方法进行数据挖掘。在进行样本选择时,使用了10折交叉验证方法。
确定好所选择挖掘算法和样本数据后,依次选择不同的特征子集作为特征属性输入,同时将“成绩类别”既作为输入值又作为预测值。四种方法在采用81个不同特征子集,运行30次后所得预测效果如图2所示。图中圆点表示的是四种方法采用不同特征子集建立预测模型运行30次后的平均预测准确率;竖线表示的是30次运行结果的标准差,反映了选用不同特征数目所得模型在预测效果方面的稳定性。
如图2所示,通过朴素贝叶斯方法(Bayes)建立的模型总体预测效果要高于其他三种方法所建立的模型。此外,图2也展示了应用不同方法所建学习效果预测准确率与所选特征数目的关系。例如,在应用朴素贝叶斯方法建立学习效果预测模型时(图2(a)),学习效果预测准确率随所选特征数目的增加总体呈上升趋势。当特征子集中特征数目取44时,所建立模型对学习效果的预测准确率取得较大值72.97%。此后,除特征数目取56时所建模型学习效果预测准确率陡增至71.80%外,随着特征数目再次增加,学习效果预测准确率开始呈下降趋势。在应用支持向量机方法(SVM)对学习效果建立预测模型时(图2(b)),当所选特征子集中只包含最大的1个特征时,所建立模型对学习效果的预测准确率最佳(54.97%)。由图2(c)可知,应用逻辑斯蒂回归方法(Logistic)对学习效果进行预测时,选用不同特征子集对学习效果预测准确度不会产生影响。在应用决策树方法(Decision Tree)进行预测建模时(图2(d)),当特征子集中包含最大的5个特征时,对学习效果的预测准确率达到最大值(61.87%)。此后随着特征子集中特征数目的增加,学习效果预测准确度呈下降趋势。
(3)模型选择与分析
通过对上述四种方法所取得学习效果预测准确度分析可知,应用朴素贝叶斯方法所得学习效果预测准确率明显高于其他三种方法。从图2(a)中可以发现,选用不同特征数目所建预测模型的准确率结果中有9个峰值,模型所对应的特征数目分别为5、11、15、18、20、29、34、44、56。上述9个预测模型进行独立样本T检验的结果如表5所示。综合考虑模型复杂度、模型差异性和预测准确度,本研究选择特征数目为29的预测模型为最终结果。模型所选择的特征数目为表4所示的前29个,平均预测准确度达到73.10%,总体来说具有良好的预测效果。
为了更直观地展示最终所选择学习成绩预测模型中与学习效果密切相关的学习行为序列,根据所得预测模型中与学习效果较密切相关(亦即表4中卡方值最大)的8个序列绘制了类似的行为序列转换图(如图3所示)。
从图3中可以发现,更多有意义的行为序列发生在与F(有限状态机时序电路模拟)交互生成的行为序列中。在该课程的学习中,有限状态机时序电路方面的内容既是课程的重点,也是课程的一大难点(Vahdat et al.,2015),而且该章节的内容占据了整个实验课程内容60%的比重,这也解释了为什么与学习效果密切相关的行为序列是与F交互生成的。
此外,与F交互的行为也是学习者学习投入与学习意愿的表现。如FT、TF序列表示的是学习者在电路运行成功后,根据所呈现的现象对实验结果进行记录。FS、SF、FP、PF这些序列表征的是学习者问题解决的过程,其中F与S所形成的行为序列,展示的是学习者采取查询资料的方式来解决问题;F与P所形成的序列,体现的是通过不断试错来寻找解决办法。在最终所要提交的实验报告中,除了对实验结果进行记录外,还有部分知识是需要学习者对学习内容理解后进行作答,这也解释了为什么ST、TS序列也会出现在图3中。上述这些行为发生得越频繁,表明学生为获得更好的表现和达到课程目标投入更多努力的意愿。
从表4还可以发现,除ST(阅读学习资源并进行记录)序列外,与实践操作相关的PF、FP以及SF序列具有更大的卡方值,也就是说这些行为序列与学习效果关联性更大。建构主义学习理论认为,知识不是从教师讲授中得到的,而是学习者在一定的情境下,借助其他辅助手段,利用必要的學习材料和学习资源,通过意义建构的方式而获得的。在案例课程中,DEEDS提供了学习者所需要的学习情境,教师提供了必要的学习材料和资源,PF、FP以及SF体现的正是学习者通过意义建构获得知识的过程。这也验证了在学习行为序列基础上所建立学习效果预测模型的有效性。
五、讨论与总结
学习过程数据反映了学习者在学习过程中的状态。通过对学习过程数据进行分析,无论是对教师发现教学现象、掌握教学规律,还是调整教学策略、优化教学路径、提高教学效果和教师专业发展能力都具有重要意义。
1.促进对教与学过程的理解
通过对学习行为序列的分析,可以促进教师或教学研究者对教与学过程的理解,从而帮助研究者和教学者,尤其是缺乏教学经验或刚入职的年轻教师,发现学生的学习路径,掌握学生的行为偏好,把握学生潜在的行为模式。例如在滞后序列分析中,本研究发现:学习者与在传统实验环境中一样,在虚拟仿真环境下依然保持着在实验运行成功后立即记录实验结果(D1T)的习惯。再如,具有显著性意义的D1P、PD1、D1S、SD1、D2D2、FF行为序列表明学习者常采用的问题解决方式是不断试错、查阅资料以及对以往学习内容的回顾。
同时,通过将滞后序列分析中绘制的行为序列转换图与教学者预设的学习模式图进行对比,可以帮助教学者找出预想学习模式与实际学习模式存在的差异,帮助教学者进行教学反思,形成实践性见识。如在本研究中,AD1、AF(两个序列均表示查看学习任务后进入实验的跳转行为)序列的缺失表明学习者并不是在获知学习任务后立即着手开始实验,往往倾向于先进行一些其他活动,继而再跳转到实验环节。教学者可以采取多种形式获知出现此类现象的原因,例如是学习平台存在缺陷还是教师的引导方式存在问题,进而为改善后续教学提供支持。
2.发现有效行为序列与教学规律
发现和定义对学习效果具有促进意义的行为序列是提高教学绩效的前提。通过对所建立学习效果预测模型中关键数据节点的分析与解读,可为教师确定用于监控和分析学习过程的关键行为序列,亦可帮助教師发现教学重点,辅助教师采取科学有效的教学形式。例如,本研究发现,在案例课程中,与学习效果密切相关的行为序列大多是在有限状态机实验环节呈现的行为序列(即出现在预测模型中的序列是与F交互生成的)。为了达到帮助学习者对教学内容理解与掌握的目的,教师可以在此发现上提供该章节更丰富的学习资料,引导学生采取正确有效的学习形式。
以往的规律往往是研究者通过主观臆想或演绎推论得出的,较少从复杂、多变的教学或学习现象观察中研究得出。通过对学习效果预测模型中关键行为序列的分析,可为教师发现和掌握教与学规律提供支持。例如本研究发现,即使是在虚拟仿真环境下,最有效的提升学生对学习效果理解与掌握的途径还是为学习者提供所需要的学习情境、必要的学习材料和资源,让学生自主建构知识。
3.及时实施干预,提升教学效果
通过分析学习行为转换,可以帮助教学者发现学生的学习路径、掌握学生的行为偏好、把握学生潜在的行为模式,促进教师对教学过程的反思;通过学习行为序列建立学习效果预测模型,可以帮助教师找出更有意义的行为序列、发现教学规律,同时为教师确定可用于教学监控的关键指标。两者有效结合,可以帮助教师转换教学模式,调整教学策略,提升教学经验,监控学生的学习过程,并在学习发生偏离时实施教学干预,从而达到优化教与学活动、提升教学效果的目的。例如,在本研究案例课程的后续教学中,教师可以对AO、SO、OO以及与B交互形成的多种在频次上具有显著意义但与学习效果无显著意义的序列进行干预,引导学生更多地参与到与学习密切相关的学习活动中。
注释:
① 滞后序列分析工具GSEQ5.1相关信息:http://www2.gsu.edu/~psyrab/gseq/index.html。
参考文献:
[1]傅钢善,王改花(2014). 基于数据挖掘的网络学习行为与学习效果研究[J]. 电化教育研究, (9): 53-57.
[2]贺超凯,吴蒙(2016). edX 平台教育大数据的学习行为分析与预测[J]. 中国远程教育, (6): 54-59.
[3]胡祖辉,施佺(2017). 高校学生上网行为分析与数据挖掘研究[J]. 中国远程教育, (2): 26-32.
[4]贾积有,缪静敏,汪琼 (2014). MOOC学习行为及效果的大数据分析——以北大6门MOOC为例[J]. 工业和信息化教育, (9): 23-29.
[5]李爽,钟瑶,喻忱等(2017). 基于行为序列分析对在线学习参与模式的探索[J]. 中国电化教育, (3): 88-95.
[6]牟智佳,武法提(2017). MOOC学习结果预测指标探索与学习群体特征分析[J]. 现代远程教育研究, (3), 58-66+93.
[7]彭文辉,杨宗凯,黄克斌(2006). 网络学习行为分析及其模型研究[J]. 中国电化教育, (10): 31-35.
[8]孙力,程玉霞(2015). 大数据时代网络教育学习成绩预测的研究与实现——以本科公共课程统考英语为例[J]. 开放教育研究, (3): 74-80.
[9]魏顺平(2011). Moodle 平台数据挖掘研究——以一门在线培训课程学习过程分析为例[J]. 中国远程教育, (1): 24-30.
[10]吴淑苹(2013). 基于数据挖掘的教师网络学习行为分析与研究[J]. 教师教育研究, (3): 47-55.
[11]杨金来,洪伟林,张翼翔(2008). 网络学习行为的实时监控研究与实践[J]. 开放教育研究, (4): 87-92.
[12]杨现民,王怀波,李冀红 (2016). 滞后序列分析法在学习行为分析中的应用[J]. 中国电化教育,(2): 17-23,32.
[13]姚纯贞,米建荣,王红成(2009). 国内外学习行为研究综述[J].教学与管理,(30): 48-50.
[14]郁晓华,顾小清(2013). 学习活动流:一个学习分析的行为模型[J]. 远程教育杂志,(4): 20-28.
[15]Donzellini, G., & Ponta, D. (2007). A Simulation Environment for e-Learning in Digital Design[J]. IEEE Transactions on Industrial Electronics, 54(6): 3078-3085.
[16]Hou, H.-T. (2012). Exploring the Behavioral Patterns of Learners in an Educational Massively Multiple Online Role-Playing Game (MMORPG)[J]. Computers & Education, 58(4): 1225-1233.
[17]Hou, H.-T., Sung, Y.-T., & Chang, K.-E. (2009). Exploring the Behavioral Patterns of an Online Knowledge-Sharing Discussion Activity Among Teachers With Problem-Solving Strategy[J]. Teaching and Teacher Education, 25(1): 101-108.
[18]Huang, S., & Fang, N. (2013). Predicting Student Academic Performance in an Engineering Dynamics Course: A Comparison of Four Types of Predictive Mathematical Models[J]. Computers & Education, 61: 133-145.
[19]Jeong, A. C. (2003). The Sequential Analysis of Group Interaction and Critical Thinking in Online[J]. American Journal of Distance Education, 17(1): 25-43.
[20]Jiang, S., Warschauer, M., E., & Williams, A. et al.(2014). Predicting MOOC Performance with Week 1 Behavior[A]. J. Stamper, Z. Pardos, M. Mavrikis & B. M. McLaren (2014). Proceedings of the 7th International Conference on Educational Data Mining[C]:273-275.
[21]Lan, Y.-F., Tsai, P.-W., & Yang, S.-H. et al.(2012). Comparing the Social Knowledge Construction Behavioral Patterns of Problem-Based Online Asynchronous Discussion in E/M-Learning Environments[J]. Computers & Education, 59(4): 1122-1135.
[22]Macfadyen, L. P., & Dawson, S. (2010). Mining LMS Data to Develop an “Early Warning System” for Educators: A Proof of Concept[J]. Computers & Education, 54(2): 588-599.
[23]McIntyre, D. J., Copenhaver, R. W., & Byrd, D. M. et al. (1983). A Study of Engaged Student Behavior Within Classroom Activities During Mathematics Class[J]. The Journal of Educational Research, 77(1): 55-59.
[24]Qiu, J., Tang, J., & Liu, T. X. et al. (2016). Modeling and Predicting Learning Behavior in MOOCs[A]. Proceedings of the Ninth ACM International Conference on Web Search and Data Mining[C]:93-102.
[25]Romero, C., López, M.-I., & Luna, J.-M. et al.(2013). Predicting StudentsFinal Performance From Participation in On-Line Discussion Forums[J]. Computers & Education, 68: 458-472.
[26]Sackett, G. P. (1978). Observing Behavior: Theory and Applications in Mental Retardation (Vol. 1)[M]. Baltimore: University Park Press.
[27]Vahdat, M., Oneto, L., & Anguita, D. et al.(2015). A Learning Analytics Approach to Correlate the Academic Achievements of Students with Interaction Data from an Educational Simulator[A]. G. Conole, T. Klobu?ar, & C. Rensing et al.(2015). Design for Teaching and Learning in a Networked World[M]. Springer International Publishing: 352-366.
[28]Vicente-Arturo, R.-Z., Abelardo, P., & Daniel, B. et al.(2012). Monitoring Student Progress Using Virtual Appliances: A Case Study[J]. Computers & Education, 58(4): 1058-1067.
[29]Yang, X., Guo, X., & Yu, S. (2016). Student-Generated Content in College Teaching: Content Quality, Behavioural Pattern and Learning Performance[J]. Journal of Computer Assisted Learning, 32(1): 1-15.
[30]Yang, X., Li, J., Guo, X., & Li, X. (2015). Group Interactive Network and Behavioral Patterns in Online English-To-Chinese Cooperative Translation Activity[J]. The Internet and Higher Education, 25: 28-36.
收稿日期 2017-10-28 責任编辑 汪燕