学习者与平台交互行为挖掘及学习预测模型构建
【摘要】
学习分析技术是一种通过对学习者在学习中的实际参与、表现和进展以及自身属性等各种相关数据的分析对其学习结果进行预测的技术。通过模型分析可以为学习者提供预测结果，并实时向教学管理者、课程设计者和任课教师等提供相应的干预策略，以避免学习者可能最终学习失败的结果。随着大规模在线课程的迅猛发展，需要针对性的预测模型来支持学习者的在线学习过程。本文提出了一種以学习者与平台教学资源间的交互行为为基础构建适应大规模在线学习预测模型的新方法。与传统学习分析方法不同，该模型不需要对学习者前期学习情况有过多了解，也无须教学设计者或领域专家的过多参与，在通用环境的课程结构以及随时间变化的前提下具有良好的预测准确性。
【关键词】 ?学习分析技术;机器学习模型;数据挖掘;时间序列;预测分析;决策树;交互行为;学习环境
【中图分类号】 ? TP391 ? ? ? ? 【文献标识码】 ?B ? ? ? 【文章编号】 ?1009-458x（2021）5-0062-06
一、引言
随着学习分析技术的研究日益发展，基于该技术建立的各类对学习者学习状态及结果的分析、预测、预警、干预系统已经广泛应用在各种学习平台之中，并有效地增强了学习者的学习成功率（Arnold， et al.， 2012; Lauría， et al.， 2013）。构建预测模型通常需要设计者对所面对的教育领域、学习目标以及教学所处的教学环境有深入的了解。本文的研究目的在于能够提供一种较为通用的方法，打通存在于数据挖掘专家和教育教学专家之间交叉的“中间空间”（Adlin， et al.， 2010），以学习者的个人属性特征和基于互动行为的时间序列数据，驱动构建一个在同一平台环境中，能够跨越不同课程和教学过程，并且随时间变化仍具有良好解释性和准确性的学习者预测模型和干预系统。这一构建过程，不会给使用模型的教师或教育专家带来额外的工作负担，他们可以更容易地通过数据驱动的预测模型来深入了解课程中发生的活动，同时通过模型提供的预测结果实施选择性干预（Barber， et al.， 2012）。
二、相关研究进展
在学习分析技术兴起之前，技术强化学习（Technology-enhanced Learning，TEL）领域就受到教育界非常广泛的关注。这一领域的研究方向是理解学习者从认知角度进行学习的过程，并以泛在的技术手段加以增强和辅助。其中，安德森（Anderson， 1993）的ACT-R技能知识理论被用作许多智能学习辅助系统的基础。该理论认为，学习者可以由重复正确规则展示认知能力和水平，相对地，如果这种趋势不足则表明需要教育干预机制加以改进。欧尔森（Ohlsson， 1994）基于“错误表现”的学习理论为该领域提供了另一种解释，他认为学习者需要通过错误并纠正来证明学习过程正在发生，提交正确的答案存在着巧合的可能，而出错并纠正才是对知识更深层次的认知。马丁（Martin， 1999）以此理论为依据，建立了基于约束的智能辅助模型。这些对学习者学习认知过程的评判和干预理论，为学习分析技术奠定了教育理论基础。
随着互联网生态的蓬勃发展，网络教育形式方兴未艾。相关领域研究，从单纯的学习者与学习内容之间的互动延伸到了学习者之间的学习交流过程（Gergen， 1985）。布尔等（Bull， et al.， 2001）通过人工智能技术对学习者之间的交流和讨论，建立了学习同伴的匹配模型;格拉瑟等（Graesser， et al.， 2005）则基于此建立了人机对话的智能教学辅助系统。
随着大规模公开在线课程（MOOC）崭露头角，学习分析技术的发展得到了空前的大数据研究基础和应用前景。加曼（Garman， 2010）采用Logistic回归分析的方法，基于学生部分学习对象的评估结果对学生的课程进行有效预测;摩尔（Moore， 2007）把学生当前课程与之前课程的参与程度作为分析对象，研究表明学生课程的参与程度与其课程成绩呈高度相关，而学生的前置学历排名、入学考试成绩等则没有在学习结果上呈现显著差异;马杰等（2014）利用多元回归分析建立模型，对教育技术初级能力培训课程产生的相关数据进行分析，验证了该模型的可行性和有效性;孙力等（2015）采用数据分类决策树方法，实现了对英语统考成绩的良好预测;陈子健等（2017）提出采用集成学习的方法构建集成式学业成绩分类预测模型，并比较多种算法构建的单一分类模型和集成分类模型的性能;肖巍等（2018）对基于数据挖掘的学习预警研究进行文献综述;王改花等（2019）采用数据挖掘技术对网络学习者的学习行为与成绩进行了预测，构建了适应性学习系统学习干预模型。
对预测模型的研究存在一个共识，即学习者前序学习成绩是对其后序阶段学习结果的重要预测指标。如贾亚普拉卡什等人（Jayaprakash， et al.， 2014）提供了逻辑回归模型描述，学习者课程成绩累积平均值是最终成绩的最强预测因子。笔者所在的网络教育学院以及其他大规模在线教育平台都存在此类情况，即难以准确获得学习者在使用当前教学平台之前的学习记录数据。此外，现有的大部分预测模型都是阶段性、静态的，缺乏利用时间序列行为特征分析预测学习者实时学习结果的能力。因此，本文探索一种以学习者与学习平台的资源互动行为数据建模的方法，引入时间序列的衡量概念，构建一个较准确、易解释的在不同课程中具备较好通用性并可实时动态预测学习者的学习结果预警模型。
三、数据准备
（一）特征变量的选择
在学习分析领域，对学习者特征变量（或称“属性”）的划分，存在着一个普遍共识的方式。一类是带有学习者人口统计学特点的“倾向特征变量”，另一类是学生在学习过程中所呈现的“行为特征变量”。倾向特征变量一般包括学习者的年龄、性别、家庭状况、收入水平、生活地区以及前置学习成绩等属性内容。这一系列的特征变量都具有静态、客观的特点，是学习者个人情况的反映，基本不会频繁变化。对大多数在线学习平台来说，此类特征变量都较容易获得。之前的研究发现，学习者的“性别、年龄、婚姻状况、生活地区”是对回归分析预测模型影响较高的特征变量（王亮， 2015）。因此，虽然本文的研究重点不在此类倾向特征变量上，但从实际应用出发，为提高模型的准确度和解释性，继续在模型中选用这四个特征变量。
行为特征变量包含学习者在学习平台上的各类学习活动，包括学习者与平台各类学习资源、其他学习者、教学者之间的互动和结果。基于对学习过程中最核心流程的共识，本文选取了三种资源交互形式作为预测模型的考察变量：课程讲座视频、学习者线上作业完成进度以及学习论坛的讨论参与。考虑到模型的复杂性，对以上三种资源交互的考察仅限于粗粒度水平，忽略了对单独资源再进行细粒度交互的分析。
（二）通过学习者行为数据创建时间序列特征变量
大多数学习分析技术构建预测模型的研究，一般都会关注对学习者与平台资源交互数据的分析和选取。随着学习平台对学习痕迹记录的完善，这些数据可以方便地从平台运行日志中获得（如某人某时间访问了某课程讲座视频资源等）。然而，如何把此类日志数据离散转化为可以表达学习者与资源互动行为特征的描述，并利用数据挖掘进行分类是本研究的重点问题。
本文在数据准备过程中，根据学习者访问资源的时间范围来整合其交互行为特征。从学习周期开始的时间相对偏移，使用了三种不同的度量：以日为跨度、以周为跨度和以月为跨度的交互行为进行观测。这样基于时间序列的数据特征分类可以全面地了解学习者与资源交互的节奏和周期。
在选定行为数据表达方式后，需要再选择适合用于预测模型的时间序列特征变量对象。以交互日志数据为基础，确定得到学习者在某一具体时间范围的全部互动行为特征（如在第15个学习日或第6个学习周是否观看了课程讲座的视频等），并将所有这些特征变量纳入到数据集中。但这势必会造成模型中特征变量的数量过大，进而带来机器学习模型的过拟合现象，结果不仅影响模型在不同课程中的通用性，又会严重降低模型的解释性。因此，本文忽略具体到某一时间范围的时间序列特征变量，而将观测集中到交互行为的时间序列前后关联性上来，如考察学习者在学习周期中连续三周每周都至少观看一次课程讲座视频，这样的行为特征是否对其课程通过有影响。学习是一个连续性过程，本文假设以交互行为的时间序列前后关联情况作为特征变量，更有利于机器学习模型的训练和预测性能。
在表达时间序列前后关联的方法上，本文采用N-Gram语言模型技术对数据进行标准化处理（Brooks， et al.， 2015）。Gram是一种统计语言模型，用来根据前（n-1）个Item来预测第n个Item。本文采用3-gram的时间序列特征来表达学习者与资源交互的时间关联状态。仍以观看课程讲座视频为例，如学习者在整个学习周期内以连续三周为一个时间序列，出现了2次，第一周和第三周观看了视频，而第二周没有的情况，本文即用“周”标签的3-gram（真，假，真）特征变量的值为2来表达这一状态。以此类推，本文将设定一组3-gram的时间序列特征变量，覆盖从（假，假，假）到（真，真，真）的所有排列可能。
（三）数据的实际采集和整理
本文从笔者所在的网络教育学院学习者中抽选了某一学籍批次的工商管理专业学生，并从教学平台中抽取了该批次学习者在管理学课程学习过程中所进行的“课程讲座视频观看、线上作业完成进度以及学习论坛的讨论参与”三种资源交互的行为记录。该课程总教学计划时间为3.5个月，因此之前选择的3-gram尺度是较为适宜的。本文设定coursewareD/coursewareW/coursewareM分别表示以日、周、月时间跨度记录学习者观看课程视频的特征变量。类似地，以homework表示线上作业完成进度，以forums表示学习论坛的讨论参与等对应特征变量，并在3-gram的排列基础上展开，总共生成了24个时间序列特征变量（如表1所示）。
本文设计了对平台日志记录数据离散的标准化算法，将纵向的学习者交互记录数据批量离散转化为对应的时间序列特征变量值。这一数据准备过程相对烦琐复杂，特别是在模型验证阶段的不同时间节点观测，需要反复运算并整合，这是平台缺乏相关功能造成的缺陷。未来可以在平台设计改进中加入此算法，以高效、直接地获得所需特征变量值。
四、机器学习预测模型的建立和验证
在建立本研究的机器学习和预测模型时，首先确定模型需达成的两个目标：第一，在保证模型高准确度的前提下，在准确性和解释性之间达成一个平衡，盡可能兼顾解释性;第二，体现交互行为时间序列编排的价值，在实现课程实时推进的同时保持模型相对良好的准确性。特别是在学习周期初期缺乏前置学习结果的条件下，如早期模型能具备良好的准确度，那么对提供早期预警干预将具有现实意义。
（一）模型建立的技术路线
由于机器学习算法偏向大多数类，所以在训练数据不均衡时，准确度评价指标的参考意义就会显著下降。基于对所在网络教育学院的课程进行观察可以发现，一般课程考核通过率在70%～75%之间，如果不对数据样本进行平衡调整，那么训练出的模型分类效果会难以接受。在样本平衡模式上，本文选择了欠采样方法，对大类（考试通过的学习者）的数据样本进行欠采样来减少大类的数据样本个数，使得样本中通过与未通过的学习者数量比例接近1∶1。现有研究证明，平衡数据的训练可以有效提高机器学习模型的预测准确性。
本研究选择决策树机器学习技术来建立预测模型。线性回归、逻辑回归等简单技术，过程清晰明确，但不适用于分析复杂的问题和数据;相比贝叶斯模型或支持向量机等其他机器学习技术，决策树最大的优点就是其易用性和较为清晰的解释性，这对于教学设计者或教师具有更高的价值。本文的数据处理使用Weka工具包下的J48决策树分类器（C4.5算法）来完成，参数选择置信水平为0.25，最小叶节点大小为100。为了保证生成模型的准确性而不至于出现过拟合的现象，研究采用10折交叉验证（10-fold cross validation）来评估模型。
（二）模型准确度和解释性评价
根据第3节进行的数据准备，本文利用决策树进行机器学习分类，所生成的预测模型的准确度结果如表2所示。
表2列出了模型对数据集正确、不正确分类的数量，以及kappa值观察数据与预测数据之间一致性的度量。kappa 值的范围为-1到+1，值越高，一致性就越强。当Kappa为1时表明完全一致，为0时一致性与偶然预期相同，小于0的情况很少发生。有研究认为kappa 值至少为0.75表示一致性强，0.8以上表示一致性很强。本文模型的一致性为0.89，结合94.65%的分类正确率，可以确定此机器学习预测模型的准确度是令人满意的。
图1给出了本研究模型管理学课程结果决策树示例。从树的结构可以直观看出，J48决策树修剪掉了数据集中绝大多数特征变量，只保留了机器学习算法所认为最能体现分类效率和准确性的变量属性。统计模型是一种自上而下的数据科学方法，可解释性是关键，因为相关性往往不等于因果关系，而机器学习模型的准确度又与其复杂程度是相关的，这就决定了模型的准确性和解释性很难兼得，需要研究者取得一个适当的平衡。从图1的树结构呈现中可以较容易地理解其分类意义，即学习者如果连续三个月以上能按时观看课程讲座视频，并且连续三个月以上保持规律提交作业，考试通过的概率是相当高的，这也符合学习过程连贯性的一般规律。同时，缺乏规律学习和作业提交的学习者无法通过课程的概率较大，而这其中单身学习者的通过率更差一些，已婚学习者中男性比女性通过率又弱一点。这或许与我们主观认知规律相悖，但实际上可能与家庭责任与个人自律性等社会现象有关，具体原因不在本文研究范围内。
根据以上结果评价，本研究所构建的预测模型在对某一门课程的学习结果准确性和解释性上初步获得令人满意的效果。
（三）预测模型随时间变化的验证
基于学习者交互行为时间序列来建立预测模型，一个重要的目的就是希望此模型可以在学习周期的任何阶段都能实时预测学习者的学习结果，供教学人员实施及时干预。为验证模型随时间变化的准确度，本文从所在学院筛选出与之前实验数据中不同批次修读管理学课程的学习者，沿用第3节的数据准备方式，对学习者进行以周为单位的交互行为数据采集和整合，并将得到的特征变量作为测试数据。将这些数据按照时间节点分别引入前文所生成的预测模型中进行验证，得到的准确度表达如图2所示。
图2给出了在本轮验证过程中训练集和测试集学习者考试结果预测准确度随时间变化的趋势。在教学周开始的第4周左右，对两个数据集的预测准确度均较快提升到较高水平，证明本文预测模型随时间积累，较快地具备早期预警的能力，在教学周期的绝大部分时间的预测准确度表现均较为良好。
为更好地理解时间变化给预测准确度带来的影响，本文绘制了测试集结果的混淆矩阵的变化趋势（如图3所示）。混淆矩阵由四个值组成：真阳性、假阳性、真阴性和假阴性。与本文所做分析研究对应，我们关注以下几个数据对象：预测课程通过且确实通过的学习者（真阳性）、预测通过但未通过的学习者（假阳性）、预测未通过且确实未通过的学习者（真阴性）。对预测未通过但实际通过的（假阴性）学习者，由于对其实际课程通过与否没有产生负面影响，因而忽略。
从图3可以观察到，在教学周期的第四周之后，矩阵各分类数值趋向于各自稳定水平，这与预测模型对测试集的准确度验证规律相吻合。同时，假阳性数值，也就是预测学习者通过而实际未通过的人数，很快下降到一个较低的水平，证明了本文模型对需要预警的学习者疏漏的概率不高，且对时间变化较敏感，表明本文模型随时间积累的性能提升较好。
（四）本文预测模型与其他预测模型的比较
本文预测模型的分析对象是基于时间序列的平台交互行为，探讨的是学习者在时间跨度中学习行为随时间序列前后关联带来的结果影响。这种动态的对学习交互行为时间关联性的研究，是区别于其他学习分析预测模型的主要特点。在此前的相关研究中，使用逻辑回归算法建立过预测模型，其优点是简单、直观且便于解释，但不擅长处理大量特征变量的复杂数据挖掘问题。因此，本文研究中众多的时间序列特征变量并不适宜使用线性、逻辑回归算法来处理。为比较两种算法的效果差异，本文将延续此前研究中使用过的逻辑回归预测模型，并在回归模型中使用简化的学习交互行为特征变量，使用同一测试集数据来比较两种算法模型的差异性。
本文为用于比较的逻辑回归算法预测模型，选择了与时间序列交互行为决策树算法预测模型同样的倾向特征变量，在行为特征变量方面也选取了同样的特征对象，但简化了特征對象的变量容量以达成回归算法的适应性，同时尽可能模拟与本文决策树算法类似的分析效果。具体变量的选择如表3所示。
为确保模型比较的准确性，在用于对比的逻辑回归预测模型中本文使用前文同样批次的学习者数据集，并继续以每个教学周作为周期采集测试集数据，继而使用验证集进行预测结果检验。两种模型的预测准确度随时间变化的比较如图4所示。
从图4可以看出，此前研究中所采用的逻辑回归预测模型，在只采集阶段性交互行为数据的特征变量情况下早期的预测准确度并不十分理想，随着教学时间的推移，学习者交互行为数据积累增多之后，其预测准确性会得到提高，在教学周期接近结束时也能达到较高的预测准确度，这与此前的研究结果是相符的。相比之下，本文基于时间序列的行为交互预测模型在教学周期的早期就能达到较好的准确度，从而具备早期预警的能力，这对于大规模在线教学平台来说具有较强的实际应用价值。
五、结语
目前，利用机器学习建立预测模型的研究和应用已经较为普遍，但基于时间序列考查学生交互行为相互关联的预测模型研究仍较少，跨越平台和教学环境的数据驱动预测建模仍然大有潜力。本文的研究正是在对学习者与平台资源交互行为的基础上，创建时间序列前后关系的特征变量，建立机器学习预测模型，并验证随时间推移的模型准确性和应用价值。通过数据验证和与一般的回归预测模型比较可以得到，该模型具有较好的准确度（分类准确率94%以上，kappa一致性0.8以上），并且具有相对良好的解释性。在进一步对模型随时间变化的性能检测中，本决策树模型在教学周期的早期就能形成较高准确度，真阳性和假阳性分类较快地稳定到对应的高和低水平，与此前研究的预测模型相比有一定早期和动态预测优势，达成了本研究对模型设计的目标。
本研究尚有许多值得改进的方面。首先，由于机器学习的算法性质，对于决策树分类器对数据集特征变量的选择没有进行干预，因此可能只选择了与预测结果强烈相关的特征变量形成模型，而忽略了不同变量对预测能力影响的比较。此外，该模型的通用性在同一教学环境中有较好表现，但如果课程的教学模式和资源组成有较大变化，就会对模型稳定性形成挑战。这需要后续研究对不同课程进行分类和概括，形成若干稳定的预测模型模式，以应对不同特征的课程结构。同时，该机器学习模型对于传统教学领域小规模线下课程的适用性及其性能效果也是未来需要探讨的内容。
[参考文献]
陈子健，朱晓亮. 2017. 基于教育数据挖掘的在线学习者学业成绩预测建模研究[J]. 中国电化教育（12）：75-81，89.
马杰，赵蔚，张洁. 2014. 基于学习分析技术的预测模型构建与实证研究[J]. 现代教育技术（11）：32-40.
孙力，程玉霞. 2015. 大数据时代网络教育学习成绩预测的研究与实现——以本科公共课程统考英语为例[J]. 开放教育研究（3）：74-80.
王改花，傅钢善. 2019. 网络学习行为与成绩的预测及学习干预模型的设计[J]. 中国远程教育（2）：39-48.
王亮. 2015. 学习分析技术建立学习预测模型[J]. 实验室研究与探索 （1）：215-218，246.
肖巍，倪传斌，李锐. 2018. 国外基于数据挖掘的学习预警研究：回顾与展望[J]. 中国远程教育（2）：70-78.
Adlin， T.， & Pruitt， J. （2010）. The Essential Persona Lifecycle： Your Guide to Building and Using Personas. Morgan Kaufmann Publishers， Burlington， MA， USA.
Anderson， J. R. （1993）. Rules of the mind. Cognitive Processes， 320.
Arnold， K. E.， & Pistilli， M. D. （2012）. Course signals at Purdue： using learning analytics to increase student success （pp.267-270）. Learning Analytics and Knowledge Conference， Vancouver， British Columbia， ACM.
Barber， R.， & Sharkey， M. （2012）. Course correction： using analytics to predict course success. Learning Analytics and Knowledge Conference， Vancouver， British Columbia， ACM.
Brooks， C.， Thompson， C.， & Teasley， S. （2015）. A time series interaction analysis method for building predictive models of learners using log data. [ACM Press the Fifth International Conference - Poughkeepsie， New York] Proceedings of the Fifth International Conference on Learning Analytics And Knowledge - LAK， 126-135.
Bull， S.， Greer， J.， McCalla， G.， Kettel， L.， & Bowes， J. （2001）. User modelling in i-help： What， why， when and how. In User Modeling （pp.117-126）. Springer.
Garman， G. （2010）. A Logistic Approach to Predicting Student Success in Online Database Courses. American Journal of Business Education， 3（12）， 1-5.
Gergen， K. J. （1985）. The social constructionist movement in modern psychology. American psychologist， 40（3）， 266.
Graesser， A. C.， Chipman， P.， Haynes， B. C.， & Olney， A. （2005）. Autotutor： An intelligent tutoring system with mixed-initiative dialogue. Education， IEEE Transactions on， 48（4）， 612-618.
Jayaprakash， S. M.， Moody， E. W.， Lauría， E. J.， Regan， J. R.， & Baron， J. D.（2014）. Early alert of academically at-risk students： An open source analytics initiative. Journal of Learning Analytics， 1（1）， 6-47.
Lauría， E. J. M.， Moody， E. W.， Jayaprakash， S. M.， Jonnalagadda， N.， & Baron， J. D. （2013）. Open academic analytics initiative： initial research findings （pp.150-154）. Learning Analytics and Knowledge Conference， Leuven， Belgium， ACM.
Martin， B. （1999）. Constraint-based modelling： Representing student knowledge. New Zealand Journal of Computing， 7（2）， 30-38.
Moore， R. （2007）. Do Students Performances and Behaviors in Supporting Courses Predict Their Performances and Behaviors in Primary Courses？ Research and Teaching in Developmental Education， 23（2）， 38-48.
Ohlsson， S. （1996）. Learning from performance errors. Psychological Review， 103（2）， 241-262.
收稿日期：2020-03-09
定稿日期：2020-06-03
作者簡介：王亮，硕士，实验师，南开大学现代远程教育学院（300071）。
责任编辑 韩世梅
