基于BKT模型的网络教学跟踪评价研究
李景奇 卞艺杰 方征
摘要：当前网络教学中存在教学过程评价难以量化、课程教学进度安排缺少数据支持等问题。随着大数据技术的发展，网络学习行为分析已经取得较大进展，但学习内容的跟踪与评价还比较缺乏。将知识跟踪嵌入网络课程，及时跟踪学生知识掌握情况，将有助于教师发现学生学习问题，调整教学策略；同时也可引导学生将学习的关注点聚焦在知识内容的理解上，而不是分数上。贝叶斯知识跟踪（BKT）模型是一种以知识点为核心构建学生知识模型的方法，具有简捷、预测准确、易于解释的特点。基于BKT公式改进的网络教学跟踪评价模型，可用以课时估算和学习成绩预测。实证分析数据显示，该模型的预测准确率和精确度较高。在实际应用中，BKT知识跟踪功能可单独开发应用，也可与教学平台集成使用，亦可支持线下教学。
关键词：网络教学；BKT；贝叶斯知识跟踪；模型构建；跟踪评价
中图分类号：G434 文献标识码：A 文章编号：1009-5195（2018）05-0104-09 doi10.3969/j.issn.1009-5195.2018.05.012
一、研究背景
远程教学时空分离的特征，使得学习资料的网络传递和学习过程的跟踪评价尤为重要。目前学习资料的共享与传递方法已经非常多，比如课程资源库、QQ班级群、网络教学平台等，但学习过程的跟踪评价方法却仍然较为匮乏。当前网络教学存在的主要问题是：
（1）教学过程评价难以量化。一般而言，教学过程中教师主要通过诊断性评价和形成性评价来评估学生学习情况，经常使用的工具就是测试和作业。但测试与作业如何与学生知识的掌握程度精确对应，如何通过这种评估发现学生的知识状态，需要进一步量化研究。另一方面，测试和作业的结果如何持续跟踪利用也是值得研究的问题。
（2）课程教学进度安排缺少数据支持。目前，课程教学进度往往根据经验，按课程知识点将课程划分为多个单元或章节，然后按单元或章节来制定教学进度。比如一个单元需要2个学时，包括4个知识点，则每个知识点分配0.5个学时。这种简单依靠经验和教学内容去安排教学进度，容易导致有些知识点讲解不够，而有些知识点浪费时间太多。
针对以上问题，清华大学THEOL在线学习平台提出了CIPP评价，从背景评估、输入评估、过程评估和结果评估四个方面，利用网络教学平台所能收集到的学习成绩数据和学生网络学习行为数据进行评价（李景奇等，2009）。虽然学习过程的跟踪与评价可以实现，但前提是学生经常使用网络教学平台。但实际教学中，学生利用网络教学平台主要还是查看教学资料，用于讨论和互动的较少；且即使利用学习成绩和网络学习行为数据，也只能用于简单地对学生学习行为进行评价，无法对学生掌握知识的程度进行精确预估。美国教育技术办公室发布的《通过教育数据挖掘和学习分析促进教与学》报告认为，可以通过学生建模来解决学习过程中的问题。学生建模主要包括学习者知识建模、学习者行为建模、学习者经历建模、学习者建档、领域知识建模、学习组件和教学策略分析、趋势分析、自适应学习系统和个性化学习等8个领域（徐鹏等，2013）。该报告归纳了目前教育数据挖掘和分析应用的现状，也为教与学的数据挖掘和利用提供了指导，其中学习者知识建模无疑是最为重要的数据分析手段，但需要进一步研究学习者建模与教师教学过程之间的关系，从而为教师教学给予更多的支持。
随着大数据技术的发展和应用，诸多学者对学习行为数据作了进一步的研究分析，如陈海建等（2017）通过对开放式教学下学习者的基本信息、在线学习行为和课堂表现进行分析，挖掘学习者的兴趣、爱好、学习能力等特点，以标签化的形式进行个性归纳和画像，并基于学习者画像，探讨个性化教学。曹晓明等（2014）将传统教师引导的基于分层的群组个性化学习方式和采用智能Agent伴学的个性化学习方式统一起来，引入学习分析技术，辅助教师量化掌控学情，动态调整教学过程。魏顺平等（2017）基于国家开放大学学习网中的教与学行为日志，对在线教学过程进行评价，并将教学过程评价结果用于对在线教育机构师生在线教学过程的监测分析，以快速了解师生的教与学现状，评价师生的教与学质量，及时、有针对性地进行教学干预。以上研究通过学生学习数据分析，辅助教学过程的监控和调节，但对学生学习的核心，即知识掌握程度的评估仍然缺乏有效的数据支持。
一些学者也从学生模型构建的角度，积极探索通过学生模型建构，促进学生学习。如郭富强（2011）设计了一个包括学生知识水平、学习偏差程度、学生认知能力、学习情绪的智能教学系统学生模型，并通过模型来调整教学行为。杨卉等（2005）提出了一个两层动态学生模型，通过跟踪和综合评价相结合的方法获取学习者的综合特征，并采用广义模糊综合评判方法对学习者二级特征进行评价。虽然以上研究中，也注意到了学生知识水平的评估，但就具体的实现方式并没有作深入研究。
总之，目前的网络教学过程跟踪与评价研究，在学生的网络学习行为分析方面已经进行了较多、较为充分的研究。特别是大数据技术的发展，更进一步促进了学习网络行为分析，产生了许多学习分析模型和研究成果。但在学习内容方面的跟踪与评价还很少。目前远程教学中，特别是没有开办网络教育的高校，完全依靠教学平台教学的模式还不多，更多的是一种混合式教学，即在提供远程教学资料的同时，辅以部分线下课堂授课，同时把课程资料、作业、测试通过网络课程来实现。因此，如果能通过网络课程的设计，把知识跟踪嵌入其中，及时跟踪学生知识掌握情况，就能很便捷地发现学生学习中存在的不足，进而更有针对性地提供教学指导，节约教学时间，提高教学效率。
在网络课程知识跟踪评价模型中，贝叶斯知识跟踪（Bayesian Knowledge Tracing，BKT）模型是美国智能教育系统中应用较早的一种方法。近年来随着教育数据挖掘技术的发展，LFA（Learning Factors Analysis）、PFA（Performance Factors Analysis）模型也得到了较多的研究和应用。LFA模型是一种结合统计学、专家知识和组合搜索的方法来评价和改进认知模型的方法（Cen et al.，2006）。它主要基于三个变量：学生知识初始水平、知识点难度和知識点掌握效率，通过多元逻辑回归算法预测知识点的掌握概率。该模型的重点是发现当前认知模型的不足，从而改进课程知识点的教学安排。但该模型对知识掌握程度的连续变化无法跟踪，而且它假设每个学生的学习效率是相同且恒定不变的，因此无法应用于自适应学习分析。PFA对LFA模型进行了改进，增加了对知识点测试中正误反应的变量，从而使得PFA能够适应学生自适应学习跟踪和评价（Pavlik et al.，2009）。但该模型认为学生初始水平在网络教学中不易测量，很少使用，因此删除了该变量。LFA和PFA模型进一步发展了网络课程知识学习分析，但与BKT相比，它们需要更多知识点的相关变量，计算比较复杂，而且其结果不易被解释。而BKT模型由于简捷、预测准确、易于解释的特点而被广泛应用于各类商业教学软件以及教学研究中。
二、BKT模型及其应用
1.BKT模型的概念
BKT模型是一种学生知识建模方法，最早由Corbett和Anderson提出。他们在一个智能教育项目中使用知识跟踪的方式来预测学生的知识水平，并取得了较好效果（Corbett et al.，1994）。由于该方法采用了贝叶斯算法，因此该方法后来被称为贝叶斯知识跟踪模型，以区别于其他学生知识建模方法，并应用于智能教育系统中。智能教育系统中的一个重要问题是，什么时候能够判断某个学生掌握了某个知识点。一个比较简单的处理方式是要求学生连续对N个同一知识点相关的题目回答正确。虽然这种方式现在仍然被某些系统利用，但BKT能够用一种更加直观且容易理解的方式解决这个问题（王卓等，2015）。BKT经常作为更复杂学习模型的起点（Van De Sande，2013）。
2.BKT模型的基本原理
BKT模型假设学生的知识学习有两种状态，每个知识点都处在“掌握状态”与“未掌握状态”之间。知识点的学习状态，通过学习或测试，可由“未掌握状态”转移到“掌握状态”。但这种转移不会反向，知识点的学习状态不会由“掌握状态”转移到“未掌握状态”，即假设掌握后的知识不会遗忘。学习成绩主要由知识点学习状态决定，学习状态用概率表示。另外知识点在掌握状态下，学生也可能因误答而做错；知识点在未掌握状态下，学生也可能会猜对。因此BKT模型对于学生知识掌握概率的计算包括了4个参数，如表1所示。表1中P（L0）和P（T）是学习参数，主要用于表示学生学习的知识状态。P（L0）指的是学生在尚未学习某知识点时，该知识点就已经被其掌握的概率；P（T）指的是知识转移概率，即经过了学习之后，对于该知识点从未掌握状态到掌握状态的转移概率。而P（G）和P（S）作为学生的表现参数，P（G）是猜对的概率，即学生即使未掌握某个知识点仍然能正确回答问题的概率；P（S）是误答的概率，即学生掌握该知识点，但是仍然不小心回答错误的概率。
（1）
该公式非常简单，根据学生状态确定初始值后，利用公式（1）对学生知识状态进行更新。第n次学习后知识掌握概率P（Ln）是以下两种概率之和：（1）知识掌握后依据实情判断的知识后验概率；（2）知识将会转移到掌握状态的概率。P（T）可以根据实际情况和经验进行确定，它不依赖于学生是否能正确地运用知识回答问题。
在预测学生成绩时，该模型每步骤的预测值依赖于学生达成该目标的应用知识点规则所需要的知识和该规则的成绩参数，如公式（2）所示。
（2）
也就是说，P（Cis），即学生s达成目标i进行正确行为的概率是以下两个结果之和：（1）学生s掌握应用规则r的概率乘以规则r在掌握状态的正确回答概率（P（Sr）是误答参数）；（2）学生s不掌握应用规则r的概率乘以规则r在未掌握状态的猜对概率（P（Gr）是猜对参数）（王卓等，2015；Corbett et al.，1994）。可以发现，如果假设P（Sr）、P（Gr）值为0，则P（Cis）就等同于学生对该规则的掌握概率。
3.贝叶斯知识跟踪模型的应用
最早提出BKT的是卡耐基梅隆大学教授 Corbett和Anderson，他们将该模型应用于ACT-R认知结构项目中，用于掌握学生的知识状态和预测学生知识点学习后的成绩表现（Corbett et al.，1994）。Pardos等（2013）将BKT应用于edX慕课平台，并针对缺少知识点划分、多次问题解答、测试之外的多种影响等慕课特点进行了改进。Machardy等（2015）利用BKT，开发了一个评价在线教育短视频使用情况的框架，并探索其与测试结果之间的相关性。王卓等（2015）应用贝叶斯知识跟踪模型评价慕课学生，通过收集慕课平台两门课程的学生学习数据，基于BKT模型，根据MOOC的特点，对缺少知识点的划分、测验多次提交，提出了改进方案，并利用EM 算法（最大期望算法）实现了BKT及相关变形模型的参数估计。Hawkins等（2014）推荐了一种新的实现BKT模型的方法，称之为EP算法（经验可能性算法），并比较了EM算法和EP算法，认为EP算法性能优于EM算法。闾汉原等（2011）在BKT知识跟踪模型基础上，增加了一个态度节点来细化各种因素，以提高预测准确率。
因此从目前的研究来看，BKT应用主要集中于成绩预测，利用学生对知识点测试题的应答数据进行分析和挖掘，然后用以预测学生在网络课程中的成绩表现。然而对于BKT的本质而言，预测成绩是其一方面的功能，而更重要的功能是以一种简单明了的方式表示学生的知识状态，为教师的教学提供精确的支持。BKT知识跟踪模型的应用改变了以考试为中心的教学模式，在学习过程中确定了学生对知识的掌握程度。
三、BKT网络教学跟踪评价设计
1.BKT公式改进
BKT应用的关键是4个参数值的确定。最初提出BKT模型的Corbett，对于参数的设定也只建议根据经验来设定，而没有给出比较具体的设定方法。因此，需要对BKT模型的4个参数进一步研究，以方便在实际中应用。
对于初始掌握状态P（L0）一般可以从两个方面来获得。一是往年经验和历史成绩，根据往年学生学习该课程时，对知识点的掌握程度，教师可以对其赋予初始值，这个初始值也可以在后续测试中修正。二是可以进行诊断性测试，让学生在网上进行答题，收集答题情况，计算学生知识点的初始掌握概率。而利用诊断性测试计算P（L0）还需要进一步改进。在实际教学中，试题类型一般分为选择题、判断题、填空题、简答題、设计题等。对于公式（1）中的四个参数，可以这样设置：对于选择题，因为每题有ABCD 4个选项，因此猜对概率P（G）为0.25；判断题只有两种选择，因此P（G）为0.5；填空题、简答题、设计题没法猜测，因此P（G）为0。如果计算机自动判断，题目主要是选择题、判断题和填空题；人工判断会更精确，可以使用更多的简答题、设计题。每个知识点可以设计若干试题进行测试，来判定学生知识掌握状态。但在网络课程中，对于教师教学而言，主要依据整体知识掌握状态来进行课程讲授，因此对学生知识状态的了解需要从整体上把握。整体上看，初始知识掌握状态P（L0）可以在知识点没有讲解之前，进行针对性测试，根据答题正确率，确定P（L0），具体如公式（3）所示：
（3）
公式（3）中i为该知识点相关试题的题型类别，即选择题、判断题、填空题等，Ri （C）为该题型的正确率，Pi （G）为猜对概率，Ri （Q）为该题型占总体问题的占比，Wi为该题型的权重，即分值。这样可以在知识点讲授之前，确定P（L0）。然后假定学习完成后，知识点掌握程度应该为1。根据前述公式（1），设P（Ln）=1，求解P（T），求出知识转移概率。然后根据知识转移概率来判断知识点的难易程度。当P（T）越大，说明知识点越容易，学生越容易掌握，学习效果越好；当P（T）越小，说明知识点越难，学生越不容易掌握，学习效果越差。然后再根据 P（T）和课程重点来设计课程安排：对于既是难点又是重点的课程知识，要多花时间；对于是难点但非重点的，要少花时间；非难点又是重点的，适当花点时间；非难点又非重点的，则可安排自学。
在知识点讲授后，再进行一次测试，重新测量学生知识状态。如果学习后的学生掌握概率达不到0.95（知识掌握状态下的常用概率），则说明学生还没完全掌握。然后再求解P（T），根据P（T）和目前知识点掌握情况，做两方面的工作：（1）掌握知识概率大于0.6，转移概率也大于0.6，说明学生掌握情况及格，只是讲授时间不足，需增加讲授时间；（2）掌握知识概率小于0.6，转移概率也小于0.6，说明学生掌握情况不及格，知识点过难，内容较多，不符合教育学中的小步教学规则，可适当把知识点进一步细分。当然这个概率是根据目前教学中常以60分为及格线来定的概率标准，实际教学中可以根据情况进行设定。对于教学时间，BKT模型并没有提及，这与其仅关注智能教学系统中的学生学习状况有关。而在当前网络教学中，仅仅依靠学生自主学习不能保证良好的教学效果，因此一般远程教学中都有一定的教师课下辅导教学安排；而在其他混合式教学模式中，教学时间也是必须的。因此需要把教学时间作为变量加入到BKT模型中，具体如公式（4）。
（4）
公式（4）中，P（Ln）是指学生在知识点学习后达到的知识掌握状态，P（L0）是在学习之前的知识掌握状态，P（T）为知识转移概率，t为学时变量。在首次应用BKT时，在知识点学习前后分别进行一次测试，确定P（L0）和P（Ln），然后根据学时变量（学时变量为学时数/总学时数），确定P（T）的值。该知识点P（T）值确定以后，在以后的教学中，只需要在学习前进行一次诊断性测试，确定P（L0）值，再确定P（Ln）标准（例如0.6），进而计算学时变量，就可以根据学时变量确定学时数。
2.BKT网络教学跟踪评价模型
根据BKT改进公式，可以把整个课程所有知识点看作学生的总体知识模型，从而简化对每个知识点的分析。对于整体教学内容，可以把学生未学之前的知识状态设置为P（L0），通过诊断性测验，然后根据公式（3），获得初始概率。每次课程学习后的结果定为P（Ln），根据经验设定各项参数，预估学生的知识掌握状态。学习过程中随机进行测试，以调整参数值；还可以根据计算结果调整教学进度。把每次测试都看作是学生知识掌握程度的反馈，而不是作为评价学生学习的手段，能更为精确地掌握学生学习的状态。
因此，基于BKT的网络教学跟踪评价可以理解为以下步骤形式：首先确定测试知识点，设置前置测试题，获取初始知识状态。然后采集历史数据进行参数估计，并运用BKT改进公式进行运算，根据预测结果进行分析，确定教学时间。最后进行教学，完成知识点教学后再安排一次测验，调节BKT参数值。如此反复，直至课程结束。如图1所示。
BKT网络教学跟踪评价在获取初始知识状态时需要注意，在进行前置测试时，必须能够让每位学生都参与，并且每题无论对错都要做答，才能保证P（L0）相对准确。另外在实际教学中，教师可以根据实际情况，尽可能多地设置测试，以便采集更多的学生知识学习数据。有了数据，才好进行BKT分析。知识点是跟踪评价的核心，因此对知识点的教学设计和题目设计，是BKT模型成功的重要保障。教师可以联合课程专家，合理设置知识点，建设课程题库，为网络教学跟踪提供信息化基础条件。同时利用BKT网络教学跟踪，积极进行网络课程设计，将学生的学习过程信息化、可追溯化。
BKT网络教学跟踪评价将知识状态作为调节变量引入网络教学过程中，为教师调整教学时间和教学内容提供决策依据。在实际应用中，该模型既可在线上实现，也可以在线下操作，从而方便教师的使用。在线上，该模型可以结合网络教学平台，通过集成或开发新功能的方式应用于网络教学跟踪评价。在线下，教师可以借助该模型，定期收集测试信息，代入模型，即可获得跟踪评價结果，从而实现无论线上线下，都能跟踪学生知识掌握状态，了解学生学习状况。
四、实证分析
1.课时估算
课时估算可用于在教学之前对知识点的用时进行分析，确定在每个知识点的教学时间。本文以ACCESS数据库课程为例，来探究BKT网络教学跟踪评价模型的应用效果。参加该课程学习的学生中，2012级人力资源班学生共30人，2012级工程管理班学生共33人。因为学生的期末成绩其实是一种百分制的掌握概率，所以我们把成绩转换为概率来计算其知识掌握状态P（L1），通过期末成绩来预估学生的知识转移概率P（T）。根据期末成绩求均值，作为P（L1）的取值，则2012级人力资源班为0.73，2012级工程管理班为0.79。假设初始状态P（L0）为0.01（一般不要把其设置为0，以便于计算），代入公式（1）计算P（T），则学生的转移概率，分别为0.8和0.86，具体如表2所示。
2.学习成绩预测
学生成绩预测可以帮助教师在课程未结束前，及时掌握学生知识学习情况。本案例假设学生在整个学习过程中知识转换概率是恒定不变的，利用公式（4）预估学生知识点学习后的学习状态。本次实验统计了ACCESS数据库课程专升本2017级学生的前置测试。统计方法是在课程开始之前，提供10项选择题和5项填空题，让学生自主作答，并要求每题不管对错，都要写出答案。最后回收有效成绩26份，通过公式（3）计算得出选择题正确率是0.46，填空题是0.2，然后计算出P（L0）为0.15。再根据转移概率0.8通过公式（4），计算出本课程后的知识掌握概率为0.83，即平均成绩为83分（假设P（S）、P（G）值为0）。最终期末考试后，实际平均成绩为90分，预测值与实际值差7分。具体如表4所示。
