面向学习者感知的在线课程内容质量分析框架
闫寒冰 段春雨
摘要：在线课程的内容质量是远程教育质量管理的重要关注对象。已有研究与实践主要集中于基于标准的、阶段性的、专家主导的评价，但这种评价在实践中存在反馈滞后、成本较高、专家中心等问题，已无法适应当前课程开发敏捷迭代的需求。挖掘“学习者”视角在内容感知方面的评价价值，将学习者在课程学习过程中与结束后的真实感知数据作为质量分析的重要来源，设计和研发相应的质量分析工具，是实现在线课程内容质量提升的有效途径。面向学习者感知的在线课程内容质量分析框架应包括结果感知分析和过程感知分析两个阶段。其中，结果感知分析指标体系包括课程资源和课程教师2个一级指标，以及内容难易性、内容丰富性、内容新颖性、内容实用性、内容趣味性、条理清晰性、讲解透彻性、学术权威性、语言生动性、教学启发性10个二级指标。过程感知分析主要以弹幕评论技术为基础，借助情绪标签和战略坐标构建质量分析规则、方法和可视化实践方案。在线课程内容质量分析工具的设计与研发将有助于实现常态化的课程质量分析和对教学的精准干预。
关键词：在线课程；内容质量；分析框架；指标体系；学习者感知
中图分类号：G434 文献标识码：A 文章编号：1009-5195（2018）05-0095-09 doi10.3969/j.issn.1009-5195.2018.05.011
一、引言
在线课程内容的质量分析一直是在线学习质量管理的重要内容。广义上在线课程既包括课程内容，又涵盖课程活动。由于学习者在参加在线课程活动时会留下诸多文本内容，随着学习分析与教育大数据应用的逐步成熟，在线课程的活动质量测评已逐渐“脱胎换骨”，变得越来越技术化与工具化。例如，普渡大学研发的“课程信号系统”就是依据学习者的活动信息对在线课程的学习结果进行及时预警；可汗学院开发的“学习仪表盘”可以对在线课程的学习过程进行实时监控。相对于在线课程的活动质量测评，面向在线课程的内容质量分析与发展还比较滞后，工具化和技术化程度都比较有限。
传统的面向课程内容的质量分析方法往往是专家主导的、基于标准的和阶段性的。随着知识更新速度的加快，课程建设周期越来越短，课程上线即意味着其迭代优化的开始。在这种情况下，传统方法已很难适应当前课程开发敏捷迭代的需求。如何常态化、伴随性地对在线课程内容质量进行全过程分析，以便精准判断、及时干预，已成为在线学习领域亟待解决的问题（闫寒冰等，2018）。
二、三种在线课程内容质量分析路径比较
纵观当前的研究与实践，现有的在线课程内容质量分析主要有三种截然不同的分析路径：一是以专家评审为主；二是以机构自查为主；三是以学习者调查为主。
专家评审分析是大型在线课程内容质量认证比较惯用的方法。其最典型的实践就是美国高等教育在线课程认证和我国精品课程质量评审（蒋家琼等，2015）。即由教育行政部门召集权威专家对在线课程的内容质量进行协同分析与鉴定。由于专家理念的前瞻性、学术视野的开阔性以及评审工作的协同性，这种分析方法能较好地把控在线课程的内容质量。不过从本质上讲，专家评审是一种模拟性评价，主要是通过专家模拟学生身份来感知与体验在线课程内容，并对其质量进行评判。但由于学習者在学习风格、兴趣或偏好上存在诸多差异，因此专家模拟评审不可避免地会存在“盲区”与误差，这无疑是其固有的缺陷。此外，专家评审还存在可操作性差的问题，难以实现大范围、常态化的广泛应用。究其原因，一方面是由于专家本身就是一种“稀缺”资源，难以满足数以百计、不断涌现的在线课程评审需求。另一方面是专家评审方式的成本（如时间、经济）较高，许多普通在线培训机构难以“消受”。
受限于成本与可操作性等诸多制约，机构自查分析成为很多在线培训机构常用的课程内容质量分析方法。其典型实践有克里兰夫大学（CUS）设计的在线课程评估工具OCAT（CSU，2014）、密西根大学网络联盟（MCO）研发的在线课程质量发展指南（MCO，2001）以及刘名卓等人研制的在线课程质量可用性测试（刘名卓等，2011）。不过从实践上看，机构自查分析多以粗放性评价为主，甚至有些方面还存在不规范问题。例如，有些培训机构通过招募学科名师来自建在线课程，但在操作过程中往往只根据声誉或影响力对拟定教师进行筛选，而对教师的教课表现和课程内容质量并不进行严格把关，一旦课程录制完成后，仅做简单粗略地审查（多数侧重技术层面），就直接用于在线教学。还有些培训机构采用招标或购买方式来建设在线课程，由于涉及课程规模较大，在实际工作中每名评审教师往往需要面对几十门在线课程。如果评审时间受限，一些机构的惯用做法是以评审提交的课程文本材料来替代评审全部课程内容。事实上，提交的课程文本材料和录制的在线课程内容并不总是完全一致，甚至会存在很多差异。这种“替代式”质量评审很难真实反映在线课程的内容质量。但是，如果完全摒弃粗放性质量评审方式，而按照规范性方法开展实践的话，许多在线培训机构的课程内容质量评审工作又会陷入成本与可操作性制约的“泥潭”。
相对于前两种分析方法，学习者调查分析更能客观地反映在线课程的内容质量，成为许多培训机构广泛采用的分析方法。其最典型的实践就是学习者满意度调查。但由于以往实践多以小规模培训为主，样本比较小，加之一些学员不规范参与，导致从学习者角度反馈得到的课程内容质量评价数据误差很大，有时甚至会达到难以“容忍”的程度。可喜的是，近年来随着MOOC的兴起以及“国培计划”等大型培训项目驱动，大规模在线培训已成为“常态”。大规模在线培训的“数量优势”能在很大程度上减少或“淹没”由部分学员不规范参与而造成的样本误差，使得整体上仍能得到较为准确的分析结果。目前，已有一些实践探索，如“好知网”从学习者整体感知视角（很差、较差、还行、推荐、力荐）设计了课程质量分析方法，可以对每门课的总体质量进行调查。“MOOC学院”从学习者多重感知视角（知识点、教师参与、趣味性、课程设计、难度）设计了课程质量分析方法，可以对每门课的整体质量进行价值判断。但是总体而言，这种以满意度或质量等级判断为主的学习者调查方式，其评价颗粒度还比较大，多数研究以整个课程内容为观测点，很难有针对性地发现课程设计中存在的问题。
评价的目的是为了改进，而不是价值判断。当前的在线课程内容质量分析方法面临向常态化、精准化转变的挑战。
三、在线课程内容质量分析框架
专家评审固然重要，但主要是在课程内容的科学性和逻辑性方面可以起到把关作用。学习者则是全过程地参与学习，可以从每一分每一秒来感知课程内容是否有效、是否有趣。学习者的感知信息是非常有价值的。为此，本研究从学习者感知视角出发，突破传统在线课程内容质量分析的局限，力图以更小的内容颗粒度来常态化、伴随性地开展在线课程的内容质量分析。具体而言，本研究以单个课程内容视频或知识单元为分析观测点，将学习者感知评价贯穿于整个内容学习过程，依据感知评价时间顺序将分析过程划分为结果感知分析和过程感知分析两个阶段（见图1）。其中，结果感知分析是学习者完成内容学习后对其整体质量进行的感知评价。结果感知分析主要以典型在线课程评价标准为依据，借助学习后调查来分析学习者对整体内容的质量感知，其目的在于分析与诊断课程内容的整体设计质量。过程感知分析是学习者在学习过程中的观感，主要以弹幕评论技术为基础，利用情绪标签和弹幕文本评论内容来分析学习者对特定课程内容的质量感知，其目的在于分析与诊断课程内容的局部设计质量。
四、面向结果感知的在线课程内容质量分析
面向结果感知的在线课程内容质量分析设计主要以典型的在线课程评价标准或体系为理论基础，参照其他相关研究设计而成，包括质量分析指标、质量分析规则和质量分析实践方案。研究选取10种在线课程评价标准为参照，它们分别是美国培训与发展协会（ASTD）发布的在线课件认证标准（简称ASTD标准）、高级分布式学习组织（ADL）发布的网络教学设计与评价指南（简称ADL指南）、马里兰网络教育联盟发布的高等教育在线课程质量量规（简称QM量规）、iNACOL公布的网络课程质量标准（简称NACOL标准）、卡耐基梅隆大学（CMU）研制的在线课程同行评议量表（简称CMU量表）、CELTS发布的网络课程评价规范（简称CELTS规范）、董艳等人制定的网络课程课件质量认证标准（简称课程课件标准）（董艳等，2003）、教育部公布的国家精品课程评审标准（网络教育版）（简称精品课程标准）、詹泽慧等人构建的网络课程质量评价模型（简称评价模型）（詹泽慧等，2009）以及童小素等人构建的MOOC质量评价体系（简称MOOC体系）（童小素等，2017）。
1.质量分析指标设置
质量分析指标设置以典型在线课程评价标准为基准，对相关内容分析指标进行梳理与归纳，提取其中适合通过学习者感知来分析的指标项。由于涉及的内容指标项众多，并且各级指标项之间存在重合与交叉现象，为此，首先，根据指标项命名及其具体描述，合并同类或近似指标；其次，对内容指标项的隶属关系进行梳理，归纳其逻辑结构；然后，用简短的关键词对所有内容指标进行重新描述与限定；最后，将整理好的内容分析指标与典型在线课程评价标准进行比对，并记录其出现频次，提取频次不小2次（至少包含在两个标准内）的分析指标。鉴于并不是所有指标都适用于学习者感知评价，有些指标项可能需要专家参与评审，为此，从学生和专家不同視角对所有指标进行了差异分析。从分析结果来看（见表1），面向学习者的结果感知分析指标主要有两类：一类侧重于课程资源本身，如内容难易性、内容丰富性、内容新颖性、内容实用性、内容趣味性、条理清晰性；另一类侧重于课程教师，如讲解透彻性、学术权威性、语言生动性、教学启发性。
依据提取的内容分析指标，笔者参考相关研究构建了面向学习者的在线课程内容质量结果感知分析指标体系，如表2和表3所示。结果感知分析指标体系包括分析指标、指标选项以及指标选项判断依据三部分内容。其中，分析指标设置主要依据前文对比分析结果，涵盖一级指标与二级指标两类内容。指标选项设置主要借鉴李克特五点计分的评价思想，将学习者对每个二级指标的感知体验具体化，并赋予其不同等级分值（1～5分）。指标选项判断依据设置主要借鉴软件评价的思想，对学习者感知选项的具体原因进行收集与调查，其目的在于获得更为细致的学习者感知信息，为改善和提高在线课程内容设计提供依据。指标选项判断依据包括正向依据和负向依据两类内容。正向依据为学习者产生良好感知体验的主要原因，负向依据为学习者产生恶劣感知体验的主要原因。需要特别说明的是，指标选项判断依据并不是一蹴而就的，而是需要在实践过程中不断地对其进行修正和完善。
2.质量分析规则构建
在设置在线课程质量分析指标的基础上，如何根据指标构建分析规则成为主要问题。当前学术界的指数研究做法为我们提供了启发与参考。已有研究指出，随着指数应用外延的拓展，指数分析指标已逐步多元化，定性类指标被引入到指数分析体系（张会敏，2012）。本研究参照指数研究做法，通过学习者结果感知数据来建立在线课程内容质量结果感知分析规则。首先，借助层次分析法确定各级分析指标的权重。笔者邀请15名长期从事网络教学工作的课程专家参与，依据判断矩阵两两比较原则对在线课程内容质量各级指标权重进行赋值，赋值范围为1～9。然后，采用层次分析处理软件yaahpV10.0对专家赋值数据进行统计分析。获取的各级指标权重统计结果如表4所示。其中，Mi为二级指标在一级指标上的相对权重，Ni为一级指标在课程内容质量中的相对权重，Ki为指标选项（二级指标）得分，其得分范围为1～5。需要说明的是，本研究设置的指标权重仅仅是参考值，只作为初始值使用。后续研究中，还需要依据学习者反馈数据对指标权重初始值进行校正。因为初始值主要是由专家打分获得，可能与学生数据的分析结果有一定出入。
Q=（∑Ki*Mi*Ni）/5a*10
根据在线课程内容质量计算公式，可以导出在线课程内容各层面（一级指标）和各要素（二级指标）的质量计算方法。在线课程内容各层面质量计算公式为：q=（∑Ki*Mi*Ni）/5b*10。其中，b为每个内容层面包含的二级指标数量。在线课程内容各要素质量计算公式为：p=（∑Ki*Mi*Ni）/5*10。
如果涉及多人参与“评课”，在线课程内容质量取所有学习者评课质量的算术平均值，其计算公式为：Q多人=（Q1+Q2+Q3+…+Qn）/n。其中，n为参与评课的学习者数量。相应的在线课程内容各层面质量计算公式为：q多人=（q1+q2+q3+…+qn）/n；在线课程内容各要素质量计算公式为：p多人=（p1+p2+p3+…+pn）/n。
由于本研究是以单个在线课程内容为分析观测点，如果要计算整个在线课程的总质量，则取所有在线课程质量的算术平均值，其计算公式为：Q总=（∑Q多人）/m，其中m为课程中包含的课程内容视频数量。相应的课程内容各层面总质量计算公式为：q总=（∑q多人）/m；课程内容各要素总质量计算公式为：p总=（∑p多人）/m。
3.质量分析实践方案设计
（1）质量分析界面
在线课程内容质量结果感知分析设计遵循用户简洁性原则，采用“五星级”图标来表征各级指标选项，并将指标选项及相应解释的文字内容完全“内隐”于系统平台。默认状态下，所有星级图标均为灰色，当学习者滑动鼠标到相应的星级图标时，系统会自动弹出一个解释对话框，该对话框中提示当前选项的名称、分值以及相应的解释信息，如图2所示。
除此之外，分析界面还包括文本输入对话框和选项判断依据对话框两部分内容。其中，文本输入对话框是对星级选项评价的补充，其目的在于从学习者感知视角获得更为细致的课程内容质量感知信息。选项判断依据是对学习者感知选项的理由进行调查。在具体操作中，当学习者滑动鼠标选中相应的星级图标时，系统会自动弹出相应的选项判断依据对话框。以“内容难易性”为例，其选项判断依据对话框，如图3所示。
（2）质量分析结果
借助可视化仪表盘呈现质量分析研究报告已成为学习分析和教育大数据领域研究的惯用做法。有研究指出，学习仪表盘已成为大数据时代新型的学习支持工具（张振虹等，2014）。本研究参照这种做法，借助可视化仪表盘来呈现在线课程内容质量结果感知分析报告。鉴于服务对象的差异，采用分角色设计理念，根据不同角色分别设计可视化仪表盘。因此，结果感知分析仪表盘包括管理者、教师和学生三类视图。
管理者视图仪表盘主要呈现整个课程内容的质量信息，包括课程内容总质量仪表盘、同类课程内容总质量对比仪表盘以及课程内容总质量趋势仪表盘。其中，课程内容总质量仪表盘既包括课程总质量，又包括课程资源和课程质量总层面质量。
教师视图仪表盘主要呈现单个课程内容的质量，数量较多，大致分为两类：一类是与单个课程内容质量直接相关的仪表盘，如课程某部分内容质量仪表盘、课程各部分内容质量对比仪表盘、课程某部分内容各要素质量仪表盘、课程某部分内容质量趋势仪表盘；另一类是单个课程内容指标选项判断依据统计仪表盘，涉及10种课程内容质量分析要素的选项判断依据。其中，指标选项判断依据的统计是以选择该依据或理由的学习者人数占总人数的百分比进行计算与统计的。
与管理视图仪表盘和教师视图仪表盘不同，学生视图仪表盘并不内置于系统后台，而是呈现在在线课程界面上。这样设计的目的是为了方便学习者查看在线课程内容质量的优劣，帮助他们选择最优质的在线课程内容。学生视图主要呈现单个课程内容的质量信息，包括单个课程内容质量仪表盘和学习者文本评论信息仪表盘两类内容，如图4所示。
五、在线课程内容质量过程感知分析设计
以往研究主要着眼于在线课程内容质量的事后分析，缺少开展过程性分析的技术与手段。近年来，随着弹幕评论技术的兴起及其在影视评论中的广泛应用，为从过程视角考察与分析在线课程内容质量提供了一条新的途径。“弹幕”是指在观众观看视频过程中针对某一点或某一段视频内容发放在屏幕上及时可显的字幕或表情符号（韩模永，2017）。与其他网络评价技术（如论坛、微博、调查等）不同，弹幕评论将评价内容与时间捆绑在一起，突破了传统评价的阶段化或滞后性局限，实现了完全的“实时化”与“过程化”（李海峰等，2015）。在线课程内容质量过程感知分析主要以弹幕评论技术为基础，根据在线课程学习特征对传统弹幕评论进行改造，利用情绪标签替代弹幕评论的表情符号，并将其外显化，使其成为标注学习者情绪的“指针”，用于探测与诊断在线课程内容微观层面的设计质量。
1.情绪标签设置
情绪标签设置主要参考徐琳宏等人提出的情感分类树，并根据在线课程学习特点对其进行修订。徐琳宏等人将人类情感划分为乐（快乐、安心）、好（赞扬、相信、尊敬、喜爱、感动、期望）、怒（愤怒）、哀（悲哀、失望、疚、思）、惊（惊奇）、恶（羞、郁闷、贬责、憎恶、妒忌、怀疑）、惧（慌、恐惧）、无情感等8种类别（徐琳宏等，2008）。网络情境中学习者的学习情绪不同于一般的人类情感，其情绪活动大致可分为点赞、疑问、吐槽、沉默四类。其中，“点赞”对应情感分类树中“乐”“好”和“惊”的部分内容；“疑问”对应情感分类树中“哀”和“恶”的部分内容；“吐槽”对应情感分类树中“哀”“恶”和“怒”的部分内容；“沉默”对应情感分类树中“无情感”的内容。为便于实际操作，本研究对学习者学习情绪进行了可视化设计，通过不同的情绪标签图标来表征其情绪内容，如表5所示。
2.质量分析界面设计
在线课程内容质量过程感知分析界面遵循用户简洁性的设计理念，尽可能为学習者创设无干扰的在线学习情境。因此，在具体设计中，对传统弹幕评论进行改造，主要借鉴弹幕评论的技术属性，利用情绪标签替代弹幕表情符号，并将其置于课程内容播放器或系统平台。
从图5可以看出，在线课程内容质量过程感知分析界面包括情绪标签、文本评论内容输入区和弹幕评论列表三部分内容。情绪标签位于界面右下方，由三种不同颜色的情绪标签图标组成。其中，绿色的“+” 号图标代表点赞，红色的“！”号图标代表吐糟，橙色的“？”号图标代表疑问。文本评论内容输入区位于界面正下方，其目的是方便学习者随时、自由地录入对在线课程内容的评论信息。弹幕评论列表位于界面右侧，其目的是逐步呈现学习者发送的文本评论信息。
3.质量分析规则构建
在线学习过程中，课程学习平台会自动记录所有学习者对特定课程内容的标注与评论，包括标注情绪标签的类别及其频次、标注情绪标签所对应的课程内容模块和时间点、发表弹幕评论所对应的课程内容模块和时间点以及弹幕评论的文本信息等多种历史大数据。在线课程内容质量过程感知分析主要以情绪标签标注以及弹幕文本评论等两类数据为基础开展相应的在线课程内容质量分析与诊断活动。具体而言，以情绪标签标注的信息数据为主要依据，以审查与判断相对应的在线课程内容设计质量；以弹幕文本评论数据为辅助信息，以了解与诊断情绪标签所标注的在线课程内容更为细致的质量设计问题。
4.质量分析结果呈现
在线课程学习平台是以视频时间轴为线索记录相对应的情绪标签标注信息。如果对情绪标签标注的数据进行整理与统计，就可以得出一个十分详细的时间-标注信息统计视图。根据该视图就能很清晰地发现在线课程内容质量的设计问题或盲区。基于此，本研究采用二维战略坐标仪表盘来分析与呈现在线课程质量过程感知分析结果，如图6所示。其中，横坐标为在线课程内容视频的播放时间，纵坐标为情绪标签在不同内容模块上的标注频次。坐标仪表盘中，不同颜色的标注点分别代表不同情绪标签的标注信息。绿色标注点代表点赞，橙色标注点代表疑问，红色标注点代表吐槽。需要说明的是，每一个标注点都是可交互的，与其所标注的特定的在线课程内容相关联。在实际操作中，教师或课程开发者主要通过直接点击标注点来查看或诊断该段内容的设计质量。当教师点击查看某一标注点时，系统会自动呈现并播放与其标注相关联的课程内容信息，并同时呈现相应的弹幕文本评论。为研究方便，本研究将查看视频内容的播放时间设定为2分钟（前后各1分钟）。相对应的，在弹幕列表中会呈现该段内容的文本评论信息。
六、总结与展望
在线课程内容是远程培训的灵魂，其质量优劣直接关乎远程培训的成败。以往关于在线课程内容质量的分析，主要存在以下几点不足：一是热衷于在线课程评价标准或指标体系的学理研究，较少形成实践中具有可操作性的分析工具；二是在分析在线课程内容质量时，往往是阶段性的粗略审查，而非过程性的精准诊断，因而在实践中很难再对课程内容质量进行改进与提升；三是以往研究多倚重专家或同行进行分析，学习者的参与性和贡献度并不高，尚未能充分利用学习者的感知体验大数据。本研究系统构建了在线课程内容质量分析框架，基于大数据与学习分析技术设计了两套面向学习者感知的、针对不同分析阶段的、可用于微观内容常态化分析的在线课程内容质量分析规则。
本研究设计的在线课程内容质量计算规则均具有较强的可行性与普适性，有助于远程培训平台开发者依据自身需要以及平台开发环境开展相关程序设计、规则嵌入以及可视化呈现。研究涉及到的“结果感知分析”与“过程感知分析”均可实现自动化、伴随性的数据采集与分析。但由于“结果感知分析”指标权重是通过专家打分获取的，可能会与学习者客观数据分析结果有一定误差。为了保证质量分析的精准性，后续研究中还需要借助高级统计或数据挖掘技术对指标权重进行校正。此外，本研究还将进一步将分析规划与学习者个人信息数据相关联，挖掘自适应推送规则。这将是我们未来研究的努力方向。
参考文献：
[1]董艳，黄荣怀，李晓明等（2003）. 《网络课程课件质量认证标准》的研制与修订[J]. 电化教育研究， （6）：65-70.
[2]韩模永（2017）. “新观众”的诞生——论弹幕影评的范式变革[J]. 广西社会科学， （2）：188-192.
[3]蒋家琼，丁祝闽（2015）. 美国网络高等教育课程认证的标准、程序及启示[J]. 大学教育科学， （3）：58-62.
[4]李海峰，王炜（2015）. 弹幕视频： 在线视频互动学习新取向[J]. 现代教育技术， （6）：12-17.
[5]李慧勤，伍银多，杨晋等（2015）. 教育发展指数的测算和比较——基于公平-效率视角的分析[J]. 昆明理工大学学报（社会科学版）， （6）：77-83.
[6]刘名卓，刘名海（2011）. 网络课程可用性质量的衡量与评估[J]. 中国远程教育， （4）：27-31.
[7]童小素，贾小军（2017）. MOOC质量评价体系的构建探究[J]. 中国远程教育， （5）：63-71.
[8]徐琳宏，林鸿飞，赵晶（2008）. 情感语料库的构建和分析[J]. 中文信息学报， （1）：116-122.
[9]闫寒冰，段春雨，王文娇（2018）. 在线讨论质量分析工具的研发与实效验证[J]. 现代远程教育研究， （1）：88-97，112.
[10]詹泽慧，徐福荫，梅虎（2009）. 网络课程质量评价模型： 感知维度的研究[J]. 现代教育技术， （3）：86-90.
[11]张会敏（2013）. 基于指数的高等教育质量管理方法研究[D]. 上海： 华东师范大学：136.
[12]张振虹，刘文，韩智（2014）. 学习仪表盘： 大数据时代的新型学习支持工具[J]. 现代远程教育研究， （3）：100-107.
[13]CSU（2014）. Modified OCAT for Cleveland State University[EB/OL]. [2018-01-29]. https：//www.csuohio.edu/center-for-elearning/pedagogy-tools.
[14]MCO（2001）. Guidelines for Online Course Development[EB/OL]. [2018-01-29]. http：//www.mnsu.edu/ex-t/ faculty/guidelines.html.
收稿日期 2018-03-17 責任编辑 刘选
