基于层次分析法的开放大学微课评价体系实证研究
方天宇
【摘 要】微课作为互联网+教育的典型方式，受到教育研究者与一线教育工作者的广泛关注，并成为各层次教育教学的一个研究与应用热点。文章基于指向性原则、以人为本原则、重点突出原则、动态性与静态性相结合原则、可操作性与可比性相结合的原则，从教学安排、技术规范、应用效果、网络特点四个方面构建了开放大学微课实用性评价指标体系，并运用层次分析法确定了各指标权重。
【关键词】微课；评价；指标体系；层次分析法；开放大学
【中图分类号】G72 【文献标识码】A 【文章编号】10018794（2017）07001505
一、问题的提出
2012年，教育部公布了《教育信息化十年发展规划（2011—2020年）》（以下簡称《规划》），明确提出应不断实施教育模式和学习方式的创新，并以教育理念的创新来促使教育信息化不断向前发展。伴随着微时代的到来，“微信”“微博”“微电影”等微时代产物逐渐进入人们的生活中，而《规划》的诞生恰好为教育微产品奠定了发展基础。国内各领域“互联网+”战略稳步实施，在教育信息化进程的推进与各种先进设备普及的环境下，微课作为互联网+教育的典型方式，受到教育研究者与一线教育工作者的广泛关注，并成为各层次教育教学的研究与应用热点。目前，学术界对微课的概念尚没有一个清晰的界定，各种定义也因侧重点不同而不尽相同，但都包含同一核心，即“微课虽微，五脏俱全”。微课是一件主题明确、目的清晰、内容简练完整的教学“作品”，具有结构紧密、脉络清晰、简洁直观、通俗易学、反馈及时等特点。任课教师需要在技术人员的帮助下完成制作。事实上，高质量的微课制作就是一项小型的系统工程，制作需要团队设计、导演策划、摄像技术等条件的支持。笔者认为，微课是按一定的课程标准及教学实践要求，充分应用软件、摄像等技术手段，以视频为载体，针对某个知识点或教学环节而进行的教学活动。[1]
国家开放大学（The Open University of China）是教育部直属，以现代信息技术为支撑，学历教育与非学历教育并举，实施远程开放教育的新型高等学校。国家开放大学以现代信息技术为支撑，探索现代信息技术与教育的深度融合。本文中的开放大学是指以国家开放大学为核心，各国家开放大学分部、学院及学习中心为补充的原广播电视大学系统。
目前，互联网规模急剧扩张，移动学习、碎片化学习与翻转教学等新的学习方式快速发展渗透，这些都为微课在开放大学中的深度应用奠定了坚实基础。微课成为了开放大学重要的教学方式，是传统课堂教学外的重要补充和拓展资源。研究、推广开放大学微课评价体系对于开放大学的快速有效发展具有重要意义，基于这一评价体系可产生更多更优质的微课，满足学生的个性化学习需求，推动开放大学的教学创新，使开放大学形成有自身特色的教学体系，这对提高国家开放大学总体的教育质量具有重要的实践应用意义。
二、文献综述
为了使教育能够更加符合微时代下的教学情况，各国都非常重视教育与互联网、多媒体等技术的衔接。微课已经成为开放教育研究的一个中心议题，国内外许多教育工作者、学者都对此进行了相关研究。
研究国外微课发展状况可以发现，英国1分钟演讲与美国60秒课程被专家学者们视为微课的开端。2008年秋，高级教学设计师David Penrose首创了“微课程”，他将60分钟的课程制作成为时长较短的在线视频，其制作过程包括获取核心概念、背景介绍、制作3分钟视频、学生观看、学习核心概念、安排学习任务、上传视频与学习任务到课程管理系统。同时，微课得到了美国高等教育信息化协会（EDUCAUSE）的重点关注，对微课的发展能对教学活动带来的启示进行了初步探析。[2]
研究国内微课发展状况可以发现，胡铁生是国内最早对微课进行研究的学者之一。胡铁生通过对微课进行深入研究后发表了《微课：区域教育信息资源发展的新趋势》一文，文中对区域教育信息资源建设、应用现状及微课的分类维度和类型进行了深入研究，首次提出了“微课是区域教育信息资源发展的新趋势”。他将微课概括为教师为达到更好的教学效果而针对某个知识点的讲解特意录制的一段主题鲜明、意义明确、短小简洁、方便教学的课例片段，并总结了微课的四个特点。随后，有很多学者对微课进行了研究。[3]
为了有效规划微课的发展，有学者开始研究微课评价体系。尹合栋以第一届高校微课大赛的评价经验以及传统课程及网络课程的评价方法为基础，通过对微课设计、开发与评价进行研究，从选题、设计、使用的辅助资源、制作技术、取得的实际效果等多个维度去综合评价微课。孙聘从用户体验的角度去对微课评价指标体系设计进行研究并开展了相关研究，研究结果从教学的实用性与微课的可用性这两个不同维度去制定微课评价体系。
通过对国内外相关文献的查阅检索发现，有许多学者对微课评价体系进行了研究，但多数评价体系中选取的评价指标存在冲突、重复，有一些无法准确测量且没有从微学习的理念出发，不能够有效地提升教学效率和质量。针对开放大学教学特点的微课评价研究则几乎没有，国内外现有研究中缺少针对开放大学的微课实用性评价的实证研究。
三、开放大学微课实用性评价指标体系的构建 （一）构建的原则
微课的评价首先要考虑其实用性，本文的研究也重点从微课实用性方面评价微课。开放大学微课实用性评价指标体系要客观反映出微课制作者的制作水平、教学人员对知识点的把握及讲解以及学习者的实际接受效果，不能选取一些跟微课实用效果无关的指标，无法准确测量的指标也应去掉。为了科学有效、真实可靠地评价开放大学微课的实用效果，本文在设计开放大学微课实用性评价指标体系时，主要遵循以下几条基本原则：
1指向性原则
评价体系必须对评价对象进行准确、有效的判定。由于以微课实用性作为评价对象，故而选取的指标需要对微课实用性做出客观、真实的描述，所选取的指标要带有指向性，只有这样才能保证评价体系的有效性。本文选取的评价指标与微课实用性评价的目标紧密相关，针对性极强。指向性原则是设计评价体系的基础原则，也是考量评价体系中各个指标的设置是否满足评价开放大学微课实用性目标的重要依据。
2以人为本原则
以人为本既是科学发展观的核心，也是日常教学管理中必须坚持的基本原则。开放大学微课制作及使用要满足学生的基本需求，微课所讲授的知识点必须让学生能够听懂、学会并真正掌握。因此，在评价微课实用性时必须坚持以学生为本的原则。
3重点突出原则
微课实用性的评价指标包括很多内容，而构建微课实用性评价体系不可能面面俱到，因此，只能从中选取一些重要的指标，通过这些重要指标去评价微课的实用性。
4动态性与静态性相结合原则
开放大学微课实用性处于动态发展的过程，因此本文构建的评价指标体系也必须要具有动态性，能反映微课实用性的动态提高。同时，在进行实证评价时所选取的指标数值是某个时间点上、针对某些微课的横截面数据，用来反映当时开放大学微课实用性的实际情况。
5可操作性与可比性相结合原则
构建开放大学微课实用性评价体系是为了将评价结果应用到教学实践中去，去指导教育工作者制作出更高水平的微课供学习者学习，因此，本文构建的评价指标体系必须具有非常强的可操作性，同时评价指标的数据要确保真实。考虑到国家开放大学中各地分部、学院和学习中心广泛应用微课这一教学形式，基于对比评价的需求，所构建的微课实用性评价体系还需要具有可比性，并保持指标体系中各项指标的相对稳定性，以确保在必要时能够对不同地区广播电视大学微课实用性进行客观、科学的评价与比较。
（二）构建的评价指标体系
开放大学微课实用性评价体系可以被看做是一个多层次的动态系统，它具有结构复杂、涉及因素多等基本特点，只有科学设计评价体系，才能准确地评价开放大学微课。构成开放大学微课评价的各子系统包括教学安排、技术规范、应用效果和网络特点。基于以上原则，按照层级结构可以建立开放大学微课实用性评价体系的基本框架。
教学安排从课程总体安排方面进行评价，包括教学设计与组织是否合理、内容是否具体、是否具有引导性、课程的策略和方法、选题价值的高低以及是否是学生亟需掌握的知识点、能否体现教学大纲的要求、能否完成教学任务等方面，选取了教学设计与组织、微课选题价值、能否体现教学大纲要求、能否完成教学任务四个指标。
技术规范从微课的制作技术方面进行评价，包括微课是否原创、微课播放效果是否良好、微课是否完整、时间是否控制在5—10分钟等方面，选取了微课是否原创、微课播放效果、微课完整性以及时间控制长短四个指标。
应用效果是从微课实际取得的应用效果方面进行评价，包括学生对微课是否有兴趣、学生能否看懂、学生对知识点的接受程度、授课效果、学生学习过后能否实践、是否具有实践拓展性启发等方面，选取了学生能否看懂、学生接受效果、知识点明晰度、实践拓展性四个指标。
网络特点是从微课的网络传播及适合远程教育使用方面进行评价，包括具体的摄像效果及文件格式、是否适合网络传播及移动设备传播、微课中是否包含學习反馈的方式等方面，选取了摄像效果及文件格式、网络传播适宜性、学习反馈便利度三个指标。
上述指标体系中的各项指标均为定性指标，需要由所选择的专家、教师、学生等被调查对象打分得到。
四、开放大学微课实用性评价方法
20世纪70年代，美国学者萨蒂创立了层次分析法（AHP），并将其运用于教育评价相关领域。层次分析法以主观判断为依据，使用规范化、数量化的方法，对指标体系中每个维度的指标进行两两比较，得出重要的一项，再根据数值的不同确定重要等级，然后运用矩阵运算方法计算得出各层级各指标的权重分配值。[4]下面对层次分析法的计算过程进行详细的阐述：
（一）建立一个多目标层次结构
先进行多层分类，针对开放大学微课实用性评价的各个影响因素而展开。然后，建立一个递阶式的分析结构。运用层次分析法确定权重并不会受到递阶结构一共包括几个层次的影响。一般最上层的目标层即评价指标体系的总目的，下设指标层及子指标层。评价指标体系的层级较多时，计算得到的指标权重计算结果的准确度也相对较高。[5]
（二）构造合理的比较判断矩阵
使用萨蒂1—9比例标度法，根据选取的专家、学生等被调查对象依据自身判断事物好坏、优劣、轻重的经验方法对指标相对重要程度进行两两比较判断，并将比较判断结果量化，便能够得出比较判断矩阵。比例标度表具体如表2所示：
假设有最上层级的指标A，相应其对应的该层级指标分别为A1，A2……An，则可以为其构造判断矩阵。综合所选取的专家、学生等被调查对象的个人判断意见，可以据此得到这一层级中各个指标的重要性等级标度，然后便能够得到判断矩阵数据，具体如表3所示：
（三）进行层次单排序及单层一致性检验
得到判断矩阵后，可以综合被调查对象个人判断所得到的两两指标重要性等级来对每个指标自身的权重系数进行科学计算，即单层指标权重。层次分析法中确定单层指标权重可以运用幂法、和法与根法。此外，在计算最大特征根和相应的特征向量时，也有的研究者直接通过运用MATLAB等专业软件来计算得到。本文将应用幂法确定单层指标权重，因此需对幂法进行计算过程的具体介绍：
（1）任取n维归一化向量W。
（2）着手计算Wk+1=AWk，k=1，2，…，n。
（3）再将Wk+1进行归一化，便可以相应得到权重值W（k+1）′=Wk+1∑ni=1Wk+1i。
（4）预先设定精度数值θ，当存在|W（k+1）′i-W（k）′i|<θ，i=1，2，…，n时，则W（k+1）′就是所要求的特征向量，如果不满足就需要返回第（2）步重新计算。
（5）最大特征值为λ=1n∑ni=1Wk+1iW（k）′i。
层析分析法采用的都是专家调查法，这就在一定程度上决定了各专家在某一个指标的重要程度上存在不同意见的必然性，有些情况下他们的看法甚至会截然相反，因此需要通过对构造的判断矩阵进行一致性检验来保证被调查对象对两两指标重要程度判断的科学合理性。当一致性检验获得通过时，才说明分析是有效的。具体的检验方法如下：
（1）计算一致性指标，公式为CI=（λ-n）（n-1）。
（2）选定随机一致性指标RI。RI是能够有效度量不同阶判断矩阵的满意一致性程度的数值，它是被选取的一致性平均值。RI数值可查阅表4得到。
（3）计算一致性比率CR。计算公式为CR=CIRI。一致性检验通过的标准是CR<0.1，只有满足这一条件才可以认为判断矩阵具有合理有效的一致性。如果一致性检验没有获得通过，就需要重新构造判断矩阵后并重新反复进行一致性检验，直到通过才可以。
（四）进行层次总排序及一致性检验
层次总排序的过程是从高层次到低层次逐层进行的。一般可以采取相对简易的方法计算得到，各级指标在构建的评价指标体系中的最终权重值由某一级指标在单层的权重值与其对应上级指标单层权重的乘积决定。如果指标权重值存在误差，则需要进行调整，调整后再对组合权重进行一致性检验，方法与第三步的一致性检验相同，CR只有满足小于0.1的条件时才有效。如果不满足这一条件，就要重新构造判断矩阵，然后再检验，一直到通过一致性检验为止。[6]
五、开放大学微课实用性评价指标体系权重的确定 首先，在北京、哈尔滨等3所广播电视大学选取长期从事远程教育研究和教学的专家、参与过微课教学的教师以及学生（共30名）进行调查，取得开放大学微课实用性评价体系权重确定的基础数据。然后，按照层次分析法的计算步骤算出各指标的权重。
先计算准则层（上一层级）各指标的权重。判断矩阵表如表5所示：
按照层次分析法同样的计算步骤，可以计算得到指标体系各指标的权重如表7所示：
在得到开放大学微课实用性评价指标体系各指标的权重后，即可运用这一指标体系对某一特定的微课进行实用性评价。事实上，开放大学微课实用性评价体系研究是一个理论建构和实践应用不断循环的过程，它还需要根据微课评价实践检验的结果去不断地丰富与完善。
【参考文献】
[1]裴华艳，等.微课程在远程开放教育中的应用研究[J].甘肃广播电视大学学报，2014（2）：6—11.
[2]孙聘.基于用户体验的微课评价指标体系设计[J].現代教育技术，2015（3）：63—68.
[3]李卫红.职业技能培训微课的设计与应用研究[D].曲阜：曲阜师范大学，2015：2—4.
[4]张晓梅，等.面向“一村一名大学生计划”的远程开放教育学生质量评价体系研究[J].中国远程教育，2016（1）：32—40.
[5]仉巍.我国司法机关人力资源绩效管理研究[D].哈尔滨：哈尔滨工程大学，2010.
[6]王泽颖，等.基于层次分析法的微课评价指标体系构建[J].软件导刊，2015（7）：81—82.
【Abstract】As a typical integration of internet and education， Microlesson has drawn extensive attention between the education researchers and the frontline educators. Based on the directivity principle， peopleoriented principle， highlights principle， the principle of combination of dynamic with static performance and combination of maneuverability with comparability， we establish the microlesson practicability evaluation system according to the four main indicators including teaching arrangement， technical specification， application effect and network features in the open college and determine the index weight with analytic hierarchy process （AHP）.
【Key words】microlesson； evaluation； index system； AHP； open university
