OBE导向的高职专业质量评价和大数据诊断研究
马国勤 刘中胜
摘 要：文章针对当前高职教育质量评价存在的问题，提出构建以OBE导向、与经济社会和区域产业发展需求相适应的专业教学标准为目标，以多元化评量“专业—课程—教与学”全过程学习成果为路径，以评价促进全方位质量主体持续改进为机制保障的高职专业质量评价体系，并运用大数据技术对全程质量评量数据实现质量动态监测、智能诊断和预警推送，促进“评价监测—信息反馈—诊断改进”质控闭环常态运行，推动教育质量持续提高。
关键词：成果导向;质量评价;大数据技术;诊断与改进
中图分类号：G423.04? ? ? ?文献标志码：A? ? ? ? ? 文章编号：1673-8454（2020）16-0026-05
教育教学质量是高校的生命线，提高质量是高校的永恒主题。如何有效把控教育教学质量？《国家职业教育改革实施方案》要求以学习者的职业道德、技术技能水平和就业质量以及产教融合、校企合作水平为核心，建立职业教育质量评价体系。《中国教育现代化2035》将“构建教育质量评估监测机制，建立更加科学公正的考试评价制度，建立全过程、全方位人才培养质量反馈监控体系”，作为“发展中国特色世界先进水平的优质教育”战略任务的主要内容。《教育部办公厅关于建立职业院校教学工作诊断与改进制度的通知》强调，按照“需求导向、自我保证，多元诊断、重在改进”的工作方针，建立基于高职院校人才培养工作状态数据、学校自主诊改、常态化的内部质量保证体系，不断提高人才培养质量。
在相关文件的指导下，广东岭南职业技术学院在完善与经济社会和区域产业发展需求相适应、可测可控的专业教学标准，健全有效检验目标达成的质量评价体系及以评价促进质量主体持续改进的质量保证机制，运用大数据技术促进由监控向持续改进转变等方面进行了有益探索和实践，并取得良好成效，值得同类院校参考借鉴。
一、高职教育质量评价现状问题分析
1.教育目标的说明可测量性有待提高
质量评价遵循目标和标准导向原则，只有目标具体化、标准可测量，质量评价才有依据，质量才具有可控性。调查发现，高职院校多数专业人才培养方案在人才培养规格中对“知识目标”的描述一般均用“掌握……知识”形式，对“能力目标”的描述一般均用“具有……能力”形式，对“职业素养目标”的描述一般均用“具备……素质”形式 [1]。多数课程标准中对课程教学目标的描述也是如此。这些教育目标的说明强调了学习的范围和累积，忽略了学会了什么和能做出什么，降低了目标达成的可测性和有效检验度。
2.评价主体重“内”轻“外”
职业教育是与经济社会发展联系最直接、最密切的教育类型，肩负为地方经济发展服务的首要职责。职业教育质量高低应依据是否精准服务区域产业发展、行业企业用人需求来评判。因此，行业、企业在高职教育质量评价中拥有最高话语权，高职教育质量评价应由行业、企业、高职院校等共同参与。当前，多数高职院校教育质量评价主要集中在由学生、督导、同行“内部三方”參与的课堂教学评教上，其中部分高职院校另外委托第三方公司开展了毕业生培养质量跟踪调查，而由行业、企业“外部利益相关方”参与的质量评价，多数高职院校仅体现在专业人才培养方案集中汇报的意见反馈、学生企业实习报告的意见鉴定、应届毕业生用人单位满意度的问卷调查上，这在一定程度上造成了行业、企业在职业教育质量评价主体中的缺位。
3.评价内容重“教”轻“学”
当前，高职教学质量评价内容一般聚焦在教师的“教”上，即教师为什么教、教了什么、怎么教，偏重教学的输入评价。在评“学”方面，通常关注学生的课堂出勤率、学习表现等表观上，较少从学生学什么、怎么学、学得怎样、能做什么等内在实效开展评价，轻视学生的输出评价。教育质量最终应由学生学习后的输出质量来体现，评价内容重“教”轻“学”不能起到有效评价教育质量的作用。
4.质量取向重“结果”轻“过程”
通常情况下，高职院校均以三年人才培养结果即应届毕业生的初次就业率及就业对口率、就业起薪线、用人单位满意度为质量价值判断的首要依据，轻视了人才培养过程质量控制的促进作用和有效落实。
5.评价客体的局限性有待改善
在高职院校现行的教育质量评价中，与重“教”轻“学”评价内容相对应的评价客体，主要集中在教学活动主体双方即教师和学生，而衡量教育质量更高阶层的专业（水平）、课程（质量）鲜有涉及。评价客体具有一定的局限性，不能科学公正、全面客观地反映教育质量。
6.评价结果的科学应用有待完善
为激发广大教师的内生动力，不断提高教学质量，现有大多数高职院校将教学质量评价结果作为教师职称评审、优秀教师评选、绩效考核的条件之一，起到很好的激励和制度保障作用，但在以评价促诊改、以评价推动教师和学校教育共同发展方面，还有待进一步完善。
二、OBE导向的多元全程全方位质量评价体系和大数据诊断的提出
1.OBE借鉴运用
成果导向教育（Outcome-based Education，简称OBE）由Spady在1981年率先提出[2]，遵循“教育利益相关方需求→人才培养目标→毕业要求→课程体系”反向设计原则[3]，用学生的专业学习成果表达学生在毕业时应该达到的能力结构。能力结构中的每一种能力均有明确的课程支撑，即通过课程教学，学生获得课程学习成果，实现该能力的达成。学生完成课程体系的学习后，就能具备预期的能力结构。学习成果应该具体准确地表述，并可直接或间接测评。借鉴运用OBE理念，可将教育利益相关方需求转换为学生学习成果要求，实现专业教学标准与岗位职业标准精准对接，从源头上保障了专业教学标准的需求适应度、描述准确性、质量可测性，为管理者从教学输出端有效控制教育质量提供可行性。
OBE强调学校要对学生成功学习负责，要为学生提供适宜的条件和机会。教师要在时间和资源上，保障每个学生都有达成学习成果的机会。借鉴运用OBE理念开展高职教学诊断与改进工作，可引导高职院校切实履行人才培养工作质量保证主体的责任。
OBE指出教师要在教学设计与教学实施中，围绕促进学生达成学习成果，关注学生学会了什么、能做出什么，注重探究式教学、个性化教学，并实施适切的教学评价来适时掌握学生的学习成果达成情况，以不断改进教学。OBE的教学评价聚焦在学习成果上，而不是在教学内容以及学习时间、学习方式上，评价强调达成学习成果的内涵和学生个人的学习进步，不强调学生之间的比较。借鉴运用OBE理念，开展以学习成果为主线的“专业—课程—教与学”全过程质量评价，为有效监测、反馈、改进质量提供了可行路径。
OBE倡导根据教育利益相关方的需求变化，持续改进培养目标，以保障其始终与需求相符合;根据培养目标变化，持续改进毕业要求，以保障二者始终相符合;根据学生学习成果达成情况，持续改进教学活动，促进学生达成毕业要求，从而建立一种有效的持续改进机制，确保人才培养质量[4]。借鉴运用OBE理念，可建立教育利益相关方多方协同、以评价促进多方质量主体持续改进的质保机制。
2.大数据技术与运用
（1）运用K-means算法实现质量动态监测
K均值聚类算法（K-means clustering algorithm）由James MacQueen于1967年提出，是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。
运用K-means算法，对以学习成果为主线的“专业—课程—教与学”全程质量评量数据进行分析，划分聚类，并对各聚类的点进行离群检测，通过对各点离群率、离群速度的判别，分析异常值，确定各点质量，实现智能质量监测和预警推送。与传统质量控制方法相比，该算法采用单点数据与整体数据相比较的思想，不需要预先设置质量控制阈值或标准值，因而更具有实用性和科学性。而且，该算法的复杂度较低，适合大量数据集的计算。
（2）运用C4.5算法实现质量影响因素挖掘和智能诊断
C4.5是J.Ross Quinlan在ID3的基础上提出、用于产生决策树的算法。该算法基于关联规则，通过数据挖掘，找出对合格率有影响的关联因素作为新属性，再对所有的新属性生成决策树模型，进而找到影响质量的关键因素属性。
基于关联规则的C4.5决策树算法考虑了联合影响的因素，运用该算法，能更深层地挖掘“教育利益相关方需求→人才培养目标→毕业要求→课程体系→课程设计→教与学”全链条潜在的、相互关联的质量影响因素，同时降低属性的冗余度，也为大数据智能诊断和预警推送提供技术支持。
综上所述，我们借鉴运用OBE理念，提出构建以OBE导向、与经济社会和区域产业发展需求相适应的专业教学标准为起点，以多元化评量“专业—课程—教与学”全过程学习成果为路径，以评价促进专业、课程、教师、学生等全方位质量主体持续改进为机制保障的“多元化、全过程、全方位”高职专业质量评价体系，并运用大数据技术对全过程质量评量数据实现质量动态监测、智能诊断和预警推送，促进“评价监测—信息反馈—诊断改进”质控闭环常态运行，推动教育质量持续提高。
三、OBE导向的多元全程全方位质量评价体系构建
1.OBE导向的多元全程全方位质量评价模型构建
基于OBE理念，由政府、行业企业专家及学校教授、师生代表等教育利益相关方组成的教学管理委员会，多元化评量按照“教育利益相关方需求→人才培养目标→畢业要求（专业学习成果）→课程体系（课程学习成果）”反向原设计则，基于专业调研分析，由课程体系、资源配置和师资保障等构成的专业人才培养方案;由二级学院领导、专业主任和同行教师等组成的教学工作委员会，多元化评量按照“课程体系（课程学习成果）→课程设计（单元学习成果）”反向原则设计，聚焦“单元学习成果→课程学习成果”反向达成，由教学活动或内容、教学策略、时间和资源配置、单元学习成果评核标准、课程学习成果评核方案等组成的课程教学规范;由教、学活动主体即行业企业导师、学校教师和学生，多元化评量“单元学习成果→课程学习成果→专业学习成果”的内涵和学生个人的学习进步;由学生评价行业企业导师、学校教师教学的满意度;由行业企业雇主评价学生用人单位的满意度，从而构建OBE导向的多元化、全过程质量评价，并对全程质量评量数据，运用大数据技术，实现质量动态监测、智能诊断和预警推送，促进专业、课程、教师、学生等全方位质量主体持续改进的质量评价模型（如图1所示）。
2.“专业—课程—教与学”全过程质量评价标准制定
（1）专业人才培养方案评价标准制定
以学习成果为导向，以学生发展为中心，围绕人才培养目标与经济社会和区域产业发展需求的适应度，及满足人才培养的资源配置和师资条件的保障度，由政府、行业企业专家及学校教授、师生代表等教育利益相关方组成的教学管理委员会，多元化评量人才培养目标与毕业要求（专业学习成果）的符合度，与经济社会和区域产业发展需求的适应度;毕业要求（专业学习成果）与课程体系（课程学习成果）的符合度，专业学习成果和课程学习成果的可测可控性及二者逐级分解、反向支撑的映射关联性，支撑专业学习成果的课程设置的科学性、合理性、完备性;支撑达成专业学习顶峰成果的资源配置（包含产教融合、校企合作水平等）和师资的保障度。专业人才培养方案评价标准如表1所示。
（2）课程教学规范评价标准制定
课程教学规范是课程教学的指导性文件，由二级学院领导、专业主任和同行教师等组成的教学工作委员会，聚焦“单元学习成果→课程学习成果→专业学习成果”的反向达成，多元化评量单元学习成果与课程学习成果的符合度，单元学习成果的可测可控性，教学活动或内容、教学策略、时间和资源配置对学生达成单元学习成果的支撑度，单元学习成果评核标准是否凸现达成学习成果的内涵和学生个人的学习进步，课程学习成果评核方案对具有不同学习能力学生逐级达到顶峰学习成果的促进作用，课程教学对专业学习成果的贡献度。课程教学规范评价标准如表2所示。
（3）“专业—课程—教与学”学习成果质量评价
改变传统“评学”的表观现象，聚焦学生学习后的产出，由教、学活动主体即行业企业导师、学校教师和学生，按照学习成果的目标分类质量评核标准，多元化评量单元学习成果。评价强调达成学习成果的内涵和学生个人的学习进步，根据每个学生能达成学习成果的程度，赋予从较差到优秀不同的评定等级，进行针对性评价，不强调学生之间的比较。单元学习成果目标分层分级评核标准构建如表3所示。
通过评价明确掌握学生学习成果的达成情况，不仅促进教师不断改进教学，而且促进学生落实“评价即学习”的理念，激发具有不同学习能力的学生将用不同时间、通过不同途径和方式达到同一目标，还能促进学校不断优化资源配置和师资保障条件，最终促成学生逐级达到顶峰学习成果。“教与学—课程—专业”学习成果质量评价及反向支撑、逐级达成映射关系如图2所示。
（4）教师教学综合评价
改变传统“评教”的课堂听课单一观，聚焦课程教学目标达成度和学生教学满意度等核心指标，兼顾教师为学生达成学习成果提供的帮助和保障，综合评价教师付出的努力和教学成效。其中，课程教学目标达成度由质量大数据支撑系统，按照教师授课班级学生的课程学习成果质量等级分布和权重进行计算自动生成;学生教学满意度由学校教学质量管理部门，根据每个学期不同时段不同的评教目标，分期分批多次组织学生网上评教和问卷調查后系统自动生成;教师为学生学习成果达成付出的努力主要从教学设计、资源开发与利用、教学改进等三大方面，由教学工作委员会和教学督导共同评价。教师教学综合评价框架如表4所示。
3.质量评价大数据诊断
对于每个学生，由行业企业导师、学校教师评量和学生自评、互评生成的每门课程的每个单元学习成果质量大数据，基于K-means算法，首先进行分析、检测，动态确定质量控制阈值或标准值;然后，将其与各学生的该单元学习成果质量数据进行比对统计、分析;最后，根据分析结果，进行智能预警推送，如对低于质量控制阈值或标准值的学生，自动推送肯定他在学习上付出的努力、鼓励他优化改进单元学习成果质量及本单元学习成果质量的底线要求等信息;如对高于质量控制阈值或标准值的学生，自动推送本单元学习成果质量等级、鼓励他优化改进单元学习成果质量并逐级提升至顶峰等信息等。另外，基于C4.5算法的关联规则和数据挖掘，从教师评价意见、学生自评和互评意见中挖掘出单元学习成果质量影响因素，自动推送至教师，作为教师结合学生单元学习成果达成度进行过程性教学改进的主要依据。对于每个学生的每门课程学习成果、每个专业学习成果的质量数据，基于K-means算法、C4.5算法同理进行处理，但课程学习成果质量影响因素作为专业学习成果（毕业要求）改进的依据之一，专业学习成果质量影响因素作为专业人才培养目标改进的依据之一。
对于每门课程，按照教师授课班级学生的课程学习成果质量等级分布和权重，加权计算该课程的教学目标达成度。基于K-means算法，对本学期每门课程的教学目标达成度进行分析、检测，动态确定质量控制阈值或标准值，并将其与各门课程的教学目标达成度进行比对统计、分析，后根据分析结果，类比单元学习成果质量数据处理办法，智能推送相应信息至各门课程的授课教师。基于学生教学满意度问卷调查和评教意见，基于C4.5算法的关联规则和数据挖掘，分析课程学习成果质量影响因素，并智能推送至各门课程的授课教师，作为教师进行终结性教学改进的主要依据。
对于每位教师，按照教师教学综合评价标准，对其学生评教分数、教学综合评价分数，基于K-means算法，进行分析、检测，动态确定本学期各二级学院的质量控制阈值或标准值，并将其与本院每位教师进行比对统计、分析，后根据分析结果，类比单元学习成果质量数据处理办法，智能推送相应信息至本院各位教师。对各二级学院学生评教各分数段的人数占比、教师教学综合评价分数，基于K-means算法类比进行处理后，智能推送相应信息至各二级学院领导。
对于每个专业，对其专业学习成果的达成度和等级分布，即本专业达成专业学习成果的学生人数占比和各等级人数占比，基于K-means算法，进行分析、检测，动态确定质量控制阈值或标准值，并将其与各个专业相应数据进行比对统计、分析，后根据分析结果，类比单元学习成果质量数据处理办法，智能推送相应信息至各专业主任和二级学院领导，以作为专业诊断与改进的主要依据。对各二级学院的专业教学目标达成度，基于K-means算法类比处理后，智能推送相应信息至各二级学院领导，以作为各二级学院质量保证诊断与改进的依据。
只有目标具化、标准可测，才能质量可控、质保有效。因此，以具体准确、可测性强的质量标准为目标，以科学的质量评价为路径，以评价促进有效改进机制为保障，以信息技术为抓手，构建OBE导向的多元化、全过程、全方位的专业质量评价体系，实施大数据诊断，将能有效解决目前存在的问题。
参考文献：
[1]马国勤，刘丹青.OBE导向的高职教学诊断与改进机制研究[J].职教论坛，2019（6）：56-61.
[2]Spady，W.G.Outcome-based Education：Critical Issues and Answers[M].American Association of School Administrators，1994：1-3.
[3]李志义.对我国工程教育专业认证十年的回顾与反思之一：我们应该坚持和强化什么[J].中国大学教学，2016（11）：10-16.
[4]李志义，朱泓，刘志军等.用成果导向教育理念引导高等工程教育教学改革[J].高等工程教育研究，2014（2）：29-34+70.
（编辑：鲁利瑞）
