教学质量评价的改进研究
魏青云 张立新 程新奎
【摘 要】本研究参考国际开放教育质量评价标准设计了调查问卷，对上海开放大学17个分校（教学点）8 000多名在读学生进行了问卷调查，以期反映当前远程教育质量管理的现状和关注点。结果表明，不同学习者在学习需求、学习投入、学习效率、学习认可度以及对组织认同等方面存在显著差异，并影响其对教学质量评价的认识。基于此，对远程教育质量管理的组织创新提出对策和建议。
【关键词】远程教育;成果导向教育;学习者体验;质量评价;质量管理
【中图分类号】G72
【文献标识码】A
【文章编号】1001-8794（2020）02-0019-08
【作者简介】魏青云（1968—），女，山东淄博人，硕士，滨州学院教师教育学院副教授，华东师范大学课程研究所访问学者，研究方向为教学论;张立新（1966—），男，山东滨州人，博士，上海立信会计金融学院高教研究所副所长，研究员，研究方向为高等教育管理;程新奎（1979—），男，山东枣庄人，硕士，上海开放大学质量监控与评价中心助理研究员，研究方向为教育评价。
当“以学生为本”的教育理念已经深入人心，强调人人都能成功、個性化体验、绩效责任、能力本位的成果导向教育（Outcome-based Education，简称OBE）实现了从传统教育范式的转换并逐步成为高等教育质量保障的重要内涵。由于OBE范式在成人学习中有与普通教育学生同样广阔的发展空间，而信息技术的发展使空间距离不再成为制约学习方式和区分教育类型的条件，远程学习者体验基础上对学习质量评价的再评价也就获得了比以往更权威的地位，从而为改进包括远程教育在内的各种成人与普通教育质量保障提供了一个的新的视角。
一、文献分析
随着高等教育大众化以及普及化的实现，如何全面保障教育质量问题成为世界范围内教育实践和理论研究的热点。让所有学生获得学业以及在此之后的成功，是基于结果教育的根本目标。[1]作为已经身处职场、对自身和社会有更成熟评价的成人学习者，其学习更易受其需要和兴趣的影响，对学习的评判也相对理性，成人学习者个性化的学习体验无疑是对学习过程和结果评判的最直接途径和有效方式。
（一）关于学习体验的研究
体验是一段有意义的完整的个体经历，[2]学习者的体验是情感、身体、智力甚至精神层面的结果，而且作为个体的学习者体验并非孤立存在。[3]学生经验“不局限于课堂上的学生经验，而局限于总的学生经验”。[4]当然，学生体验的概念是复杂的，包括教学学术方面、内容和课程、学习者活动、指导等，学习者的经验与学习者的参与、满意度和保持力有关。[5]体验是一个主动学习的过程，主动学习可以提高学生的体验感受。
首先，体验是一个深度学习的过程，它鼓励学习者寻求潜在的意义，可以将新知识与先前的经验联系起来，分析和评估新知识，使用这种方法的学习者倾向于以更高的速度保留、整合和传输信息。与表面学习方法相比，深度学习与更愉快的学习体验有关。[6]由于学习者的实际学习投入、学习环境条件以及最终的学习效率会对体验产生影响，由此，基于学习者综合体验的反馈成为对学习质量最有权威的评判。[7]
从远程学习的特点看，当人们以成年人的方式行事时，应该把他们当作成年人对待。学习者更关注自身发展，可以自我指导，能够独立做出判断和决定;经验成为学习的资源，并为其提供了一个联系和连接新的学习的桥梁;学习者更了解发展和自我提高的重要性，他们更愿意学习和理解学习，将其视为提升社会地位和履行社会角色的一种手段，体验是远程学习中应有的特征和过程。[8]研究表明，学习者接受高等教育，受性别、年龄、既往经验和动机等因素影响。[9]因此，课程规划中应考虑远程学习者的需求和兴趣，以确保学生的需求、期望和经验纳入其中。[10]
由于学习是一个不断变化的过程，学习技能是通过调节学习者的环境和他们在社会环境中的经历来发展的，学习体验为学习者主动调节环境提供了可能。[11]当远程学习者在学习过程中有选择和控制权时，他们最有可能积极参与学习。[12]可以认为，只有建立在学习者体验基础上的学习者主动学习、深度学习，才能形成一个完整的过程并最终达到预期的学习目标。
（二）关于远程学习质量评价的研究
质量是一个相对的、充满价值的概念，不同的利益相关者可能会有不同的评价。由于与传统教育相比，远程学习在很大程度上依赖于学习者个体的需求动机、投入，这使得衡量和保证远程学习质量变得更加困难。学习者对质量最有发言权，了解这些学习者如何定义远程学习的质量至关重要，因为他们的需求和环境是多样的，与传统的学习者有很大的不同。[13]学习者对质量评价的基础，取决于其所感知的质量维度，并确定和确认这些质量维度的结构特征。[14]
美国高等教育学院委员会、南非国家远程教育组织协会、欧洲远程教学大学协会、瑞典国家高等教育局、韩国教育科技部（MEST）、加拿大远程教育协会提出了远程教育质量评价标准。七个被认为对确保高等教育背景下的在线教育质量至关重要的领域的基准是：清晰的规划、健全可靠的基础设施、良好支持系统、良好的师生沟通渠道、课件开发的明确标准以及强有力的学生投入等。[15]学习者作为定义质量的关键参与者，其观点应整合到“电子学习质量评估可持续环境”的框架中，该框架允许每个利益相关者，包括学习者，主观地权衡质量保证标准的重要性。[16]上述研究以及国家、区域和国际质量保证框架涵盖了广泛的维度，分析揭示了评估远程学习质量的许多共同点，包括愿景、规划和基础设施等。当然，不同的利益相关者对质量的看法不同。虽然来自提供者、评估者和政府的输入对于检查和提高远程学习的质量很有价值，但了解学习者的观点也是至关重要的，因为远程学习取得了成功通常在很大程度上依赖于学习者的动机和参与度。[17]
在强调以学习者为中心的同时，关注学习者对质量因素看法的研究却相对较少。有关对澳大利亚学生在线职业教育和培训的研究表明，学习者认为以下因素对质量至关重要：灵活性、反应灵敏的教师、材料和课程设计、获取资源以及在线评估和反馈。[18]欧洲学习者认为课程过程相关维度（如存在、教学和协作）比机构因素（如愿景、规划和财务）更重要。研究表明，学习者和提供者在质量概念上可能存在重要差异，需要进一步调查学习者在不同环境下对远程学习质量的看法，以了解和改进远程学习中的质量保证框架。研究认为，质量是学习者的全部经验，因此应涉及机构的声誉、课程和教学、员工支持、学习者支持、技术支持、质量保证机制和学生成果。韩国的研究也表明，从提供者的角度提出的这些维度中的大多数对学习者来说也很重要，但技术支持似乎没有表现出显著的影响。[19]此外，从学习者的角度看，制度质量保证机制和制度公信力对远程学习质量的评价具有一定的影响。 “学生学习质量是学生活动和行为（而不是教学内容）的直接后果”。[20]
这些研究取得了一些重要成果，但往往没有考虑学习者的变量，如主要研究领域、年龄、性别、技术技能以及学习者对远程学习质量感知等，男性和女性、人文科学和自然科学专业、年龄较大和较年轻的学习者或不同远程学习经验的学习者的认知也可能存在一些差异。
（三）学习者体验下的远程学习质量评价
随着远程教育的快速发展及其内涵的日益丰富，研究者开始意识到，以提供者为中心的质量保证方法可能是不够的，并且忽略了质量保障因素的相互关系性质。通过从学习者的角度识别质量维度，阐明学习者和提供者的观点的异同，可以为面向学习者的远程学习质量改进提供帮助。[21]
传统的评估形式集中在认知学习和知识获取的目标上。然而传统评估未能解释学习者必须获得知识以解决不断变化、复杂的现实发展问题，因此，评估目标的讨论已经从关注学习者的知识获取转向学习者能力的建立。[22]
其次，现有的视角不足以解释学习者的“终身”特征，没有注意到其可持续性及其支持特征。通过一个新的视角可以补充当前评估的发展，即当学生面对变化和未来挑战时，以其体验为基础的责任承诺可能比他们增强学习者的能力和维持他们的主观性更具决定性。
由于传统的评估实践假设知识高度固化、学生整齐划一，没有考虑到学习的复杂性，也难以证明远程学习者如何运用他们的机构来应对不确定、快速变化的未来挑战。为了让学习者为他们的未来做好准备，评估必须超越基于知识的范式。评估的新趋势不是专注于获取事实知识，而是专注于如何发展知识，即所谓的“整体能力”。[23]为了确保一个人学习的有效性，这些学习者必须同时成为其学习的评估者。[24]作为评价者的学习者，确保其观点的首要性是重要的，即允许学习者“接受自我评估的权威”。[25]
远程教育发展面临的挑战之一是从发展学习者的认知向促进学习者自我导向的认知、影响和行动的转变。质量评价任务则需要培养学习者的兴趣，将他们的学习与未来和生活世界的环境联系起来，而不是简单地与现有课程或计划联系起来，这又回溯到了质量评价的本源。基于学习者体验的质量评价，“解放了学习者去体验他们可能是什么样的可能性”，而不是“评估者提出的世界范围”，[26]这不仅代表了学习者作为评估参与者的角色，而且展示了学习者的感知的首要性，“认可机构推动的常见评估实践的逆转”。[27]
一个人的学习过程、实践表现和更多的自我反思，可能塑造学习者“自己最独特的可能性”的知识和行为。[28]是学习者关心什么以及自己对如何通过参与学习，与未来的变化形成有意义的联系的思考及自我认识过程。[29]仅仅依靠外部反馈和判断可能破坏了学习者的完整性发展，学习者体验基础上的质量评估方法则可以更好地支持生活在变化背景下的终身学习者的发展，对学生评估其个人知识、感受和经验的重要性是不言而喻的。
总之，从学习者为中心出发，为每个个体创造独特的学习体验，在学习者眼中建立学习的主导权，对学习质量评价的参与，可以使学习者在培训期间和之后能够更好地学习，也可使教育主办者改进教育教学。[30]事实上，质量反馈作为一种资源密集型的活动，往往被学生（管理者）低估，有时被忽视，没有形成管理者、教师和学习者的互动反馈。提供反馈时没有参与的学习者就不太可能有效地将质量评价理论与实践联系起来。[31]离开了学习者体验基础，对远程教育质量评价起码是不完整的。学习者参与下的评估，有助于拓展作为终身学习者对生活的价值和意义的认识，[32]对于改进远程教育质量管理也具有实际的意义。
二、研究设计
依据学习者中心的学术逻辑，基于结果导向的理论，以远程学习者在学习全过程中体验到的教学质量评价方法和内容的视角，从其学习需求出发，观察其学习投入以及导致其学习效率（结果）差异，及其对自身学习评价到对学习组织认同的差异，从而发现教学质量管理改进的可能性。
其理论框架是：借助于可观测的指标，即学习需求——学习投入——学习效率——学习评价——组织认同（质量保障管理的校际差异）——质量保障改进的逻辑过程，通过观察学习者的学习需求（质量关注）、学习投入、学习效率、学习评价、组织认可度以及环境因素等对学习者的學习质量及质量管理评判的影响，在发现学习者对质量保障的关注点差异的基础上，提出相应的改进对策。
三、问卷及数据分析
（一）问卷设计
问卷在参考美国高等教育学院委员会、南非国家远程教育组织协会、欧洲远程教学大学协会、瑞典国家高等教育局、韩国教育科技部（MEST）、加拿大等国家和国际组织制定的远程教育质量评价标准基础上，结合我国开放教育的实际进行设计。[33]问卷主要分为基本情况（包括性别、年龄、所学专业、完成课程、在学时间等）、学员体验到的教学质量评价标准的重要性认识（包括战略管理、专业建设、课程建设、信息化平台、教学组织、学习评价、学习者支持、教师支持和质量保障等9个一级指标、27个二级指标、63个观测点），试图在学习者体验视角下对教学质量评价进行改进，并以此反映当前远程教育质量管理的现状和关注点。主要变量赋值情况见表1。
（二）数据分析
采用问卷星在线调查平台，以无记名方式，对上海开放大学系统范围内17个分校（教学点）8 000多名在读学生进行了网上问卷调查，回收有效问卷7 731份，对问卷采用Stata 13.0等进行处理，主要情况如下：
1.基本情况
在问卷质量上，从有效问卷答题者的实际答题所用时间看，平均用时10分钟，总体答题较为认真，问卷质量较好。
（1）从学员基本情况看
首先，从性别比例看，男占37.3%，女占62.7%，女生略占一定优势。其次，从年龄分布看，以青年学员为主，其中16—25岁占26.4%、26—35岁占46.8%、36—45岁占24.3%、46—55岁占2.3%、56—65岁和66岁以上分别占0.1%。
（2）从学员学习特点看
首先，从所学专业看，涉及学科门类广泛，其中公共管理类最多，占41.3%，工商管理类占40.2%，机械制造类占7.1%，社会工作类占6.4%，计算机信息类占3.0%，语言教育类占1.3%，商业服务类占0.6%。其次，从所学专业层次看，以专科居多数，占90%，本科占10%。再次，从修完课程门数看，平均修完课程8.6门，中位数为6.0，方差为6.592，从尚未结束1门课程学习的新生，到修完几十门课程的临近毕业学生，完成课程门数差距较大，反映出学员修业进展的多样化特点。最后，从在学时间看，较多分布的是两年以内的学员，其中第一年的占40%、第二年的占36.5%、第三年的占14.4%、第四年的占5.4%、第五年的占2.9%、六年以上的占0.7%。
2.因子分析
在问卷设计中，对教学质量评价的指标分为9个一级指标、27个二级指标、63个观测点。为了便于分析，对观测点进行归类降维处理，进行因子分析，采用最小二乘法，具有Kaiser正规化的Promax旋转法，对因子采用回归评分方法，生成新的变量。基于总体因子分析的KMO与Bartlett检验结果可知，KMO=0.994，P=0.000，适合进行因子分析。提取公因子后，以此作为新的变量，进入后面的回归方程中。
3.回归分析
Mlogit回归和线性回归结果显示，不同学习需求、学习投入、学习效率、学习评价、制度环境差异等均对质量评价产生显著影响，见表2、表3。
表2显示，在学习需求方面，不同学历层次、不同学科门类学生的学习需求对质量评价存在显著差异。本科层次学生更看重专业建设，而专科学生对课程建设评价则更高，其他方面则没有发现不同学历层次存在显著差异。在不同学科门类之间，对战略管理的评价商业服务类显著高于公共管理类;机械制造类对课程评价显著高于公共管理类，但对信息化平台评价工商管理类低于公共管理类，机械制造类则评价更低;在教学组织评价上，商业服务类显著低于公共管理类，计算机信息类则评价更低;在学习者支持评价上，社会工作类显著低于公共管理类，商业服务类则评价更低;但在专业建设、学习评价、教师支持和质量保障等方面，不同科类之间没有发现存在显著差异。
在学习投入方面，年龄、性别、修完课程门数、在学时间等因素对质量评价产生显著影响。其中，随着年龄组增大，对学习者支持的评价越低，对教师支持评价越高，对质量保障评价越低。女生对战略管理、质量保障的评价比男生更低，学习评价则比男生要高。随着修完课程门数的增加，对学习评价的评价也随之升高。随着在学时间增加，对教学组织的评价也越来越高。
从学习效率看，在单位时间内修完的课程门数越多，则对学习评价的评价越高，但对质量保障的评价越低。
从对学习评价的认可度看，答卷时间越长，意味着重视程度较高，则对学习评价、教师支持的评价越高。
表3则显示，不同的制度环境对质量评价产生显著影响。在战略管理评价上，分校2、3显著低于分校14，但分校16则高于分校14;在课程建设评价上，分校10、11分别显著高于、低于分校14;在教学组织评价上，分校5低于分校11、13，高于分校14;在学习评价的评价上，分校2、11、13、16均显著低于分校14;在学习者支持评价上，分校2、4、7均显著高于分校14 ;在教师支持评价上，分校15、17则显著低于分校14。
值得注意的是，在专业建设、信息化平台、质量保障等方面，不同分校之间则不存在显著差异。除此之外，被表3省略的情况还有，分校1、6、8、9、12与分校14之间在所有评价项目上没有表现出显著差异。经过进一步交互分析，发现同一分校不同年级学员评价没有存在显著差异，但不同学校同一年级学员存在显著差异。
四、结论与建议
（一）结论
（1）不同的学习需求影响学习者的体验判断。其从事职业与所学学科专业有一定相关性，也意味着成人学习者更考虑对口问题，其专业（背后的职业特征）对学习需求以及质量关注的差异影响学习者的体验评判。
（2）学习投入差异影响学习者的体验判断。由于年龄的变化、性别差异及家庭负担影响学习时间和精力等投入，隨着修课门数的增加、在学时间的延长，对学习评价的体验也会发生变化。
（3）学习效率的高低影响学习者的体验。影响学习效率的因素可能很多，但总体而言，学习效率越高，对学习的评价也更正面。
（4）以答卷时间作为观测点，其认真程度间接反映对学习（学校）的认可度。答卷时间越长，评价越正面，反之亦然。
（5）制度环境差异影响学习者的评判。在大的制度背景相似的情况下，不同分校的管理差异影响学生评价，同一分校不同年级学生的评判不存在显著差异，意味着不同分校内部的制度环境和教学管理质量具有一定的稳定性。
（二）建议
（1）从进一步满足学习者需求出发，根据学习者学历层次、学科专业的差异，改进学校战略管理，加强专业和课程建设，完善信息化平台，优化教学组织，更好地增进对学习者的支持。
（2）不断为增进学习者投入提供条件，根据学习者年龄、性别及學习进度的个性差异，改进教学组织和学习评价，优化学习者支持、教师支持和质量保障系统。
（3）从提高学习效率、增进学习者的组织认同出发，持续改进学习评价内容和方法，改进质量保障措施。
（4）创新组织管理。实现教学质量管理的持续改进，既要做好全国开放教育宏观教育管理制度政策的制定、实施，使共同的质量标准落到实处，又要在中观、微观层面做好细致的制度创新工作，形成有特色的办学风格。对于具体经验要及时交流推广，同时，要结合实际工作积极开展相关研究，不断提高远程教育的理论研究水平。
【参考文献】
[1]Spady W G. Outcome-based education： Critical issues and answers[M].Arlington： American Association of School Administrators， 1994.
[2]杜威，高建平.艺术即经验[M].北京：商务印书馆，2005.
[3]KATJA BATTARBEE， ILPO KOSKINEN. Co-experience： user experience as interaction[J].Codesign， 2005，1（1）：5—18.
[4]Harvey， L.， Burrows， A.， & Green， D. （1992）. Total student experience： A first report of the QHE national survey of staff and students'?views of the important criteria of quality. Birmingham， UK： QHE.
[5]Benckendorff， P.， Ruhanen， L.， & Scott， N. （2009）. Deconstructing the student experience： A conceptual framework， Journal of Hospitality and Tourism， 16（1）， 84—93. https：//doi.org/10.1375/jhtm.16.1.84.
[6]Laird， T. N.， Shoup， R.， & Kuh， G. （2005）. Deep learning and college outcomes： Do fields of study differ？ The Annual Meeting of the Association for Institutional Research， May 29 – June 1， 2005 San Diego， CA.
[7]Erin A. Crisp，？ Curtis J. Bonk Defining the Learner Feedback Experience TechTrends， 2018， Vol.62（6）， pp.585—593.
[8]Knowles， M. S. （1984）. Andragogy in Action. Applying modern principles of adult education. San Francisco， CA， USA： Jossey Bass.
[9]Yoo， Sun Joo; Huang， Wenhao David. Engaging Online Adult Learners in Higher Education： Motivational Factors Impacted by Gender， Age， and Prior Experiences Journal of Continuing Higher Education， v61 n3 p151—164 2013.
[10]Shi， Hong. Planning Effective Educational Programs for Adult Learners.World Journal of Education， v7 n3 p79—83 2017.
[11]Dakin， Glenn H. Learning to Learn： A Student Centered Instructional Strategy. https：//files.eric.ed.gov/fulltext/ED583778.pdf.
[12]McDonough， Darlene. Providing Deep Learning through Active Engagement of Adult Learners in Blended Courses. Journal of Learning in Higher Education， v10 n1 p9—16 Spr 2014.
[13]Twigg， C. A. （2001）. Quality assurance for whom？ Providers and consumers in today's distributed learning environment. Retrieved May 14， 2010， from http：//www.thencat.org/Monographs/Mono3.pdf.
[14]Insung Jung. The dimensions of e-learning quality： from the learner's perspective. Education Tech Research Dev （2011） 59：445—464.
[15]McNaught， C. （2001）. Quality assurance for online courses： From policy to process to improvement？ In G. Kennedy， M. Keppell， C. McNaught， & T. Petrovic （Eds.）， Meeting at the crossroads. Proceedings of the 18th annual Australian society for computers in learning in tertiary education 2001 conference（pp. 435—442）.University of Melbourne， 9—12 December. Retrieved December 10， 2009， from http：//www.ascilite.org.au/conferences/melbourne01/pdf/papers/mcnaughtc.pdf.
[16]Dondi， C.， Moretti， M.， & Nascimbeni， F. （2006）. Quality of e-learning： Negotiating a strategy， implementing a policy. In U. D. Ehlers & J. M. Pawlowski （Eds.）， Handbook on quality and standardization in e-learning （pp. 31—50）. Berlin： Springer.
[17]Jung， I. S. （2008）. Quality assurance and continuous quality improvement in distance education. In T. Evans， M. Haughey， & D. Murphy （Eds.）， International handbook of distance education （pp. 609—624）.London： Emerald Group Publishing Limited.
[18]Cashion， J.， & Palmieri， P. （2002）. The secret is the teacher： The learners'?view of online learning. Leabrook， Australia： National Center for Vocational Education Research. Retrieved July 21， 2010， from http：//www.ncver.edu.au/research/proj/nr0F03a.pdf.
[19]Kirkpatrick， D. （2005）. Quality assurance in open and distance learning. Vancouver： Commonwealth of Learning. Retrieved January 14， 2010， from http：//www.col.org/SiteCollectionDocuments/KS2005_QA.pdf.
[20]Hay， D. B.， Kehoe， C.， Miquel， M. E.， Kinchin， I. M.， Hatzipanagos， S.， Keevil， S. F.， et al. （2008）. Measuring the quality of e-learning. British Journal of Educational Technology， 39（6）， 1037—1056.
[21]Insung Jung. The dimensions of e-learning quality： from the learner's perspective. Education Tech Research Dev （2011） 59：445—464.
[22]Sitthisak， O.， Gilbert， L. & Davis， H. C. （2007） “Towards a competency model for adaptive assessment to support lifelong learning”， paper presented at the TENCompetence Workshop on Service Oriented Approaches and Lifelong Competence Development Infrastructures， January 11—12， in Manchester， UK.
[23]Beckett， D. （2008） “Holistic competence： putting judgements first”， Asia Pacific Education Review， 9： 1， 21—30.
[24]Boud， D. （2000） “Sustainable Assessment： rethinking assessment for the learning society”， Studies in Continuing Education， 22： 2， 151—167.
[25]Brew， A. （1999） “Towards autonomous assessment： using self-assessment and peer assessment”， in S. Brown & A. Glasner （eds.）， Assessment matters in higher education： Choosing and using diverse approaches， Buckingham， UK： Open University Press， 159—171.
[26]Gibbs， P. （2011） Heidegger's contribution to the understanding of work-based studies. Dordrecht ： Springer.
[27]Strawser， M. （2009） “Assessment and experience”， Faculty Focus， 8： 1， 4—5.
[28]Heidegger， M. （1978） Being and time （Trans. J. Macquarrie and E. Robinson.） London， England： Blackwell.
[29]Polanyi， M. （1962） Personal knowledge. London： Routledge and Kegan Paul.
[30]Bahgat， Mohamed; Elsafty， Ashraf; Shaarawy， Ashraf; Said， Tamer. FIRST Framework Design and Facilitate Active Deep Learner Experience.Journal of Education and Training Studies， v6 n8 p123—138 Aug 2018.
[31]Peacock， Susi，Murray， Sue，Scott， Alison Executive summary-Exploring the learner experience of ePortfolios for formative and summative feedback in healthcare education. https：//eresearch.qmu.ac.uk/handle/20.500.12289/2798.
[32]Su， Ya-Hui Targeting Assessment for Developing Adult Lifelong Learners： Assessing the Ability to Commit. Australian Journal of Adult Learning， v55 n1 p75—93 Apr 2015.
[33]程新奎，王國清.远程教育质量保障的国际经验：一个综合性框架：五个代表性质量保障框架的分析与综合[J].成人教育，2019（2）：11—20.
