在线课程质量观和质量要素的质性研究
李爽 李梦蕾 赵宏
【摘要】
本文采用扎根理论研究方法，通过对学术专家、实践者和学习者三类相关群体的访谈，调查高等教育和继续教育在线课程相关人群关于在线课程的质量观与对质量构成的认识，探索在线课程质量框架与要素，以期为促进人们对在线课程质量的共识，为改进和优化现有在线课程质量标准提供参考。研究通过对20位受访者累计22万字访谈文本的编码分析，发现四种质量观——服务质量观、系统性质量观、目标性质量观和增值性质量观，并定义出设计开发与实施运行两大类的九个在线课程质量要素——课程目标、课程内容、学习过程、学习支持服务、学习评价、媒体与技术环境、实施效果、改进发展和社会影响。其中，课程目标、学习内容与实施效果被定义为核心要素。本文基于TF-IDF关键词统计方法对三类群体的在线课程质量观差异进行了分析，并结合已有远程教育质量观和在线课程质量标准相关成果对本研究发现和定义的在线课程质量观、质量框架和质量要素进行了讨论与反思。
【关键词】 ?在线课程;质量观;质量要素;质量标准;扎根理论;TF-IDF;课程设计开发;课程实施运行
【中图分类号】 ? G420 ? ? ? ? 【文献标识码】 ?A ? ? ? 【文章编号】 ?1009-458x（2020）3-0042-09
一、引言
在2012年全球MOOC浪潮的推动下，在线教育蓬勃发展，面向高等教育和继续教育各类学习需求的在线课程纷纷上线。在线课程已经不再只是远程高等教育院校的主流课程形式，也成为传统院校开展教学和人们自我知识提升与能力发展的重要途径。2019年发布的《美国在线教育发展全景报告》指出，全在线学习日益成为美国高校在线课程的主流（钱玲， 等， 2019）。根据我国教育部统计，截至2019年8月底，我国上线慕课数量增加到1.5万门，在校生和社会学习者学习人数上涨至2.7亿人次，在校生获得慕课学分人数发展到8，000万人次。然而，在在线课程快速发展的同时，课程质量问题也日益突出，如较低的课程完成率（王淑娟， 等， 2019）、教学方法以行为主义为主（马瑞， 2018）和学生参与度较低（黄慧， 2017）等。质量永远是在线课程的生命线，是其可持续发展的核心（李运福， 等， 2018），开展在线课程认证标准、审核及其准入机制的研究越来越迫切（陈冰冰， 2014）。我国国家市场监督管理总局和国家标准化管理委员会于2018年发布的“GB/T 36642- 2018 信息技术学习、教育和培训在线课程”国家标准是目前我国最权威的在线课程标准，旨在为需要开放共享和在不同平台间迁移的在线课程的设计与资源开发提供技术标准保障。该标准虽然提出了课程评价原则与参考模型，但是具体评价维度与指标仍需根据当前具体在线教育情景下的教学特征与需求进行细化和优化。
在线课程相关价值主体包括课程建设者、供给者和用户等，他們对课程的需求直接影响了课程质量建设水平与发展方向，也是质量标准制定的重要依据。他们的质量观是什么、他们如何理解课程质量要素与核心要素、他们的观点与需求存在怎样的差异，以及课程质量标准如何兼顾这些差异等问题，都是课程质量认证标准研究需要关注的问题。人们对在线课程质量缺乏共识是制约在线教育发展的关键问题（Twigg， 2001），而在线课程认证标准应能够体现各类价值主体关于在线课程质量的共识。基于此，本研究将对在线课程相关价值主体的质量观和质量要素看法进行研究，以期为改进和优化现有在线课程质量标准提供参考。
二、文献综述
（一）在线课程质量与质量观
ISO9000族标准将质量定义为：“一组固有特性满足要求的程度”，而质量特性是产品（包括有形产品和服务）、过程或体系与要求有关的固有特性，其中的“要求”是指顾客和其他相关方明示的、通常隐含的或必须履行的需求或期望（国家质量技术监督局，2001）。根据质量的定义，在线课程质量是在线课程有关特性满足特定要求与需求的程度。那么这里的要求与需求如何确定呢？文献中关于远程教育质量内涵的讨论为回应此问题提供了启示。李平等（2000）在访谈远程教育专家后指出，远程教育的人才培养不仅需要考虑社会、政治、经济各方面的发展需要，而且需要考虑学生自身发展的需求，并保证远程教育实施机构自身发展和生存的需求。祝智庭（2007）将远程教育质量定义为远程教育系统满足学习者个体和社会需求的程度（陈丽， 等， 2018）。丁新（2003）指出远程教育质量涵盖需求满足层次、培养目标层次、质量标准层次、动态变化层次，只有综合不同层次才能对远程教育的质量有全面深刻的理解。与远程教育质量内涵关注多元需求相一致，朱立明等（2005）将在线课程质量定义为在线课程所具有的满足个人、群体、社会明显或隐含需求能力的特性总和。综上所述，在线课程质量是其有关特性在满足政府、社会、课程供给方、学生等相关价值主体需求和要求的程度，随着各类需求与要求的转变，课程质量也将动态变化。
教育的消费者包括学生、政府、社会、学校、用人单位、家长等多种类型，不同教育消费者看待教育的角度不同，对教育的要求也不同（程凤春， 2005）。同样，在线课程不同价值主体会持有不同的质量观，即对在线课程质量具有不同的价值选择或功效实现程度的判断（沈欣忆， 2005）。文献中对在线课程质量观的讨论整体较少，相关研究主要围绕远程教育质量观展开，为认识在线课程质量观提供启示。陈丽等（2018）将国内外现有的远程教育质量观归纳为六大质量观，包括增值性质量观、目标性质量观、市场化质量观、标准性质量观、分立性质量观和同一性质量观，并指出这六类质量观体现了质量的三种指向，分别为结果、过程和远程的身份和地位。除了上述六类质量观之外，刘义光（2004）基于自然辩证法的系统观提出远程教育的系统质量观，强调远程教育质量的整体性、层次性、协调性和历史性。丁新和武丽志（2005）提出远程教育服务质量观，认为远程教育的基本产出是服务，具有服务的一般性。赵世平等（2005）提出远程教育发展和全面的质量观，强调应从动态发展的眼光，以及兼顾多元需求的需求质量和过程质量认识和考察远程教育质量。整体上，大部分质量观的研究与讨论是在在线课程刚刚兴起的十几年前，随着教育理念与在线课程的发展，这些质量观是否具有代表性以及相关价值主体都持有怎样的质量观等问题，需要进一步探索。
（二）相关研究综述
文献中已有研究开展相关价值主体关于在线课程质量认识与需求的调查。一些研究通过专家调查法构建或优化在线课程质量评价标准与指标。如David等（2017）通过对8名在K-12领域在线教育专家的三轮调查对iNACOL质量标准（2011）进行完善。童小素等（2017）基于国内外相关标准与评价指标分析设计有关问卷，通过对11名专家的调查构建出包括教学设计、课程内容和学习支持三个维度的MOOC质量评价指标体系。少数研究综合征集多元价值主体的意见构建有关质量标准。Yousef 等（2014）基于对205位MOOC师生的调查，检验已有MOOC质量评价指标，构建出教学与技术两个维度的MOOC设计质量保障标准。邱均平等（2015）在广泛征求MOOC研究者、教师和学习者的意见后构建出教学队伍、教学内容、教学资源、教学效果和教学技术五个维度的MOOC质量评价指标体系。在文献中，关于学生在线课程质量需求与看法的调查也占了一定比重。黄璐等（2017）基于高校MOOC课程学习者的问卷调查构建出影响MOOC课程质量的三个重要因素，学习支持与服务、课程学习目标与教师素养以及课程设计与学习进度，并发现前两个因素是影响学习效果的主要因素。范逸洲等（2014）对7门北京大学MOOC课程学习者的调查发现MOOC学习的四类动机——辅助成长、感性需求、兴趣驱动和功利目标，其中后两类动机是主要动机。
整体上，已有研究大多是在已有质量评价模型基础上调查相关价值主体对在线课程质量因子及其评价指标的意见，较少采用质性和扎根理论研究范式从课程价值主体视角探索和定义在线课程的质量观和要素构成。少数质性研究为揭示特定价值主体关于远程教育和在线课程质量的认识和看法提供了有益启示。如白滨等（2014）通过对英国开放大学15名专业人员进行深度访谈定义出课程资源、学生支持服务、教学管理和远程教育教师四个远程教育质量保证关键要素。王璐等（2017）采用扎根理论对爱课程网国家精品资源共享课中240条有关课程质量的学习者评论进行分析，定义出包括系统特性、视频质量、教师队伍、教学内容和辅助性学科资料五个维度的在线开放课程质量评价指标。质性研究和扎根理论能够更深刻地揭示和挖掘在线课程不同价值主体对课程质量的认识与差异，推进不同利益群体就在线课程质量方面达成共识，进而为相关质量标准的改进提供依据。因此，需要更多相关质性研究关注不同价值主体对在线课程质量的认识。
三、研究方法
研究基于访谈，综合扎根理论方法和关键词分析对高等教育和继续教育领域在线课程相关价值主体的课程质量观和课程质量要素看法进行研究。
（一）访谈
本研究采用半结构式访谈方法，选择三类在线课程价值主体进行抽样访谈，分别是从事在线教育研究的学术专家，来自在线教育机构从事在线课程管理或教学的实践者，在线课程学习者。这三类人群是在线课程较为重要的相关利益群体。学术专家既是在线课程建设的理论引导者，也是参与者，主要从在线教育和课程教学基本规律、先进理念和技术的视角提出对课程的要求;实践者和学习者分别代表了在线课程的供给方与需求方。因此，三类人群对在线课程质量的认识对于在线课程的质量建设与发展具有重要意义。研究以有目的抽样的方法邀请了上述三类群体的代表进行面对面访谈，最终确定6名学术专家、7名实践者、7名学习者，共计20人作为访谈对象。学术专家均来自我国高校和科研机构，长期从事在线教育领域研究，具有中高级职称。实践者来自我国代表性高等远程教育院校或在线教育企业，具有丰富的在线课程管理或教学实践经验，从业均在5年以上，具有中高级职称。7名学习者均具有一年以上参与在线课程的学习经验。访谈对象的基本情况如表1所示。在访谈中，研究者发现三类群体从第五或第六个受访者开始，相关观点与感受与之前受访者大体一致，不再有新的概念或内容出现，某种程度上达到了质性研究的“信息饱和”状态（潘绥铭， 等， 2010）。
访谈主要围绕如下三个問题开展：①什么是在线课程的质量，您持有怎样的质量观？②体现在线课程质量的要素有哪些？③在线课程的核心质量要素是什么？在受访者允许的情况下对访谈过程全程录音，以确保访谈资料的准确性和完整性，访谈累计约21小时，人均约1小时。应用“讯飞听见”工具将20份录音材料转为访谈文本。为确保其准确性，请两名研究者对转录文本进行校对和修正，最终生成约22万字的访谈文本材料。
（二）编码
研究应用NVivo11.0基于扎根理论的三级编码方法对前两个访谈问题的访谈文本进行编码，本研究第三个研究问题——核心质量要素，是根据受访者提及的核心要素归类汇总并基于频次统计确定的。扎根理论是一种质性研究方法，在经验资料的基础上建立理论（Strauss， 1987），其编码分为开放编码、轴心编码和选择性编码三个阶段。开放编码旨在从访谈文本资料中发现概念类属，对类属加以命名确定类属的属性和维度（陈向明， 1999）;轴心编码旨在将主要概念类属与次要概念类属连接起来，以重新组织数据;选择性编码旨在从所有概念类属中整合凝练出“核心类属”（王念祖， 2018）。本研究在开放编码阶段，共形成216个自由节点和657个参考节点（原始材料中的一个信息点即可编码为一个自由节点，该段或该句也成为该自由节点的参考点;若一段文字包含多个意思，便可将其标记为多个自由节点）。在轴心编码阶段，通过不断比较、归纳的方法，将近似编码指标组合在一起，进而提炼出主要类目的内容，之后通过选择编码提炼“核心类属”，最终定义出在线课程质量观和质量要素，并在此基础上统计确定核心质量要素。根据受访者的角色进行编码，实践者编码为PE1-PE7，学术专家编码为AE8-AE13，学习者编码为S1-S7。
（三）TF-IDF关键词提取法
为挖掘三类群体质量观的差异，研究基于TF-IDF算法对三类群体相应问题访谈文本中的关键词进行统计分析。TF-IDF是一种用于信息检索与数据挖掘的常用加权技术，用以评估某个字词对于一份文件的重要程度，快速提取文本关键信息。该方法在信息检索、网页分类、文本分析处理等领域具有广泛的应用价值（王洁， 等， 2018）。根据该算法，一个字词在相应文件的重要性与其在该文中出现的次数成正比，与其在语料库中出现的频率成反比。
四、研究结果
（一）在线课程质量观
对每位受访者第一个访谈问题相关访谈文本进行三级编码（见表2），研究获得四个核心范畴，被定义为四种在线课程质量观（见表3）。
对四类质量观所持人数与人群分布的统计（见图1）可知，持服务质量观的人数占比最高，且主要为学习者群体，可见学习者大多从课程对其学习过程支持服务以及对其学习需求的满足情况来认识课程质量。系统性质量观人数占比位于第二位，大部分学术专家持这种质量观，他们将课程看作是一个为实现特定目标或功能的系统，从系统各要素的协调配合与运作成效判断课程质量。目标性质量观的人数位于第三位。大多数实践专家持这种质量观。他们认为课程质量就是课程目标的达成情况。三位受访者持增值性质量观。他们强调课程要以学生为中心进行设计和实施，学生在课程中的收获与成长就体现了课程质量。
对三类群体相关访谈文本的关键词统计分析结果与质量观人群分布结果基本保持一致。表4呈现了三
类群体相关访谈文本排名前10个高权重关键词。可知，实践专家、学术专家和学生的访谈文本中权重显著高于其他词的关键词分别为“目标”“学生”“工作”，某种程度体现了三类群体的主流质量观与关注点。参考其他高权重关键词可知，实践专家更关注课程要素设计与实施是否服务于课程预期目标以支持目标的达成;学术专家强调课程应基于学生特征与育人需求进行有机设计与实施，兼顾知识学习与能力发展，通过课程内容、目标、评价、互动等各维度的整体设计来确保目标达成;学生则主要从课程是否满足他们职业发展与生活改善需求视角来认识课程质量，他们更看重课程学习的外在结果，如学位、学历证书的社会认可度等。
（二）在線课程质量要素
对第二个问题相关访谈文本进行三轮编码（见表5），共获得九个核心范畴，本研究将其定义为在线课程九大质量要素，并将其归为课程设计开发和课程实施运行两类（见表6）。
课程设计开发要素组的六个质量要素，关注在线课程设计开发环节的不同方面，既包括课程的基本要素，如课程目标、内容、过程与评价，也包括在线课程特有的基本要素，如学习支持服务、媒体与技术环境。六个要素都获得了超过半数的提名（见图2）。其中，课程内容和学习支持服务两个要素提及的人数和参考点数都最高。
课程实施运行要素组包括三个要素，聚焦课程教学运行投入、成效与发展方面的质量特征。由图2可知，这组要素提及的人数整体较少，不足50%。受访者关于是否将相关元素作为课程质量评估指标存在一定争议。部分专家认为课程不只是静态的内容与资源，还包括给学生提供的动态学习过程与经验，因此，实施运行质量及其成效是课程质量的重要构成。如PE06指出，“学生愿意参与课程的学习，有积极的互动，有较高的完成率就是一门好课”。但有些专家并不这么认为，他们认为从课程认证与评估的角度来讲应主要关注课程设计与开发质量，而每轮课程的实施效果、社会评价和影响力则会受到学习者、教师实际投入、课程市场需求量等其他外在因素的影响。如AE13指出，“根据学习结果和满意度来评价课程质量好坏是不合理的，学习效果不佳和分数高低与课程质量不存在必然联系，也会出现课程管理松但课程满意度较高这种情况”。
（三）在线课程核心质量要素
对第三个问题的相关访谈文本进行分析发现，除了“社会影响”之外，其他八个要素都获得核心要素的提名。本研究以同时被三类群体一半以上的受访者定义的核心要素为标准，最终将“课程目标”“课程内容”“实施效果”确定为在线课程的核心质量要素，各要素被提及的情况如表7所示。
“课程目标”的提及人数最高，实践者与学生对该要素的认同度最高。受访者认为“课程目标”体现了课程定位的价值，对课程设计与实施具有重要导向作用，目标设计的合理性是课程其他要素是否能够有效满足相关利益群体需求的前提。“课程内容”是三类群体公认度较高的要素。内容作为教学的基本要素，是课程拟帮助学生构建的基本知识体系，是学生认知与能力发展的基础。课程内容是课程教学、评价等活动有效性的前提，因此是课程教学质量的基本保障。“实施效果”作为核心要素在三类群体中也获得了较高的认可度。受访者指出不能割裂实施效果来评价课程的质量，课程质量不仅体现在已经设计开发出来的活动、资源和技术环境，还应体现在课程实际带给学生怎样的学习经验以及学习成效如何。
五、讨论与反思
（一）在线课程质量观
本研究发现三类人群持有的四种质量观体现了文献中定义的相应远程教育质量观（陈丽， 等， 2018; 丁新， 等， 2005; 刘义光， 2004）。服务质量观和系统性质量观的人群占比最高，分别占比35%和30%。服务质量观体现了丁新和武国志（2005）提出的远程教育服务质量观，认为在线课程的基本产出就是服务，应该从服务过程和服务效能两个方面考察其质量。其中，服务效能关注人才培养质量，既包括学生的成长与发展，也包括对家庭、企业、社会等其他群体需求的满足情况。该质量观实质上是对增值性质量观的完善与发展，强调课程对多元价值主体需求的满足和服务过程质量。在本研究中持该质量观的人群以学习者为主，与增值性质量观相比，他们不仅关注课程对自身进步和发展的价值，而且关注课程服务过程的质量，期待课程具有良好的学习体验。这与程凤春（2005）提出学生群体将教育看作是一种服务的同时关注教育输入、过程和结果的观点保持一致。以学术专家为主要人群的系统性质量观作为第二大质量观揭示出学术专家对在线课程设计与运行科学性与有效性的重视，体现了远程教育的系统性质量观（刘义光， 2004）。该质量观实质上是对目标性质量观的发展与完善，都将在线课程看作是一个具有特定育人目标的教育系统，从系统目标和功能的实现情况考察其质量。
综上所述，与各类教育消费群体教育质量观存在的差异相似（程凤春， 2005），在线课程质量观也是多元的，映射出不同价值主体对在线课程的不同要求。值得注意的是，三类群体较少有代表强调在线课程质量动态变化的特征。实际上，与认识远程教育质量需要一种发展的视角一样（陈丽， 等， 2018），认识在线课程的质量同样需要以一种发展的视角来看待课程质量。随着在线课程形态与各类需求的变化，在线课程质量特性也将会发生变化。
（二）与已有课程质量框架和因子的比较
尽管已经有大量在线课程相关标准、评价指标或质量因子的研究，但已有成果关于在线课程质量要素的界定仍然存在差异（刘路， 等， 2015; 李青， 等， 2015; 黄璐， 等， 2017），对在线课程质量要素的探索一直在继续。李青和刘娜（2015）通过对CELTS - 22.1网络课程评价规范和在线课程质量量规（Quality Matter Ruburic， QM量规）等八个国内外代表性在线课程标准与评价指标分析，定义出课程概述、课程团队、教学设计、界面设计、学习支持、可访问性、政策支持等15个在线课程质量因子。他们选择QM量规作为依据，通过对其补充和优化构建出包含课程内容、课程管理和媒体技术三大维度11个质量因素的MOOC质量模型。黄璐等（2017）也做了类似的国内外标准和指标梳理工作，构建出包括教学内容、主讲教师、教学资源和技术支持四个要素的MOOCs课程质量评价框架。然而，现有成果关于质量框架和要素界定仍然存在改进或优化空间，主要体现在两点：一是缺乏清晰的要素界定逻辑，要素不完整或相互间存在交叉，如李青等（2015）的质量模型中课程内容维度中教学设计与教学内容、交互与交流的关系不是很清晰，将学习支持纳入课程管理类会忽略认知支持等;二是没有处理好课程质量中设计开发质量与实施质量的关系，有的将二者混在一起忽略了两类质量揭示的是课程不同层面的质量，有的主要关注设计开发质量而忽略了实施质量。
本研究基于三类人群构建的在线课程质量框架和要素为上述两个问题提供了一种解决方案。课程设计与开发质量要素组聚焦于在线课程基本要素的设计与开发的质量特征，主要体现在线课程设计与资源环境的科学性、合理性与内在品质，是课程设计与资源环境符合育人需求、教育教学规律、学科逻辑与课程技术规范的程度。实施运行质量要素组聚焦课程教学运行投入、成效与发展方面的质量特征，不仅体现了课程教学组织实施成效与发展潜力，而且是对课程设计与开发质量的检验。在要素界定中，设计与开发要素组围绕在线课程基本要素展开，实施运行要素组则从服务与系统的质量观出发兼顾实施过程、学习成效、社会影响和课程发展等质量因素。
研究定义的三个核心要素与已有研究结果也存在一定差异。在已有研究中，学习支持和教师因素是较为共识的关键要素（白滨， 等， 2014; 黄璐， 等， 2017），但是这两个要素都没有被定义为核心要素。在本研究中，相比学习支持，三类群体更重视学习内容的质量。这与当下竞争日益激烈的在线教育市场服务质量整体提升、不断成熟的教育用户更关注課程内容价值使得内容成为核心竞争力有关。本研究获得的质量框架将教师质量整合到设计与实施运行等教师工作相关要素中，而课程内容和实施效果要素被定义为核心要素，也间接反映了教师对于课程质量的重要性。
（三）研究局限与未来工作
由于研究条件的限制，本研究的研究样本规模仍然有限，虽然某种程度达上到了质性研究的“信息饱和”，但这种饱和只是一种理想状态，因为受访者数量和地域、来源等限制，所以无法保证各节点完全饱和（胡姣， 等， 2019）。因此，后续研究将进一步扩展三类群体的访谈规模，并调查政府主管部门和在线教育机构管理者等其他在线课程价值主体，论证和完善本研究获得的质量观与质量要素。
[参考文献]
白滨，陈丽，斯蒂芬·J. 斯威森比. 2014. 英国开放大学质量保证关键要素研究[J]. 开放教育研究，20（1）：29-34.
陈冰冰. 2014. MOOCs课程模式：贡献和困境[J]. 外语电化教学（3）：38-43.
陈丽，沈欣忆，万芳怡，郑勤华. 2018. “互联网+”时代的远程教育质量观定位[J]. 中国电化教育（1）：15-21.
陈向明. 1999. 扎根理论的思路和方法[J]. 教育研究与实验（4）：58-64.
程凤春. 2005. 教育质量特性的表现形式和内容——教育质量内涵新解[J]. 教育研究（2）：45-49，67.
丁新，马红亮. 2003. 构建全面多元的远程教育质量观[J]. 中国远程教育（19）：72-76.
丁新，武国志. 2005. 远程教育质量：一种服务的观点[J]. 中国远程教育（3）：14-15.
范逸洲，王宇，冯菲，等. 2014. MOOCs课程学习与评价调查[J]. 开放教育研究，20（3）：27-35.
国家质量技术监督局. 2001. 中华人民共和国国家标准：质量管理体系标准[Z]. 北京：中国标准出版社.
胡姣，张文兰，陈思睿. 2019. 大学生碎片化学习中注意力失焦归因研究——基于扎根理论的质性分析[J]. 电化教育研究，40（12）：36-43.
黄慧. 2017. 混合式学习环境下大学生在线学习参与度提升策略研究[D]. 上海：上海师范大学数理学院.
黄璐，裴新宁，朱莹希. 2017. MOOCs课程质量影响因素的实证研究[J]. 现代远程教育研究（5）：78-86.
教育部教育信息化技术标准委员会. 2002. 网络课程评价规范[EB/OL]. [2012-02-16]. http：//www.celtsc.edu.cn
教育部. 2019. 我国上线慕课达到1.5万门 慕课促进东西部高校教学资源共享[EB/OL]. [2019-11-25]. http：//sodo.eol.cn/archives/103143
李平，郭慧珍，张小可. 2000. 现代远程教育专家访谈 教学与管理篇[J]. 中国远程教育（10）：6-12.
李青，刘娜. 2015. MOOC质量保证体系研究[J]. 开放教育研究，21（5）：66-73.
李运福，杨晓宏，周效章. 2018. 我国在线课程评价研究热点可视化分析与启示[J]. 中国远程教育（7）：70-78.
刘义光. 2004. 远程教育的系统质量观[J]. 中国远程教育（9）：22-24.
马瑞. 2018. xMOOCs教学效果的评价指标体系构建研究[J]. 中国信息技术教育（8）：60-66.
潘绥铭，姚星亮，黃盈盈. 2010. 论定性调查的人数问题：是“代表性”还是“代表什么”的问题——“最大差异的信息饱和法”及其方法论意义[J]. 社会科学研究（4）：108-115.
钱玲，徐辉富，郭伟. 2019. 美国在线教育：实践、影响与趋势——CHLOE3报告的要点与思考[J]. 开放教育研究，25（3）：10-21.
邱均平，欧玉芳. 2015. 慕课质量评价指标体系构建及应用研究[J]. 高教发展与评估，31（5）：72-81，100.
全国信息技术标准化技术委员会. 2018. GB/T 36642—2018 信息技术学习、教育和培训在线课程[S]. 北京：中国质检出版社.
沈欣忆. 2005. 我国高等远程教育质量保证标准的研究[D]. 北京：北京师范大学教育学部.
童小素，贾小军. 2017. MOOC质量评价体系的构建探究[J]. 中国远程教育（5）：63-71，80.
王洁，王丽清. 2018. 多特征关键词提取算法研究[J]. 计算机系统应用，27（7）：162-166.
王璐，赵呈领，万力勇. 2017. 基于扎根理论的在线开放课程质量评价指标体系构建研究——以国家精品资源共享课为例[J]. 中国远程教育（11）：70-76.
王念祖. 2018. 扎根理论三阶段编码对主题词提取的应用研究[J]. 图书馆杂志，37（5）：74-81.
王淑娟，沈继红，朱磊. 2019. 基于在线开放课程平台数据对MOOC完成率计算的思考[J]. 智库时代（19）：216-217.
赵世平，戎锦. 2005. 远程教育质量控制的思考[J]. 中国远程教育（8）：21-22.
朱立明，刘俊强. 2005. 对现代远程教育质量观及质量保证的探讨[J]. 现代远距离教育（3）：15-17.
祝智庭. 网络远程教育的服务质量管理——走向标准化的思路. [DB/OL]. [2007-10-17]. http：//www.cmr.com.cn/distance/netdepart/3-1
Adelstein， D.， & Barbour， M. K. （2017）. Improving the k-12 online course design review process： experts weigh in on inacol national standards for quality online courses. The International Review of Research in Open and Distributed Learning， 18（3）.
Downes， S. （2013， February）. The quality of massive open online courses. Retrieved December 30， 2015， from https：//www.routledgehandbooks.com/doi/10.4324/9781315760933.ch4
Quality Matters Program. （2019）. Course Design Quality Matters Rubric Standards. Retrieved November 25， 2019， from https：//www.qualitymatters.org/qa-resources/rubric-standards
Strauss， A. （1987）. Qualitative analysis for social scientists. Cambridge： Cambridge University Press.
Twigg， C. （2001）. Quality assurance for whom？ Providers and consumers in todays distributed learning environment.
Yousef， A. M. F.， Chatti， M. A.， Schroeder， U.， & Wosnitza， M. （2014）. What Drives a Successful MOOC？ An Empirical Examination of Criteria to Assure Design Quality of MOOCs. 2014 IEEE 14th International Conference on Advanced Learning Technologies. IEEE.
收稿日期：2019-11-25
定稿日期：2019-12-31
作者简介：李爽，博士，副教授，硕士生导师;李梦蕾，硕士研究生;赵宏，博士，副教授，硕士生导师。北京师范大学教育技术学院（100875）。
责任编辑 韩世梅
