大学英语听说网络课程有效性评价指标体系建构研究
李静 高国元
摘 ?要 在综合分析国内外关于大学英语听说网络课程评价体系及相关领域研究成果的基础上，采用层次分析法（AHP）确定大学英语听说网络课程质量因素的评价指标维度，并根据文献分析确定各项指标的初始权重。在此研究基础上，邀请15位国内外语及教育技术专家采用特尔斐法（Delphi Method）进一步确定各项指标维度及权重，形成大学英语听说网络课程的总结性评价指标体系。
关键词 英语听说课程;网络课程;总结性评价;评价指标维度
中图分类号：H319.1 ? ?文献标识码：B
文章编号：1671-489X（2019）16-0005-04
Construction of Summative Evaluation Index System for Web-based University English Listening and Speaking Course//LI Jing， GAO Guoyuan
Abstract Based on the study of domestic and foreign web-based English learning evaluation and its relevant research outcome， a
proposal of a general summative evaluation index system for web-
based university English listening and speaking course is put for-
ward. By means of Analytic Hierarchy Process （AHP）， the delamina-
tion model of English course quality factors and initial weight of each evaluation index is proposed. Then， by Delphi Technique， the rationality of index and index weight design are further analyzed and validated. And finally according to research outcome， a general summative evaluation index system for web-based English listening and speaking course is developed.
Key words English listening and speaking course; Web-based course;
summative evaluation; evaluation index
1 研究背景
我国目前的研究中关于网络教学的经验性研究比较多，对有效性评估的根本性研究比较少。很多学者从网络课程的特点来探讨怎样提高英语网络课程的有效性，如金花漫（2006）认为应该遵循网络课程的特点来进行教学[1];尹振宇（2011）则通过学校的实证研究来积极地引导学生，通过网络上的学习能够获得较好的教学效果[2];还有一些研究者通过教学实验来验证英语学习中网络教学的效果，如石萌萌（2010）、钟宏文（2011）都是利用教学效果描述来证实网络教学在英语学科教学中的有效性[3]。然而，针对英语网络教学的有效性评估和真实效度如何的研究较少。少数研究者如崔晓霞（2009）对英语网络课堂教学策略教师感知度进行了研究[4]，王秀英（2012）研究了现代远程教育模式下的成人英语教学的有效性[5]，这些研究都为英语网络教学的效度研究提供了有益借鉴。
相关文章中对教的效果关注较多，而对学的效果关注较少，也就是说，多数研究者探讨了网络环境如何促进英语课程的教学，虽然也反映在学生的学习上，但对学生英语综合能力的系统性分析较少。关于效度（Validity）的研究也并不多，在这些研究中，Carol A. Speth（2007）提出应用ASSIST量规进行网络教学评价的方法[6]，Kum Leng
Chin（2003）探讨了应用特尔斐法（Delphi Method）进行E-learning效度研究的思路[7]。
2 研究问题
本研究始于对网络英语课程评估的关注，尽管国内外学者对此已有相应研究，但研究各有优缺点。国外网络课程评估指标维度较细化，条目具体，涉及内容详细，但指标维度没有分级，层次性不强。而且国外课程评估体系很少设定评价权重，使得评估者难以给出具体分值。国内评价指标维度进行了分级，而且一般分为三级，并设定了评价权重便于评估者打分，但国内指标维度过于笼统，条目不够具体。因此，本研究將综合国内外评价指标体系的优点，重点解决两大问题：一是建构内容详细的评价指标维度并进行分级;二是设定评价权重。
鉴于英语课程种类繁多，设计理念不同，评价标准也不同，本研究旨在为大学英语听说网络课程建构评价指标体系。
3 研究方法
本研究采用特尔斐法对所制定的英语听说网络课程总结性评价标准进行专家评议，建立共识，以保证标准的合理性、代表性、权威性。特尔斐法的一般流程为[8]44-60：预测问题的确定，并选择专家组;制定与发送第一轮调查问
卷;回收第一轮调查问卷并整理结果;将第一轮调查问卷的统计结果附在第二轮调查问卷上，发送给第一轮调查问卷的专家组;收回第二轮调查问卷，整理结果;如果专家的意见差异比较大，则进行第三轮、第四轮问卷调查，在不断地反馈与修改中使专家意见趋于一致而获得最终的结果;处理调查结果。
邀请15位专家组成本标准的评议专家组，包括国内著名教育技术学专家或曾经在网络课程评价、CAI课程评价上有专门研究的教育技术专业研究人员，国内著名的语言学专家。评议专家覆盖了山东、广东、上海、浙江、江西等地区。在评议过程中，专家组成员是非常稳定的，这为获得可靠的调查结果提供了保证。
4 研究步骤及结果
英语听说网络课程总结性评价指标维度的初步确立 ?为了对英语听说网络课程评价成果有客观评价，充分调研国内外在不同时期从不同角度比较有代表性的课程评价标准。然后，通过对评价标准逐层筛选，根据中外文化的不同，分析评价指标各个选项之间的差异并分析原因，对中外标准中的重复项、不充分的选项以及矛盾项进行重点调整。还参照K12教育教学网课程评比标准（2002）、北外英语网络课程评比标准等国内外数个网络英语课程评比标准，采用层次分析法形成初步的英语听说课程总结性评价指标体系框架。
层次分析法是一种定性和定量相结合，系统化和层次化的分析方法，它的目的是建立层次结构模型[9]。根据层次分析法，初步的评价指标体系共分三级，其中一级指标四个维度，二级指标25个维度，三级指标33個维度;一级指标是评估的核心，二级、三级指标是对一级指标的细化说明。一级指标的四个维度分别为教学内容、教学特征、信息呈现和课程操作。教学内容指的是课程内容的组织结构和学术质量，是决定课程质量的关键因素。教学特征是决定课程质量的关键要素，指课程的目标、授课过程以及测试方法是否合理。课程操作指技术的可靠性、稳定性，是课程的前提和保障。信息呈现一般指学习者在学习过程中与课程之间的信息交流设计方式，简单顺畅的信息交流是另一个决定课程质量的要素。在确定了一级指标的四个维度的基础上再对其进行细化，分出二、三级指标。各标准的描述方式如表1所示。
专家组对评价指标维度进行评议 ?本研究的第二阶段就是专家组用特尔斐法及主流意见法对初步制定的网络英语听说课程评价指标维度进行评议，达成共识，保证制定标准的代表性、合理性以及权威性。
1）第一轮专家评议。第一轮评议的标准包括两个方面：①各项评价指标描述的明确性，也就是各项评估指标的描述是否非常清晰明确，本研究采用李克特的四点量表进行评估;②各项评价指标的必要性，也就是评议各项评价指标是否能体现相应评价维度的质量特征，是否作为独立的指标被纳入英语课程总结性指标体系。各评价指标一般有A、B、C、D四个备选项：A—必需，代表这项评价指标是必不可少的、不可替代的，作为必需标准;B—建议，代表这项评价指标并非不可替代，但是它对有效的英语课程评价也是意义重大的，成为建议性标准;C—合并，代表本指标有一定的意义，但不足以作为独立标准，可以合并到其他项目中;D—删除，代表本指标很小或者完全没有必要，可删
除。此外，如果专家还有别的不同意见，可以填在最后的“添加”栏内。第一轮调查表如表2所示。
2）第一轮评议结果及修订。通过分析第一轮专家调查问卷结果，发现从总体上看，专家认为各项指标维度的描述是很明确的，所有指标的明确性都得4分（最高分）;但在评价指标必要性这一点上，专家意见不一。为了达成主要意见，主要应用主流意见法，即各个指标的同意度达到60%或者60%以上的为主流意见[10]。结果显示，专家对一级指标的四个维度100%认同，但对二级指标的25个维度有不同意见。二级指标的25个维度中有包括“科学性”“准确性”等在内的16个维度得到80%以上的主流意见。同时，70%的专家认为应删除维度“先进性”;90%的专家认为应删除维度“兼容性”;70%的专家认为维度“学习向导”“容错性”可以合并到其他维度;60%的专家认为维度“教学交互”可以合并到其他维度;80%的专家认为维度“帮助设计”可以合并到其他维度;70%的专家认为维度“课程内容”中应添加“语言材料的真实性”等。
3）第二轮专家评议及结果。根据第一轮评议结果，对初步的评价指标维度进行修改，修改的主要内容是关于指标的必要性，即增加、删除、合并一些指标维度。经过修改后，评价指标体系中的一级指标不变，仍是初步建构的四个维度;二级指标由25个维度缩为23个维度;三级指标由33个维度增加到43个维度。
然后，本研究进行第二轮问卷调查，问卷结果的统计数据显示，专家组对第二轮问卷的评价指标维度总体认可。专家除了对二级指标中的“练习设计”“反馈”“媒体选择”三项的三级指标维度有异议外，其他的二级和三级指标维度都达到60%以上的主流意见。结果显示，90%的专家认为二级指标维度“练习设计”中的三级指标维度“练习辅助于教学内容”与“提供练习”应合并;90%的专家认为二级指标维度“反馈”中的三级指标维度“学习者被礼貌地告知回答正确或错误”“学习者出错时进行友好提示”与“学习者出错时为学习者提供改正答案”应合并;70%的专家认为二级指标维度“媒体选择”中的三级指标维度“合理运用多媒体辅助语言学习”与“多媒体使用协调”应合并。
在第二轮专家评议的基础上对部分评价指标维度进行修改，这样就确定了英语听说网络课程总结性评价的指标维度。该评价指标维度共包括三级，一级指标四个维度，二级指标23个维度，三级指标39个维度。
将评价指标权重发给专家组评议 ?权重指的是对某一个评价指标在网络英语听说课程评价指标体系中的地位和作用进行衡量的数值，是评价指标体系中各项指标在实现、完成整体目标中的贡献程度，也被称为权数[8]60-67。如果评价指标的权重大，那么评价值的变化对结果的影响也就大，反过来就小。只有科学地确定各项指标的权重，才能合理地进行评价和分析。经过反复研讨，各选项（三级指标维度）的权重分配为：分值从1分到4分不等，根据文献分析哪个指标维度最重要，哪个次之，哪个第三重要;次序确定后，给出每个指标维度的权重值，1≤a≤4，所有39项指标维度的权重总分为100分。
本研究在通过分析检索到的文章建构初步的总结性评价指标维度的同时，还根据检索结果给出各指标维度的建议权重，而后采用特尔斐法（见表3）。专家如果对建议权重有不同看法，可给出理想权重。
在统计第一轮权重调查表结果时，要以下面两个量数为基准。
1）求出每一个评价指标维度权重系数的平均估计值。
Wi=1/n∑Wij
式中，Wij为第j个专家对第i项指标维度权重系数的估计值（i=1，2，…，m;j=1，2，…，n）。
2）算出每一位专家的权重估计值Wij与平均估计值Wi的偏差Δij，Δij=Wij-Wi，如果Δij≤0.5，则指标维度权重通过认证。
通过第一轮调查的统计分析，39项指标维度中的25项权重偏差Δij≤0.5，其他如“語言材料的真实性”“语言学习目标”等14项未通过认证。
将统计出的两个量数及说明添加在第二轮调查表中，请专家根据第一轮的统计结果和评价体系的初始权重进行第二次评估（见表4）。第二轮结果显示所有专家的每项指标维度的权重偏差值Δij≤0.5，即每位专家的权重估计值与平均估计值的偏差≤0.5。至此，最终确定每位专家的理想权重值，并演算出每个指标维度的平均权重值，即为最终权重值。
5 结语
本研究在国内外研究成果的基础上，通过特尔斐法和层次分析法，为英语听说网络课程建构总结性评价指标体系（见附表）。该体系共包含一级指标四个维度，二级指标23个维度，三级指标39个维度。三级指标39个维度权重总分100分，每项最高分4分，最低分1分。本研究为英语听说网络课程的评估提供了科学依据和具体操作步骤，避免网络课程选择的随意性和盲目性;也为英语听说网络课程的研发机构和厂家提供了一套评价工具，帮助提高课程质量。因此，本研究对于助学型英语听说网络课程的生产者和使用者都具有重要的实践意义和应用价值。
参考文献
[1]金花漫.从网络课程的特点谈如何提高大学英语网络课程教学的有效性问题[J].高教研究：西南科技大学，
2006（1）：22-23.
[2]尹振宇.网络环境下大学英语教学评价模式的有效性探索[J].读与写：教育教学刊，2011（7）：31-32，143.
[3]石萌萌.基于网络的大学英语多媒体技术教学模式对培养大学生自主学习英语能力有效性的研究[J].疯狂英语：教师版，2010（4）：51-52，83.
[4]崔晓霞.英语网络课堂教学策略教师感知度实证研究：对影响英语网络课堂教学及其绩效的因素分析[J].外语电化教学，2009（2）：38-43.
[5]王秀英.成人英语教学有效性的调查与研究：以电大开放英语及大学英语B网络统考教学为例[J].内蒙古电大学刊，2012（3）：92-94.
[6]Speth C A， Namuth-Covert D M， Lee D J. Using the ASSIST Short Form for Evaluating an Information Tech-
nology Application： Validity and Reliability Issues
[J].Informing Science，2007（10）：107.
[7]Chin K L， Kon P N. Key Factors for A Fully Online E-Learning Mode： A DELPHI Study[J]. Interact， 2003.
[8]程书肖.教育评价方法技术[M].北京：北京师范大学出版社，2003.
[9]Popham W J. Educational Evaluation[M].USA： Pren-tice Hall，1998：45.
[10]滕霞，段崇江，张建伟，等.网络课程评价标准的研制[J].现代教育技术，2003（1）：5-11.
