对口支援课程建设下的跨校域课程联考分析方法
姚敦红 陈宇
[摘 要]课程联考是对口支援课程建设的一种手段，为分析跨校域联考课程的试卷质量及考试可信度等评价系数，课题组改进了传统试卷难度、区分度和可信度分析方法，设计了一套跨校域联考试卷分析方法，实现了跨校域联考试卷质量分析和结果可信分析。分析结果表明，基于该方法能准确得出跨校域联考课程的综合难度、区分度和可信度系数，可用来检验对口支援课程建设的成效。
[关键词]跨校域；课程联考；难度；区分度；可信度；成效评价
[中图分类号] G64 [文献标识码] A [文章编号] 2095-3437（2017）05-0033-03
为加快湖南偏远地方高校的建设，提升办学综合水平，湖南省教育厅于2010年12月正式成文明确了相关对口支援单位，其中湖南农业大学对口支援怀化学院。跨校的高等教育理念可促进教育从封闭、集权化走向开放与合作。在这种背景下，湖南农业大学信息科学技术学院成为怀化学院计算机科学与工程学院的对口支援单位，协助提升懷化学院计算机科学与工程学院的各项建设。
因此，针对跨校课程联考的试卷质量及考试情况分析，以及为检验对比近年来在对口支援建设中的受援单位课程建设的成效，将采用一种改进的跨校域联考难度、区分度与可信度分析的方法，分析由湖南农业大学信息科学技术学院（以下简称“农大”）、吉首大学信息科学与工程学院（以下简称“吉大”，主动加入课程联考）和怀化学院计算机科学与工程学院（以下简称“怀院”）共同构建的联考（以下简称“三校联考”）机制下的课程联考成效，检查对口支援课程建设的成果。
一、课程联考情况
本文将三所高校2013级、2014级学生高级语言程序设计课程联考的试卷与考试情况做一个综合分析，以此来衡量对口支援课程建设的成效。
考前，根据高级语言程序设计三校课程联考实施方案的具体步骤，事先规范考试大纲和知识点，确定考试范围。为能体现动手编程实践能力，三校一致认同考试试卷由理论试卷与实践试卷两种类型组合构成，采用轮换交替机制进行出题，实施教考分离。对于理论测试与实践测试，三校均采用无纸化考试平台同时进行。考后，高级语言程序设计“三校联考”两部分考试基本数据情况如表1、表2、表3所示：
二、跨校域联考课程分析方法
（一）试卷难度分析
为能体现跨校域联考课程试卷难度系数，不能仅凭某一所学校的考试结果单独确定难度系数，应综合权衡三校难度作为整体试卷难度系数，同时，还需综合权衡理论考试与实践考试的难度系数。因此，在已知三校各自的理论与实践考试平均成绩与参考人数的情况下，“三校联考”的试卷总难度P可按公式（1）计算得出：
其中 N、 J和 H分别表示农大、吉大和怀院的理论考试平均成绩， N、 J和 H分别表示农大、吉大和怀院实践考试平均成绩，SN、SJ和SH分别表示农大、吉大和怀院参考学生数，W表示试卷满分值。P值越大表示试卷整体难度越小，根据教育测量学，要求试卷难度P值一般在0.4-0.7之间为宜，过高或过低表示试卷难度偏小或偏大，不利于体现考试的可信度。
（二）试卷区分度分析
区分度可以用来作为检测每道试题设置是否合理有效的评价指标，或用来作为评价试题质量高低的依据。根据伊贝尔测量学的经验表明，区分度在0.4以上表示此题区分度很好，小于0.19表示不好，应放弃该题。在此，结合“三校联考”的特点，特从各校的理论与实践试题按题序、分年级和跨校域综合考虑试卷的区分度，用以分析联考试卷的质量。区分度采用改进的鉴别指数法进行，使用公式（4）计算出整套试题的综合区分度D？缀（0，1）：
N为理论与实践试卷总试题数，DNi、DJi、DHi分别表示农大、吉大和怀院的第i题区分度，该区分度由公式（5）计算得出：
其中 PHi表示高分组（最高的27%）的得分率， PLi表示低分组（最低的27%）的得分率。
（三）考试信度分析
为检测“三校联考”试卷的考试结果对于三所学校的可信度，采用克伦巴赫（L.J.Cronbach）系数估计方法先对三所学校的联考试卷做各自的系数计算，然后按公式（6）计算出平均值作为“三校联考”试卷的α？缀（0，1）系数：
α 值越大，表明试卷测试结果越可信，其中αN 、αJ 和αH分别表示农大、吉大和怀院的试卷α系数，可根据克伦巴赫α系数估计方法计算得到：
N为理论与实践试卷题目总数，DM（X）为M校的所有考题总得分的方差，DM（Xi）为M校第i题得分的方差。
三、联考结果分析
（一）联考结果
采用上述方法，分析了从无纸化考试平台导出的各年级考试结果数据，经过统计计算，将结果使用直方图、折线图加以可视化处理，得到两次联考试卷难度系数（P），如图1所示：
从图中可以看出，两次“三校联考”的各校难度系数及总体难度系数均在合理区间，且2014级的试卷难度较2013级要低些。得到两次“三校联考”试卷总的区分度（D），如图2所示：
从图2可以看出，两次“三校联考”试卷总体区分度均在理想值范围，具有较好的区分能力，使用联考试卷进行考试能将不同水平的学生区分开来。
2013级理论试卷41题，实践试卷8题，共49题，2014级理论试卷39题，实践试卷8题，共47题，经运行算法程序，得出如图3所示的两次“三校联考”各校与总体测试信度的系数。
从图3可以看出，各校及综合的α系数值均大于0.7，表明考试可信度高。
图4为受援单位怀化学院计算机科学与工程学院两次联考的平均分与及格率的对比图：
从图4可以看出，在对口支援课程联考机制下，怀化学院计算机科学与工程学院的高级语言程序设计课程建设成效显著得到提升，特别是在理论教学上提升的效果较为明显。
（二）综合评价分析
联考试卷质量的好与差，不能单一的看综合难度或综合区分度，应该由难度与区分度两个指标共同确定。根据文献中的经验表明，当P>0.5且D>0.15时为好试卷，当P<0.5且D>0.15时为适用卷，当P>0.5且D≤0.15时为一般卷，当P<0.5且D≤0.15时为差试卷。对于一般的探索性测试结果研究，只需要克伦巴赫系数在0.7以上，可被认为结果是信度的。按此规则，从图1、图2和图3可以清晰看出，两次“三校联考”试卷均为好试卷，并且结果是可信的。
四、结语
“三校联考”是对口支援课程建设的重要手段之一，为分析联考试卷的质量、可信度以及检验对口支援下课程建设成效，设计了一套用于跨校域的试卷分析方法，成功地实现了分析联考课程试卷的难度、区分度等质量指标系数，以及考试结果可信度系数。分析结果表明，基于改进的跨校域分析方法能正确得到相应的分析结果，可作为一种衡量协同共建课程成效的方法。
[ 参 考 文 献 ]
[1] Dunn P. SPSS survival manual： a step by step guide to da？鄄ta analysis using IBM SPSS[J]. Australian & New Zealand Jour？鄄nal of Public Health，2013（6）：597-598.
[2] 孙居锋， 王春华， 侯桂革. 药物合成反应考试试卷分析[J].大学教育，2015（8）：150-151.
[3] 张春辉，席卫文，陈戈煜，等.卓越医学本科教育的课程考核方式改革研究[J].中国高等医学教育，2011（1）：22-24.
[4] 王刚，任汝静，杜敏，等.医学生神经病学课学习态度量表的编制及效信度评价[J].医学教育探索，2009（7）：802-806.
[5] 冯艳宾，马洪超.关于经典测量理论和项目反应理论中难度和区分度的探讨[J].中国考试，2012（4）：10-14.
[6] 何明高，吴福根.对试题和试卷质量的分析——考试质量分析专用软件介绍[J].教育探索，2001（2）：31-32.
[责任编辑：钟 岚]
[摘 要]课程联考是对口支援课程建设的一种手段，为分析跨校域联考课程的试卷质量及考试可信度等评价系数，课题组改进了传统试卷难度、区分度和可信度分析方法，设计了一套跨校域联考试卷分析方法，实现了跨校域联考试卷质量分析和结果可信分析。分析结果表明，基于该方法能准确得出跨校域联考课程的综合难度、区分度和可信度系数，可用来检验对口支援课程建设的成效。
[关键词]跨校域；课程联考；难度；区分度；可信度；成效评价
[中图分类号] G64 [文献标识码] A [文章编号] 2095-3437（2017）05-0033-03
为加快湖南偏远地方高校的建设，提升办学综合水平，湖南省教育厅于2010年12月正式成文明确了相关对口支援单位，其中湖南农业大学对口支援怀化学院。跨校的高等教育理念可促进教育从封闭、集权化走向开放与合作。在这种背景下，湖南农业大学信息科学技术学院成为怀化学院计算机科学与工程学院的对口支援单位，协助提升懷化学院计算机科学与工程学院的各项建设。
因此，针对跨校课程联考的试卷质量及考试情况分析，以及为检验对比近年来在对口支援建设中的受援单位课程建设的成效，将采用一种改进的跨校域联考难度、区分度与可信度分析的方法，分析由湖南农业大学信息科学技术学院（以下简称“农大”）、吉首大学信息科学与工程学院（以下简称“吉大”，主动加入课程联考）和怀化学院计算机科学与工程学院（以下简称“怀院”）共同构建的联考（以下简称“三校联考”）机制下的课程联考成效，检查对口支援课程建设的成果。
一、课程联考情况
本文将三所高校2013级、2014级学生高级语言程序设计课程联考的试卷与考试情况做一个综合分析，以此来衡量对口支援课程建设的成效。
考前，根据高级语言程序设计三校课程联考实施方案的具体步骤，事先规范考试大纲和知识点，确定考试范围。为能体现动手编程实践能力，三校一致认同考试试卷由理论试卷与实践试卷两种类型组合构成，采用轮换交替机制进行出题，实施教考分离。对于理论测试与实践测试，三校均采用无纸化考试平台同时进行。考后，高级语言程序设计“三校联考”两部分考试基本数据情况如表1、表2、表3所示：
二、跨校域联考课程分析方法
（一）试卷难度分析
为能体现跨校域联考课程试卷难度系数，不能仅凭某一所学校的考试结果单独确定难度系数，应综合权衡三校难度作为整体试卷难度系数，同时，还需综合权衡理论考试与实践考试的难度系数。因此，在已知三校各自的理论与实践考试平均成绩与参考人数的情况下，“三校联考”的试卷总难度P可按公式（1）计算得出：
其中 N、 J和 H分别表示农大、吉大和怀院的理论考试平均成绩， N、 J和 H分别表示农大、吉大和怀院实践考试平均成绩，SN、SJ和SH分别表示农大、吉大和怀院参考学生数，W表示试卷满分值。P值越大表示试卷整体难度越小，根据教育测量学，要求试卷难度P值一般在0.4-0.7之间为宜，过高或过低表示试卷难度偏小或偏大，不利于体现考试的可信度。
（二）试卷区分度分析
区分度可以用来作为检测每道试题设置是否合理有效的评价指标，或用来作为评价试题质量高低的依据。根据伊贝尔测量学的经验表明，区分度在0.4以上表示此题区分度很好，小于0.19表示不好，应放弃该题。在此，结合“三校联考”的特点，特从各校的理论与实践试题按题序、分年级和跨校域综合考虑试卷的区分度，用以分析联考试卷的质量。区分度采用改进的鉴别指数法进行，使用公式（4）计算出整套试题的综合区分度D？缀（0，1）：
N为理论与实践试卷总试题数，DNi、DJi、DHi分别表示农大、吉大和怀院的第i题区分度，该区分度由公式（5）计算得出：
其中 PHi表示高分组（最高的27%）的得分率， PLi表示低分组（最低的27%）的得分率。
（三）考试信度分析
为检测“三校联考”试卷的考试结果对于三所学校的可信度，采用克伦巴赫（L.J.Cronbach）系数估计方法先对三所学校的联考试卷做各自的系数计算，然后按公式（6）计算出平均值作为“三校联考”试卷的α？缀（0，1）系数：
α 值越大，表明试卷测试结果越可信，其中αN 、αJ 和αH分别表示农大、吉大和怀院的试卷α系数，可根据克伦巴赫α系数估计方法计算得到：
N为理论与实践试卷题目总数，DM（X）为M校的所有考题总得分的方差，DM（Xi）为M校第i题得分的方差。
三、联考结果分析
（一）联考结果
采用上述方法，分析了从无纸化考试平台导出的各年级考试结果数据，经过统计计算，将结果使用直方图、折线图加以可视化处理，得到两次联考试卷难度系数（P），如图1所示：
从图中可以看出，两次“三校联考”的各校难度系数及总体难度系数均在合理区间，且2014级的试卷难度较2013级要低些。得到两次“三校联考”试卷总的区分度（D），如图2所示：
从图2可以看出，两次“三校联考”试卷总体区分度均在理想值范围，具有较好的区分能力，使用联考试卷进行考试能将不同水平的学生区分开来。
2013级理论试卷41题，实践试卷8题，共49题，2014级理论试卷39题，实践试卷8题，共47题，经运行算法程序，得出如图3所示的两次“三校联考”各校与总体测试信度的系数。
从图3可以看出，各校及综合的α系数值均大于0.7，表明考试可信度高。
图4为受援单位怀化学院计算机科学与工程学院两次联考的平均分与及格率的对比图：
从图4可以看出，在对口支援课程联考机制下，怀化学院计算机科学与工程学院的高级语言程序设计课程建设成效显著得到提升，特别是在理论教学上提升的效果较为明显。
（二）综合评价分析
联考试卷质量的好与差，不能单一的看综合难度或综合区分度，应该由难度与区分度两个指标共同确定。根据文献中的经验表明，当P>0.5且D>0.15时为好试卷，当P<0.5且D>0.15时为适用卷，当P>0.5且D≤0.15时为一般卷，当P<0.5且D≤0.15时为差试卷。对于一般的探索性测试结果研究，只需要克伦巴赫系数在0.7以上，可被认为结果是信度的。按此规则，从图1、图2和图3可以清晰看出，两次“三校联考”试卷均为好试卷，并且结果是可信的。
四、结语
“三校联考”是对口支援课程建设的重要手段之一，为分析联考试卷的质量、可信度以及检验对口支援下课程建设成效，设计了一套用于跨校域的试卷分析方法，成功地实现了分析联考课程试卷的难度、区分度等质量指标系数，以及考试结果可信度系数。分析结果表明，基于改进的跨校域分析方法能正确得到相应的分析结果，可作为一种衡量协同共建课程成效的方法。
[ 参 考 文 献 ]
[1] Dunn P. SPSS survival manual： a step by step guide to da？鄄ta analysis using IBM SPSS[J]. Australian & New Zealand Jour？鄄nal of Public Health，2013（6）：597-598.
[2] 孙居锋， 王春华， 侯桂革. 药物合成反应考试试卷分析[J].大学教育，2015（8）：150-151.
[3] 张春辉，席卫文，陈戈煜，等.卓越医学本科教育的课程考核方式改革研究[J].中国高等医学教育，2011（1）：22-24.
[4] 王刚，任汝静，杜敏，等.医学生神经病学课学习态度量表的编制及效信度评价[J].医学教育探索，2009（7）：802-806.
[5] 冯艳宾，马洪超.关于经典测量理论和项目反应理论中难度和区分度的探讨[J].中国考试，2012（4）：10-14.
[6] 何明高，吴福根.对试题和试卷质量的分析——考试质量分析专用软件介绍[J].教育探索，2001（2）：31-32.
[责任编辑：钟 岚]
