课程内容标准与试卷一致性分析工具的比较研究

2024.05.03

王政

摘要：比较韦伯模式、SEC模式、成功模式的框架与分析过程，分析国外一致性分析工具优缺点和适用情况，提出国外的一致性分析模式的使用建议。

关键词：分析工具; 一致性; 比较研究

中图分类号：G40-011.8 ? ? ? ? ?文献标识码：A ? ?文章编号：1006-3315（2019）06-153-001

教育行政部门规定课程内容标准是教材编写，教学实施以及考试评价的依据。目前我国现行的教材是一纲多本的情况，即以教育部颁发的课程标准为依据，编写适合不同地区的教材。以往研究大多关注教学实施的过程，对不同版本的教材研究成果也颇为丰富，但对试卷是否很好的符合课程标准的检验工具的研究相对较少，国外的一致性检验工具如SEC模式、韦伯模式是为了检验与之对应国家的试卷一致性水平而开发的，与国内试卷的结构、认知水平差异较大，直接套用会带来较大的误差。因此一致性分析工具的本土化和开发适合本国国情的分析工具是十分必要的。

1.Webb模式

Webb即韦伯模式是美国学者诺曼·韦伯于上世纪90年代提出的一致性检验工具。韦伯模式是最早的一致性检验工具，不得不说韦伯模式之后的一致性分析工具都不同程度的受到了韦伯模式的影响。韦伯建议使用金字塔模型，从上到下分别为：学习领域、主题目标、底层为具体目标。韦伯将一致性分为五个方面，分别是：内容的集中性，公平与公正，年级和年龄的吻合性，教学意义，评价系统的适用性。该模式从知识主题和认知要求两个维度描述一致性。经过发展，韦伯将重心放在了知识层面的一致性，并提出以下四个维度：知识广度，知识深度，知识种类和知识分布平衡性。

知识广度衡量试卷中所有知识范畴和知识门类与标准所要求的知识范畴和门类是否一致。知识深度衡量试卷与标准中知识的程度和目标是否一致。知识种类衡量试卷中要求的学习范畴和标准中的学习范畴的一致性程度。知识分布的平衡性衡量试卷中具体项目是否分布合理。每一个维度的一致性根据内容标准的评价，都分为完全一致，基本一致以及不一致。

韦伯模式的好处是能够对试卷所考察到的所有知识做出定性分析，但韦伯模式也有局限性。利用韦伯模式检验分值在60分以上，且选择题居多的试卷得出的一致性结果信度较好。而国内的考试，尤其是高中物理等理科的试卷结构会与韦伯模式出现“水土不服”的情况。有研究者提出调整试卷结构，使之符合韦伯模式，但改变试卷结构则会降低一致性检验的信度与效度。

2.SEC模式

SEC模式（Survey of the Enacted Curriculum）是安德鲁·帕特和约翰·史密在韦伯模式的基础上开发的实践课程调查模式。安德鲁·帕特认为知识深度的一致性能够全面分析评价和课程标准的一致性。他们二人通过构建知识种类×认识水平的二维矩阵，分别对课程内容标准和试卷内容进行编码，统计各个知识点在课程标准和试卷中出现的次数和认知要求，并做归一化处理，比较两个二维矩阵的一致性程度而得出结论。安德鲁·帕特以自己的名字命名了一致性系数即帕特系数。帕特系数的计算公式为

其中，X表示一个单元中的评价比例，Y表示另一个单元中的评价比例。这里X表示课程标准二维矩阵中每个元素所占比例，Y表示试卷二维矩阵每个元素所占比例。一致性系数从0～1表述完全不一致到完全一致。一般认为一致性系数和一致性程度成正比，一致性系数越大，试卷和课程标准符合的就越好，反之则一致性程度越差。SEC模式能够量化一致性程度，解决了韦伯模式仅能定性描述一致性的弊端。SEC一致性分析模式适用的范围广，但SEC模式也有不足之处。在对课程内容标准编码时，编码者的意见较为统一，因此内部一致性较高，保证了对课程标准编码的信度。但编码者对同一道试题的解读则会出现分歧，SEC模式的关键在于构建知识主题×认知水平的二维矩阵，而对试卷编码的误差会被帕特系数的计算公式放大，得出不准确的结果。因此利用SEC模式检验试卷与课程标准的一致性时，必须保证编码者对试卷编码的内部一致性，得出结果才有意义。

3.Achieve模式

Achieve模式也叫作成功模式。Achieve模式由美国非营利性教育研究组织Achieve的负责人罗伯特和斯莱特发明。Achieve模式的检验步骤概括为以下三个步骤：第一步，检查试卷题目与课程内容标准的匹配程度，主要是集中在知识目标和认知水平两个方面。第二步，对试卷题目的挑战性进行判断，包括每个题目的挑战性和试卷整体的挑战性判断。第三步，判断试卷的平衡性，即课程内容标准中的知识点是否在试卷中命中试题。Achieve模式的三步走分别从向心性，均衡性和挑战性描述了一致性水平。

鉴于Achieve模式的微观性质，Achieve模式分析的维度更多，结果更加综合，对于测试编制问卷，课程内容标准的编写均有指导意义。但该模式的一致性分析结果还停留在定性的描述分析结果上，人们只能从分析结果上得到大体的有关一致性的认识，而不能通过分析结果进行横向比较和纵向比较。

以上是国外应用比较广泛的一致性分析工具，每个模式各有侧重，适用于不同的情况。韦伯模式对于知识的一致性分析较为全面，但更加注重知识层面的考察，忽略了课程标准中体验性课程与实践性课程的一致性分析。它对于样本的试卷结构要求特殊，恰好国内的考试形式与韦伯模式的使用条件符合的不够好。SEC一致性分析模式是唯一能够将一致性量化统计的工具，因此利用SEC模式得出的一致性研究结果有较强的说服力，但SEC模式是以知识点出现的次数为变量进行统计的，频数的大小难以反映试卷考察的知识深度与知识平衡性。Achieve模式是最新的一致性檢验工具，但其终究没有摆脱对统计结果的定性描述，因此一致性检验工具的本土化是新的研究方向。