学生问题解决能力的评价：在线伴随的视角
【摘要】? 信息技术的发展创生出全新的数字化生存环境，这对学生的问题解决能力提出了新要求。当前，学校常采用的“实验测评”“纸笔测试”“情境模拟测试”等评价方式已较难反映学生在数字化环境下的问题解决能力。本文借鉴国际前沿成果，从评价内容、过程以及环境开发等方面分析了问题解决能力评价的发展;设计伴随评价方法，依托在线技术将问题解决能力评价嵌入学习过程;跟踪、收集与分析学生问题解决过程中的指标数据;以评价报告方式反馈学生问题解决过程中的优势与不足，通过实际案例展现“评价”伴随“学习”的实施。
【关键词】? 实验测评;纸笔测试;情境模拟测试;伴随评价;在线学习;能力簇;评价报告;案例应用
【中图分类号】? G420? ? ? ?【文献标识码】? B? ? ? ?【文章编号】? 1009-458x（2019）8-00079-06
问题解决是人们适应生存环境、促进社会创新的一项重要能力。近十年来，信息技术发展创生出全新的数字化生存环境，现实与虚拟空间融合赋予了问题解决能力以新的特征。2012年经济发展与合作组织（OECD）举办的PISA测评采用了基于计算机的测评方式，关注学生在数字化环境下的问题解决能力。相关测评结果显示：尽管我国学生在数学、科学、阅读等方面成绩名列前茅，但在计算机模拟情境中解决问题的实际成绩与期望成绩落差很大，在43个参评国家（地区）中成绩差异量排在第42位（Csapo & Funke， 2017），反映出我国学生在数字化环境下解决问题的能力不足。在新环境下如何改变传统的评价模式，怎样以评价促进学生问题解决能力的提升，这是我国基础教育面临的挑战。
一、学生问题解决能力评价：现状与挑战
问题解决是指人们有目的指向性的一系列认知操作（Anderson， 1980， p. 21），培养学生的问题解决能力已成为学校教育的一项重要内容。对我国学校评价学生问题解决能力的方式进行调研，結果显示，主要有实验测评、纸笔测试和计算机模拟等方式。
（一）“实验测评”方式
在实验测评中，测评者通过设计实验情境，采用过程观察、口头提问、要点记录等方式测评学生在实验情境中解决问题的能力，依据评价标准对学生的问题解决能力做出判断。例如，中学物理课程中“测量定值电阻的阻值实验”，测评人员在物理电路实验情境中观察学生处理实验问题的过程，记录学生解决实验问题的方法与结果，对学生利用物理知识进行问题解决的能力做出判断。“实验测评”方式可以帮助评价者在真实情境中得到学生解决问题过程中的第一手信息，依据直接证据对学生的问题解决能力进行评价，便于将实验测评结果应用于学习过程，及时指导学生学习。但是，在实验测评的过程中，由于评价者主观因素与实验情境的影响，测评结果也存在着较大程度的不确定性。尤其是在评价过程中受限于评价者的个人偏好，评价结果容易出现以偏概全的“晕轮效应（halo effect）”（Popham， 2002， p. 150）。
（二）“纸笔测试”方式
在这种评价方式中，测评者设计指向问题解决的测试题，包括选择、填空、问答、文本描述等题型，通过这些测试题间接反映出学生利用知识进行问题求解的能力。例如：为测试学生利用“勾股定理”解决相关问题的能力，设计一个房梁直角三角形支架的问题情境，已知支架两个直角边长度，分析另一边至少需要多长的材料才能确保支架完成。采用“纸笔测试”方式时，评价者通常对问题解决能力的评价过程和评价内容进行了精细设计，评价结果具有一定的信度和效度，同时也可以进行大规模施测，提高了评价的效率与可操作性。但是受“纸笔测试”条件限制，在问题解决能力评价过程中学生缺少与具体问题情境的互动，所看到的以文本描述的情境性问题主要还是结构良好问题，已知条件与需要达成的结果相对比较清楚，较难反映出学生解决结构不良问题（或情境中变化的问题）的能力。这种评价方式也容易造成“尽管学生知识技能掌握得较好，但是在真实问题情境中应用知识技能的能力却偏弱”的问题。
（三）“情境模拟”方式
为解决现实情境难以创设、纸笔测试又较难真实呈现情境的难题，利用计算机模拟问题解决情境，记录学生在模拟情境中解决问题的过程，按照评价标准对学生相关解决问题的能力进行判断，这是问题解决能力评价的一种新方式。例如：在生物学习评价中，通过计算机系统模拟“草原食物链”情境，学生观察模拟情境，与模拟情境互动，分析食物链中的层级变量，设计保持食物链平衡的方法与策略，解决食物链平衡问题。“情境模拟”方式通过计算机系统能较真实地呈现问题解决情境，为学生提供与情境中各种问题要素互动的机会，学生在解决问题的过程中能比较真实地感受到各类问题的出现及变化，根据解决问题的需要调整策略，从而反映出学生解决问题的能力;计算机系统还可以较为全面地记录学生问题解决的过程，对问题解决中的能力要点进行评价，依据评价结果给出学习建议。当然，受计算机系统和评价软件运行保障等因素影响，“情境模拟”评价更多地还是应用于结果性评价当中，如何将“情境模拟”评价嵌入学习过程当中，怎样通过在线方式及时呈现评价结果，从而指导学习者学习，这些还需要进一步研究。
二、学生问题解决能力评价：趋势与特征
信息技术日益革新、经济全球化深入发展对社会民众在数字环境下的问题解决能力提出了新的要求。针对社会发展要求，对学生问题解决能力的评价也被赋予了新的特征。
（一）问题解决作为“能力簇”的评价
心理学研究认为，“问题”是在事物初始状态和想要达到的目标状态之间存在障碍的情境，问题解决是在具体情境中利用所需的知识技能扫除这些“障碍”（Roberston， 2004）。从知识应用维度来看，问题解决能力可以看作理解、应用与调控知识技能的认知连续体。例如：格拉泽等人从知觉模式、短时与长时记忆、执行能力、表征问题、自我监控等方面的差异分析“专家—新手”解决问题能力的异同，总结出陈述性知识、程序性知识和认知策略等对问题解决能力的影响（邵瑞珍， 1997）。从实施过程（process）维度来看，问题解决能力可以通过界定、分析、设计、实施与反思的行为连续体反映出来。再如：布兰斯福特等人将问题解决划分为五个阶段，即发现（identify）问题与机会、界定（define）目标与表征问题、探索（explore）可能的问题解决策略、预期结果并实施（act on）策略、回顾（look at）与学习，建立了IDEAL问题解决一般过程模型（王小明， 2009）。
可见，无论是从知识应用还是从实施过程维度来看，问题解决能力均表现为一系列能力。尤其是在日趋复杂的数字化环境中，对学生问题解决能力的评价既不应完全脱离学科领域知识而只机械记录应用行为，也不应剥离具体情境而只关注学科领域知识。应设计与学生的学习和生活相关的问题情境，将应用学科（或跨学科）领域知识分析、解决问题等方面的综合素养细化为具体情境中的“能力簇”，学生在渗透了“能力簇”的情境下理解情境并解决问题的过程就反映出相关的一系列问题解决能力。2003年PISA在中学生问题解决能力评价中，通过“问题情境、跨学科知识、问题解决过程”等方面构建了包含问题解决“能力簇”的测试（OECD， 2003）。
（二）“在线伴随”作为能力评价的新特征
近年来，教育评价沿着从“对学习结果的评价（assessment of learning）”到“促进学习的评价（assessment for learning）”再到“评价即学习（assessment as learning）”的脉络持续发展，评价伴随学习过程、通过评价提高学生的学习能力已成为教育评价的一项重要特征（Torrance， 2007）。从评价的功能来看，“在线伴随评价”超越了传统评价的甄别功能，教师可以利用在线评价结果及时指导学生学习。
在线伴随评价的新特征主要表现在：
其一，伴随在线学习历程。在具体实施中，问题解决能力评价可以嵌入在线学习的开始阶段，用以分析学生问题解决能力的基础水平，从而有针对性地向学生提供学习支持，即“以评定学”;可以嵌入在学生学习结束后，用以判断学生的学习成效，为补偿性学习提供证据，即“以评促学”;可以将评价作为学习活动的一部分，学生通过完成问题解决能力评价任务来实现学习，即“以评助学”。“在线伴随评价”贯穿于学习过程的始终，也成为学生在线自主学习的一种管理手段。
其二，采用多样化的伴随评价方式。在在线学习环境下，对问题解决能力的评价可以通过多种方式进行嵌入，可以是静态的（static）问题情境，学生对情境中的问题信息进行分析和解释，以此评价学生的分析、推理、判断等能力;可以是交互式的问题情境，通过学生对交互情境中输入、输出变量的理解，评价学生的问题解决策略;可以通过“可穿戴设备”收集学生解决问题过程中大脑活动的数据，用以评价学生的思考状态。多样的评价形式能更充分地收集学生解决问题时所表现出来的能力证据。
其三，实时呈现伴随评价结果。在在线伴随评价过程中，通过信息技术工具可实时收集、分析有关学生问题解决能力的数据，将分析结果及时呈现出来，用以指导学生的学习。例如：通过在线追踪技术可持续收集学生在解决问题过程中的表现数据;利用数据统计与分析技术可以按照教育评价特征进行数据分析;可以采用可视化方式呈现评价结果并实时反馈（Koc， liu， & Wachira， 2015， p. 7）。
（三）信息技术为开展伴随评价创造了条件
将信息技术应用于问题解决能力的评价有助于丰富教育评价手段，从而将新的评价理念落实到评价实施中。可以利用信息技术创设问题情境、记录过程以及实时反馈评价结果，这些功能都提高了问题解决能力评价的实效。
其一，创设在线问题情境。可以利用多媒体交互技术创设在线问题情境，渗透需要解决的问题，呈现随机变化的问题场景，提供问题解决过程中的交互工具。例如，2012年PISA问题解决能力评价中所设计的“室温控制”问题，利用多媒体交互技术创设控制器、温度、湿度三者之间的要素关系，通过“应用”和“重设”这两个交互按钮，为学生提供探索“空调系统控制规则”的问题情境。
其二，连续记录问题解决过程。在评价问题解决能力的过程中，信息技术工具不仅使得评价形式多样，也可以通过记录学生的应用行为来测量学生在解决问题过程中所采用的认知过程与实施策略，从而判断学生在模拟情境中的问题解决能力。例如，美国自然科学基金支持开发的多媒体交互测试平台（Interactive Multimedia Exercises， IMMEX）将问题解决能力测评过程与测评结果相结合，在学生解决问题的过程中测试平台可记录学生查看某个信息细节的顺序、次数及思考时间，结合学生解决问题的结果绘制问题解决的思维路径图和效率效果图，记录不同学生的问题解决情况（Underdald， Cayetano， & Stevens， 2001）。
其三，全样本描述相关评价指标。通过分析学生解决问题过程中的全样本数据，一方面可以通过可视化方式描述影响学生问题解决能力的关键因素，为教师改进教学策略提供支持;另一方面可以利用学生的学习数据精准刻画每位学生解决问题的情况，支持学生的个性化学习（U. S. A Department of Educaiton， 2017）。例如，可汗学院的在线评价系统对学生解决每个问题的过程都加以记录并进行数据分析，依据数据分析结果向学生个性化推送学习资源和学习建议。利用可视化方式持续描述学生解决问题的过程，进而勾画出学生解决问题过程中的思维过程，可以为判断学生解决问题的能力提供证据。
三、学生问题解决能力评价：伴随方式与策略
在线伴随式学习评价（online accompanying assessment）是指在网络学习环境中将评价内容嵌入学习过程，依据课程目标，伴随学生在线学习历程，有针对性、适时地进行反馈与干预的一种评价方式（李锋， 王吉庆， 2018）。问题解决能力作为在线伴随评价的一项评价内容，在评价设计、在线环境开发和评价结果呈现等方面也都有了新的特点。
（一）界定问题解决“能力簇”
在有关问题解决能力具体表现的研究中，认知心理学家安德森（Anderson， 1980， p. 21）认为问题解决是“指向有目的的问题解决，既表现在心理过程的操作序列上，同时也反映在问题解决的认知操作上”，其观点既反映了问题解决过程中的知识技能应用，也强调了具体的操作过程;奥苏伯尔和鲁宾逊（AuSubel & Robinson， 1969）以“几何问题”解决为原型描述问题解决的模式，他们“不仅描述问题解决的一般过程，也强调原有知识结构在问题解决中的作用”;2003年，PISA在跨学科问题解决测评框架中将问题解决过程和推理技能结合，以此判断学生应用跨学科知识解决问题的能力（OECD， 2003）。IMMEX平台利用“信息空間”与“解题路径”方式构建“问题群”，通过分析学生对情境中“问题群”的处理判断其问题解决能力。可见，在问题解决过程中“知识应用”与“实施过程”是相互交织于问题情境之中的，进而产生不同的能力要求。
从“知识应用”维度来看，既包括学科领域知识技能，也包括跨学科领域知识技能，当然不同学科领域的知识应用也表现出不同的特点。例如，2012年PISA测试在数学领域的内容包括“变化和关系”“空间和图形”“数量”“不确定和数据”四个方面（OECD， 2012）。从“实施过程”维度来看，分析杜威、奥苏伯尔、布兰斯特等对问题解决过程的研究成果可知，问题解决过程主要表现为：分析与界定问题、表征与构思问题、制定与执行策略、检查与反思结果等阶段。结合“知识应用”与“实施过程”两个维度，建立问题解决能力“二维评价结构框架”（如表1所示），其中每一个单元格（或进一步细化的单元格）表示问题解决的不同阶段，学生应用相关知识解决问题所表示出的子能力构成了在线评价的“能力簇”，依据“能力簇”设计与之对应的评价“问题群”。
表1 问题解决能力评价设计的“二维框架”
[实施过程 学科（或跨学科）领域知识与技能 数学领域 科学领域 工程领域 技术领域 …… 分析与界定问题 表征与构思问题 制定与执行策略 检查与反思结果 ]
（二）设计在线伴随评价情境
认知心理学研究表明，“情境”决定人们对事件意义的理解和事件发生的可能性，影响着人们的知觉内容及学习方式（张华， 2000）。在问题解决过程中，“情境”作为呈现问题的载体，可以激发学生应用知识解决问题，有利于系统有针对性地对学生的相关能力做出判断。在在线评价设计过程中，学生自身经验、评价问题和在线环境等因素都影响着评价情境的设计。在线伴随评价设计包括以下步骤：其一，分析学生的背景经验。学生是情境性问题的解决者，情境设计要符合学生的背景经验，与学生原有的认知结构相适应。例如：2012年PISA测试题中设计了“个人情境”的内容，该情境与学生个人的日常活动直接相关，是学生最常体验、具体经验最为丰富的内容。其二，渗透“问题群”。情境中的问题是学生要解决的关键点，依据所需评价的“能力簇”设计“问题群”，通过问题群将评价目标渗透到情境之中，反映出学生解决问题的相关能力。例如：描述微处理器控制的自动售货机自动售货流程的情境，“判断币值的条件是什么”“如何用流程图描述处理过程”“购物失败可能的原因是什么”等问题都反映了相关能力。其三，开发评价环境。在线技术丰富了评价问题解决能力的手段，在媒体呈现、互动手段、作品制作等方面提供了强有力的技术支持，情境呈现形式也更加多样。常见的在线评价情境有静态问题情境、互动问题情境、作品生成情境等。
（三）以报告形式呈现在线评价结果
在线环境为收集、处理和分析与学生问题解决能力相关的信息提供了技术支持。利用在线技术可及时生成学生问题解决能力评价报告、反馈学生的相关信息、有针对性地提供学习指导。例如：“可汗学院”在线学习平台将对问题解决能力的评价嵌入学习过程中，用实时的评价结果调节学生的学习进程。从内容与结构来看，在线评价报告可包括事实描述、能力分析与判断、学习建议等方面。其一，描述学生问题解决能力的事实。依据评价目标，通过在线工具记录与描述各环节中问题解决的过程与结果。例如，学生在问题情境中思考各个子问题的时长、所使用到的信息、问题解决的具体结果等。为使描述内容直观易读，除了采用数据、文本进行描述外，还可根据需要以图表等形式呈现。其二，判断学生问题解决的相关能力。结合评价标准，对学生解决各个子问题的情况进行判断，给出相关能力判断结果。为使结果更具说服力，可采用评价标准、能力表现与结果判断相互对照的方式进行呈现。其三，给出提高问题解决能力的建议。对照学生在问题解决过程中的表现，说明学生相关问题解决能力的“优势”与“不足”，从知识技能实施过程、解决策略等方面给出发展建议，为学生进一步发展提供支持。
四、学生问题解决能力评价：一个在线伴随评价的案例
问题解决能力作为学校教育的一项重要内容，在评价实施方面还存在较多困难。随着信息技术的发展，通过在线工具将问题解决能力评价嵌入学习过程之中，利用情境模拟方式提高测评的真实性，有利于丰富测评手段，提高处理与反馈测评数据的质量。下面提供一个学生问题解决能力在线评价案例。
（一）案例背景
国家《普通高中信息技术课程标准（2017年版）》必修课程中有“从生活实例出发，概述算法的概念与特征，运用恰当的描述方法和控制结构表示简单算法”的学习要求，其中“能运用恰当的描述方法和控制结构表示简单算法”是测评学生问题解决能力的一项内容。
（二）在线伴随评价案例设计
1. 利用“二维框架”界定问题解决的“能力簇”
从课程标准对“算法内容”的学习要求来看，主要应用到的知识技能是“算法特征、算法描述方法、控制结构”等内容。从学生解决问题的实施过程来看，可确定为分析与界定问题、表征与构思问题、制定与执行策略、检查与反思结果。按照“知识应用”和“实施过程”构建问题解决能力测评的二维框架，如表2所示。
依据二维框架中“知识应用”与“实施过程”交叉点的内容，将应用算法知识解决问题的“能力簇”设计为：
子能力1：依据算法特征分析该自动控制系统的特点，界定其实施条件与结果;
子能力2：分析该自动控制系统中的要素和结构，明确算法实现流程;
子能力3：用流程图描述该自动控制系统中的算法;
子能力4：针对该自动控制系统的实施过程，判断系统出现问题的可能原因。
2. 按任务需要设计在线评价情境
将对解决问题的“能力簇”的评价渗透到具体问题情境中。依据学生的生活与学习经验，设计“微处理器控制的自动售货机”评价情境，将各项子能力以“问题集”的方式渗透其中。
（1）情境描述：某自動售货机是由微处理器控制的。小明同学在自动售货机前选择了一瓶价值5元的饮料，然后在收款口放入一张10元钱的纸币。自动售货机在接收货币后，在商品取出口给出了他所要的饮料，并找了五元钱。
（2）渗透“能力簇”：依据“能力簇”设计相应的评价“问题集”和在线评价呈现方式（如表3所示）。这些子能力有的可以直接通过答题结果进行反映，有的需要采用模拟操作进行反映，还有的需要通过发散思维进行反映。按照子能力测评需要，在线测评内容以“文本描述+图片说明+交互操作”的方式呈现。
（3）伴随时机选择：该题的评价内容可以伴随学生对“算法”进行在线学习的整个过程之中。在在线学习开始阶段，可将问题情境融入学习活动中，引导学生依据个人学习背景对问题1和问题2进行思考，分析学生对自动售货机的理解程度和应用能力;在在线学习过程中，将问题3融入其中，学生边学习流程图知识，边用流程图知识解决问题，分析学生应用流程图的能力;在线学习任务完成后，呈现问题4，分析和判断学生对结构不良问题的解决能力。
3. 通過评价报告呈现测评结果
学生在不同学习阶段作答后，在线系统以报告的形式给出学生利用算法知识解决该问题的能力评价结果。随着学习的深入，评价报告内容也会不断完善。报告内容可以描述出学生对每个子项目测试题的作答结果。选择题可以明确说明答案正确与否;情境交互操作题通过平台系统记录学生的交互过程，给出结果正确与否的判断;简答题可以通过文本分析方式给出判断;在线系统可以按照测评结果对需要进一步提高或发展的能力给出建议，帮助学生及时调整学习策略。
（三）案例说明
“微处理器控制的自动售货机”一题是检测学生利用算法知识解决问题的能力。通过学科“知识应用”和“实施过程”二维框架界定学生表现出的“能力簇”，设计“问题集”，将子问题通过文本、图片或互动的方式融入在线评价情境中。在学生学习过程中，依据评价目的嵌入评价问题，学生在作答过程中反映出其各项子能力的发展情况，通过与评价标准进行比对和分析，以评价报告的方式对学生问题解决能力的评价结果进行反馈。
五、结语
信息技术的发展对公民的生存能力提出了新的要求，以知识传授为主的教学已经很难满足学生的发展要求，提高学生在数字化环境下解决问题的能力日益为学校教育所重视。针对新的教育挑战，信息技术为问题解决能力的“学”与“评”创造了条件，利用在线系统将评价情境嵌入学习过程之中，依据评价需要采用信息技术工具跟踪学生解决问题的过程，收集解决问题过程中反映出的学科（或跨学科）领域下学生运用知识技能的能力、选择与执行策略的能力以及自我监控与反思的能力的证据，分析与描述学生问题解决能力的发展现状，支持学生问题解决能力发展过程中在线“学”与“评”的伴随实施。
[参考文献]
李锋. 王吉庆. 2018. 旨在促进学习者发展的在线评价：伴随式的视角[J]. 中国电化教育（5）：74-79.
邵瑞珍. 1997. 教育心理学[M]. 上海：上海教育出版社.
王小明. 2009. 学习心理学[M]. 北京：中国轻工业出版社.
张华. 2000. 课程与教学论[M]. 上海：上海教育出版社.
Robertson， S. I. 2004. 问题解决心理学[M]. 北京：中国轻工业出版社：3-4.
Popham， W. J. 2003. 促进教学的课堂评价[M]. 北京：中国轻工业出版社.
Anderson， J. R. （1980）. Cognitive psychology and its implications[M]. New York. W. H. Freeman. 25.
Csapo， B.， & Funke， J. （2017）. The nature of problem solving using research to inspire 21st century learning[M]. Paris： OECD Publishing.
Torrance， H. （2007）. Assessment as learning？ How the use of explicit learning objectives， assessment criteria and feedback in post-secondary education and training can come to dominate learning [J]. Assessment in Education， Vol. 14， No. 3， 281-294.
Underdald， J.， Cayetano， J. P.， & Stevens， R. （2001）. Practice makes perfect： Assessing and enhancing knowledge and problem-solving skills with IMMEX software. [EB/OL]. [2018-9-30]. http：//www.immex.com/pubs/iste.pdf
OECD （2004）. PISA 2003 assessment framework-mathematics， reading， science and problem solving knowledge and skills [EB/OL]. [2018-9-25]. https：//www.pisa.oecd.org
Koc， S.， Liu， X. Y.， & Wachira， P. （2015）. Assessment in online and blended learning environments[M]. Information Age Publishing. Inc. Charlotte， NC. 7.
U. S. Department of Education （2017）. Future ready learning reimagining the role of technology in education： 2017 national education technology plan update[S]. http：//tech.ed.gov.58
收稿日期：2018-10-23
定稿日期：2019-01-23
作者简介：李锋，博士，副研究员，华东师范大学教育学部（200062）。
责任编辑 单 玲
