创客教育视角下机器人教学PTA表现性评价量规的设计与应用
杨海茹 叶梨萍 魏倩倩 刘彩鳗 周桥
摘要：机器人教育作为创客教育的主要形式，在培养学生的创新能力、综合实践能力等方面发挥着巨大作用。针对机器人教育中教学评价指标不够明确、评价方式单一的问题，文章构建了PTA表现性评价设计流程，开发了小学机器人PTA表现性评价量规，包含设计、搭建、优化、展示等四个维度，采用德菲尔法、肯德尔系数法确定了评分信度和权重。并选择某小学开展机器人教学行动研究，结果表明学生的PTA成绩、课堂的满意度和创新能力都有了显著提升。
关键词：机器人教学;PTA量规;表现性评价;创新能力
中图分类号：G433 ? ? ? ? ? 文献标志码：A ? ? ? ? ?文章编号：1673-8454（2020）06-0039-04
创客教育是培养适应第三次工业革命所需创新人才的措施之一，受到教育界的关注[1]。机器人教学是创客教育的一种新型教育方式，通过设计、组装、编程、运行机器人组件，实现对学生创新思维和综合实践能力的培养[2]。同时，智能机器人是中小学综合实践活动和技术课程的载体，智能机器人教学评价是促进学生创新能力提升的重要环节[3]。但是，当前中小学机器人教学多以竞赛成绩作为评价标准，缺少过程性指导评价，课堂上多以批评、表扬等口头评价为主，缺少任务性的评价指标，忽略了教学中学生的人文素养等能力的评价[4]。为解决上述问题，本文设计机器人教学表现性评价量规并验证了其在教学实践中对学生成绩及创新能力的有效性。
一、文献综述
1.创客教育
创客教育是随着互联网的普及以及新兴技术的出现衍生出的一种新的教育理念[5]。郑燕林强调创客教育要求学生在创造中学习[6];祝智庭认为创客教育是注重DIY 教育理念的一种教育模式[7]。创客教育能够快速普及有两个大前提：一是开源的硬件、3D打印机以及一些可视化的编程语言;二是日益成熟的在线教育模式。创客教育模式已经成为塑造创新型人才的重要新形式[8]。创客教育作为教育领域的新生事物，传统的评价方式已经不能满足它的需求，需要通过开展不同形式的评价活动来促进其健康持续发展[9]。表现性评价比较符合创客教育的理念，它在一定程度上满足了创客教育中对人才培养的需求[10]。
2.机器人教学评价
机器人教学，是在课堂上使用教育机器人组件来改进中小学教学成效、提升学生创新能力的一种活动形式，是创客教育的一种形式[11]。McGill认为机器人相关课程能够对学生编程能力产生积极作用，有效提升学生综合实践能力，受到教育、社会各界一致好评[12]。曾庆斌提出小学机器人教学评价包含对机器人零件的认识、机器人的搭建及优化、协作及交流等方面，并依据教学实践设计了小学机器人教学评价指标列表[13]。张家华认为对于机器人课程的评价应该从机器人知识、编程能力、组装能力、创新能力、合作能力、学习态度等方面进行[14]。但已有研究缺少详细的评价标准，缺乏客观衡量学生表现性水平的评价标准，教师无法具体衡量学生各项能力，学生无法对自己的学习过程进行评价。因此，机器人教学需要探寻更具操作性的評价工具。
3.表现性评价
表现性评价是国外提倡的评价复杂学习的一种方法。Stiggins认为，表现性评价是“对学生使用已有知识处理全新问题或完成某些指定任务而进行的一种系统的评价方式”[15]。Wiggins认为“表现性评价对学生的要求是通过设计作品或完成实践活动的方式，证明自身已经拥有的知识和掌握的技能”[16]。总之，表现性评价强调“实作”与“表现”。表现性评价工具常用的有PTA（Primary Trait Analysis，基本要素分析）量规等，是美国Andrade H、Valtcheva A等人设计的评价方法，它在一定程度上能反映学生提出问题的能力，同时在教学中使用PTA量规能够提升教师评价的有效性[17]。
综上，机器人教育对学生的综合能力提升很有帮助，但是评价存在问题，我们需要尝试设计和应用表现性评价量规，探索提升机器人教学质量及学生创新能力的路径。
二、小学机器人教学PTA表现性评价量规的设计
小学机器人教学是基于小组合作学习方式的一项综合实践活动，是创客教育的一种形式。创客教育着重发展的是学生的创新能力、学习能力、发现问题能力、设计解决问题方案能力和实践其方案的能力。因此，小学机器人教学要遵循创客教育的理念，并依据评价标准的可行性、多层次性和全面性原则进行表现性评价。PTA量规的引入使教师的评价更客观、有效，学生的实践操作行为更清晰。本研究依据张家华等 PTA 量规的设计思想[14]，对小学机器人表现性评价量规进行设计。
1.表现性评价量规设计的需求
本团队对成都市成华区开展机器人教学活动的教学评价现状进行调查，结果发现：在进行机器人教学时，54.55%的教师会针对性地评价，45.45%会偶尔评价;关于影响评价的因素，63.64%的教师认为评价方法掌握得不好，50.09%认为教学评价会占用课堂太多的时间而不好把控，50.09%认为机器人教学评价维度指标不清晰，需要有专家指导[18]。针对以上问题，本研究将表现性评价引入机器人教学。表现性评价是由教师设计真实的情境，并设定好学生要达到的学习目标，让学生在情境中解决问题，教师针对学生在活动中的表现，根据客观的评价标准对学生的行为及表现给以评分的一种评价方式。那么，表现性评价工具如何设计呢？评价工具怎样使用才能解决以上问题？它的有效性如何？这些问题的解决是本研究的重点。
2.表现性评价PTA量规设计流程
PTA 量规设计包括三个步骤：教师制定对评价起重要作用的评价要素;教师对每一个评价要素制定2～5个标准水平，并确定要素可测量和具体化;教师利用制定好的评价标准对学生进行预测试，在此过程根据学生反馈以及观察进行修改和完善[19]。
根据PTA量规设计步骤及小学机器人课程的活动设计，本团队制定了小学机器人教学PTA表现性评价量规的设计流程（如图1所示）：①确定小学机器人教学评价目的：学生机器人设计思想的表述、设计转化成草图与作品的能力以及解决问题和同伴交流的能力。②选择机器人教学评价任务：表现性评价是在真实情景中围绕某有效任务展开的评价方式，任务包含设计性任务、问题解决性任务和口头表达任务等。③确定小学机器人评价要素：包括设计机器人方案、搭建机器人组件、优化机器人作品、展示与评价作品等。④确定小学机器人教学评价要素权重：教师需要采用肯德尔系数对每个要素确定权重，这决定着评价的科学性和有效性，有利于教师评价内容的主次之分。⑤建立小学机器人教学要素水平标准，要求清晰界定学生行为的表现水平，尽量使用行为描述性语言[20]。
3.德菲尔法和肯德尔系数确定量规权重及评分信度
本研究采用德菲尔法，征求6名专家确定权重系数，用肯德尔系数法检验评分信度。根据项目数和评判人数，利用公式1进行显著性检验。W为肯德尔和谐系数，K为专家人数，N为权重项数，Ri是第i个维度等级的总和，n表示相同等级的个数，S为每题等级之和的离差平方和。
（1）计算W值。∑Ri=20+21+11+8=60，∑Ri2=202+212+112+82=1026 。计算T值：专家A赋值前2个维度都为4，n1=2，后两个维度都为1，n2=2，因此TA =（23-2）/12+（23-2）/12=1，同理，计算出TC=2，TF=1，∑T=4。将以上计算数值以及K=6、N=4带入公式，计算得出W=0.808。
（2）检验W值的显著性水平。依据K=6、N=4查肯德尔和谐系数临界值表，发现系数S0.05=75.7，S0.01=99.5，再计算S=∑Ri2-（∑Ri）2/N=（1026-602）/4=106，可以得出S> S0.05，S> S0.01，所以W达到极显著水平，表明专家评价标准一致，每个要素权重为专家的平均值[20]。同时，应用SPSS统计分析中非参数检验分析，选择K相关样本检验方式，选择Kendalls W参数，进行统计分析得出W和谐系数是0.808，显著性0.002，表明W达到极显著水平，平均权重系数可作为这评价量规的系数。采用两种统计检验方法确定了评分的信度。
（3）计算权重系数W。遵循小学机器人教学中评价计算的方便性，各项的权重近似为：W1设计=0.3，W2搭建=0.4，W3优化=0.2，W4展示=0.1[18]。
4.撰写评价标准完善量规
在进行表现性评价之前，通过多次与一线教师讨论小学机器人教学的评价标准，最终完善并确定了本研究的PTA量规，如表1所示。
三、PTA表现性评价量规在小学机器人教学中的应用
为了验证机器人教学PTA表现性评价量规的有效性，按照计划、行动、观察、反思的流程开展了教育行动研究。研究对象是30名小学三年级学生，三名学生为一组，使用一套能力风暴机器人材料，分为10个小组。教学实施是由具有丰富机器人教学经验的张老师在课堂教学中应用表现性评价量规来进行的。本研究学习效果的测量工具为机器人教学PTA表现性评价量规与创新能力量规，后者是借鉴创新能力评价指标体系及小学机器人教学创新能力评价标准修改而成[21]，包含基础理论知识能力、思维判断能力、现实创新能力、未来创新能力四个维度;最后是课后反思访谈提纲。本研究过程进行三轮行动研究：
1.第一轮行动：研究以《手摇风扇》为例
（1）表现性评价目标讲解
本课是机器人搭建操作课，旨在引导学生解决生活中的实际问题，体会机器人的价值。学生观察齿轮的啮合和传动，掌握力作用在不同轴上会决定此装置是加速系统还是减速系统;学生掌握手摇风扇机器人组装的过程以及机器人实验教学中的行为规则;通过小组集体创作，学生体会协作学习方式，并集思广益在实践中提升创新能力。
（2）表现性评价量规实施
教师任务：创设真实问题情境;带领学生观察齿轮的啮合和传动，明白其产生原理;讲解学习任务，带领学生认识机器人组件，示范组装手摇风扇的操作过程。
学生任务：小组协作讨论设计方案，并尝试组装和优化作品;实践过程汇总，参照标准进行创作实践，严格规范自己的行为。
教师评价：教师依据各小组学生在各要素中出现的符合标准的行为个数评价其表现，并给出小组得分，及时在备注栏中记录该组学生表现较好和不足的地方。学生在进行小组实验时进行同伴互评。教师结合小组评分和同伴互评分数，各占50%，最终得出该生在本轮实验中的表现性评价得分，并记录在册。
（3）表现性评价量规实施的反思
实验后仍有部分学生对PTA量规评价标准理解不到位，学生出现违反操作规范的行为。课后反思：后续课需要多次重复强调任务，及时反馈学生的疑问，积极观察并引导学生的创作行为。
2.第二轮行动研究和第三轮行动研究
两轮行动研究实施过程如第一轮。第二轮研究以《托盘天平》为例，本次课学生可以按照表现性评价任务及评价标准进行操作，规范自己的行为，小组协作完成作品，教师及时反馈帮助优化作品，但是在展示环节还不流畅。
第三轮研究以《剪刀变形机械手抓手》为例，課程的内容贴近学生生活，学生兴趣很高，认识到任务设计的情景性和趣味性的重要性，这次课程比较完善。
四、PTA表现性评价量规在小学机器人教学应用的评价
1.PTA成绩前后测分析
本研究应用SPSS对第一轮和第三轮实验得出的PTA量规分数进行统计分析。第三次实验PTA量规平均值较第一次提高了6.33分。数据表明：在小学机器人课堂教学中使用基于PTA量规的评价工具提高了课堂的有效性。对两组实验数据进行差异性检验，p值为0.000<0.05，差异性非常显著，表明三次实验之后学生的PTA成绩有了显著提升。
2.创新能力前后测分析
本研究将第一轮和第三轮行动后学生填写的创新能力评价量规数据进行前后测配对样本T检验，结果得到p值为0.02<0.05，差异性显著，表明机器人教学实施表现性PTA量规后，前后两次学生的创新能力差异显著，其中掌握基础理论知识能力、思维判断能力均值较高，现实创新能力和未来创新能力还有待提升。第三轮研究后，比较了第一轮和第三轮这两个维度的分值差异，发现方案设计与制作达到水平一的学生从12人上升到18人，且平均分值由24.3升为25.8;作品展示与交流达到水平一的学生由20人上升到24人，且平均分由7.9升为8.3，表明学生创新能力显著提升。
3.师生访谈分析
为了检验PTA量规的评价工具在课堂中的有效性，笔者在第三轮课后随机选取了得分较高、一般和较低的3名学生进行访谈。结果表明：3名学生均表示喜欢PTA评价量规，认为清晰的教学目标及详细的评价标准规范了操作行为，作品搭建和展示过程提升了协作和交流能力。教师访谈认为，应用PTA表现性评价量规提升了学生的创新能力和协作学习能力，并能给与学生精准评价，提升了机器人教学的质量。
五、小结
文章研究了表现性评价在创客教育下机器人教学中的应用，开发了小学机器人教学表现性PTA量规，并通过实施三轮行动研究验证量规的有效性。结果表明：表现性评价与创客教育中对创新型人才培养的目标相契合。表现性评价量规可以有效提升学生的学习成绩和满意度以及创新能力;可以给学生提供及时的反馈;任务清单的设计提高了学生的学习兴趣与积极性。本研究设计的机器人教学PTA量规，对于高年级学生涉及到的软件编程、调试运行等环节没有测量，后续需继续完善。
参考文献：
[1]创客教育运动[DB/OL].http：//makered.org/，2015-05-21.
[2]徐多，胡卫星，赵苗苗.困境与破局：我国机器人教育的研究与发展[J].现代教育技术，2017，27（10）：94-99.
[3]林厚从，刘波.智能机器人课程基地建设的实践与反思[J].江苏教育研究，2015（31）：53-56.
[4]王同聚.“微课导学”教学模式构建与实践——以中小学机器人教学为例[J].中国电化教育，2015（2）：112-117.
[5]王小根，张爽.面向创客教育的中小学机器人教学研究[J].现代教育技术，2016，26（8）：116-121.
[6]郑燕林.美国高校实施创客教育的路径分析[J].开放教育研究，2015，21（3）：21-29.
[7]祝智庭，孙妍妍.创客教育：信息技术使能的创新教育实践场[J].中国电化教育，2015（1）：14-21.
[8]杨刚.创客教育：我国创新教育发展的新路径[J].中国电化教育，2016（3）：8-13.
[9]钟柏昌.谈创客教育的背景、本质、形式与支持系统[J].现代教育技术，2016，26（6）：13-19.
[10]徐刘杰，韩美玲，汪凡淙.创客教育中表现性评价的设计与实现研究——以“创A2.0：力所能及”创客课程中的“远古武器”单元为例[J].现代教育技术，2018，28（4）：95-101.
[11]杨绪辉，沈书生.创客教育评价模式探究——基于“教育鉴赏与教育评论”的视角[J].现代教育技术，2018，28（3）：120-126.
[12]Monica McGill.Learning to Program with Personal Robots：Influences on Student Motivation[M].TOCE，2012，12.
[13]曾庆斌，冯卫强.基于虚实结合的小学机器人教学评价[J].教育信息技术，2014（09）：35-37.
[14]张家华，张国民.人工智能与机器人课程的教学资源分析[J].中国电化教育，2008（10）：99-102.
[15]Stiggins R J.Two disciplines of educational assessment[J]. Measurement & Evaluation in Counseling & Development，1993（26）：93-104.
[16]李坤崇.多元化教学评量[M].台北：台北心理出版社，1999：134.
[17]Andrade H，Valtcheva A.Promoting learning and achievement through self-assessment[J]. Theory into practice，2009，48（1）：12-19.
[18]魏倩倩.小學机器人教学的表现性评价研究与实践[D].南充：西华师范大学，2016.
[19]吴红梅.PTA量表在“新课程”教学评价中的应用[J].上海教育科研，2006（5）：47-49.
[20]张敏强.教育与心理统计学[M].北京：人民教育出版社，1993.
[21]陈国华，刘贵仲，陈旭，等.工科大学生创新能力评价方法研究[J].桂林电子科技大学学报，2008（2）：167-170.
（编辑：鲁利瑞）
