基于群体感知的在线同伴互评系统实现与应用
胜楚倩 刘明 刘革平
摘要：在线同伴互评作为协作学习的一种方式，注重对学习者学习过程的评价，有助于提高学习者的批判性思考能力，提升学习动机，增强社会存在感，被认为能有效应对MOOC环境下大规模学习测评的需求。但在线同伴互评信效度不足、缺少反馈、交互行为弱的问题成为制约其深入发展的瓶颈。群体感知技术的发展为解决这一问题提供了新的技术手段和方法指导。基于群体感知的在线同伴互评系统，旨在通过融合同伴评价反馈机制，提供可视化群体感知模型，构建一种促进学习者认知发展的在线形成性同伴互评协作学习环境，使学习者更积极地参与同伴互评活动，并在与同伴交流、评价、反馈中，共享资源，建构知识。该系统突出了两大优势，一是对用户实现可视化反馈，二是采用独具特色的过程性评价模式。该系统经实验检验表明：大部分学生认为该系统可操作性较强，有助于提高感知能力，促进协作学习中的交互行为;同时在同伴互评中，认知维度的评语类型，尤其是直接修正类别的评语更有助于学习者对作业进行修改。
关键词：群体感知;同伴互评;形成性评价;协作学习;系统设计
中图分类号：G434 ? 文献标识码：A ? ?文章编号：1009-5195（2019）04-0104-09 ?doi10.3969/j.issn.1009-5195.2019.04.012
作为协作学习的一种方式，同伴互评注重对学习者学习过程的评价，有助于提高学习者的批判性思考能力（Topping，1998），提升学习动机，增强社会存在感，但同时也普遍存在学生交互行为偏弱的问题，例如忽视对同伴反馈的评价，学习者参与评价的积极性不高等。近年来，群体感知技术在計算机支持的协作学习（Computer Supported Collaborative Learning，CSCL）领域取得较快发展，成为降低协作成本、提高协作效率和减少协作冲突的有效手段之一，为促进学习者之间的交互提供了新的方法。本研究在系统梳理有关群体感知实现技术和同伴互评相关理论与实践的基础上，聚焦基于群体感知的在线同伴互评系统设计与实现，并应用实例初步探究了其对学习者协作学习的影响。
一、同伴互评和群体感知技术
1.同伴互评技术及其改进
同伴互评又称为“同伴反馈”。Topping（1998）将同伴互评定义为“个体对于水平相近的同伴的学习结果在完成数量、水平、价值以及质量等方面的意见”。自上世纪六七十年代过程写作法被引入写作教学中以来，同伴互评就成为写作教学的重要组成部分，国内外学者对此进行了深入且广泛的探讨。传统的学习评价往往只关注学习结果而忽视了学习过程，而同伴互评则能关注到学生的学习过程。学生既是评价者，也是学习者。已有研究证实，同伴互评有助于提升学习者的专业知识与能力（Hovardas et al.，2014），增加师生及生生之间的交流与互动（龙琴琴等，2017）。此外，同伴互评也是一种协作学习方式，对学生学习有着积极的影响（Strijbos et al.，2010）。早期的同伴互评大多为课堂内的面对面互评模式。随着Web2.0技术的快速发展和大规模开放在线课程（MOOC）的深入运用，如何开展MOOC教学环境下的学习测评日益成为关注的问题之一。目前比较成熟的互评系统有Web-Spa、PRAZA、PASS、Moodle平台等，但现有系统大多仅采用总结性评价模式，存在学习者交互行为偏弱等问题。
针对上述问题，本研究构建了形成性同伴互评系统，重点关注学生的过程性评价。同时，借鉴Gielen等（2015a;2015b）对同伴互评中反馈机制的研究和马志强等（2016）对反馈评语类型的研究，设计了评价反馈活动，对同伴互评系统进行优化，以进一步促进学生在同伴互评中的交互。
2.群体感知技术及其扩展
感知（Awareness）一词最早出现在计算机支持的协同工作（Computer Supported Cooperative Work，CSCW）领域（Dourish et al.，1992）。感知又分为多种类型，如工作空间感知（B?dker et al.，2006）、社会感知（Mendoza-Chapa et al.， 2000）、知识感知（Buder et al.，2008）和群体感知（Gutwin et al.，1995），这些感知的形式和定义之间虽然存在差异，但都聚焦于学习者相互交流的信息上。此外，小组成员在分布式环境下进行协作，还需要获取彼此的相关信息，如所处的位置、正在从事的活动、兴趣点或自我认知等，以便于相互理解。本文主要针对群体感知进行研究，将其定义为“通过技术的支持为学习者提供关于同伴的行为、知识、社会性活动方面的信息，引发学习者之间的相互感知，促进学习者之间的交互，促进有效协作学习的发生，最终提高计算机支持的协作学习效果”（梁妙等，2012）。虽然近年来CSCL越来越受到人们的关注，但诸多研究表明，CSCL中的协作并不总是有效和高效的。可能的原因包括小组成员之间的冲突（Hobman et al.，2002）、搭便车行为和不平等参与（Fjermestad，2004）。诸多研究同时指出，导致协作无效或低效的原因是由于缺乏群体感知（Janssen et al.，2007a、2007b;Jermann et al.， 2008）。而学习环境中包含某种工具或机制，可以为学习者提供群体感知信息，以促进CSCL活动的协作和管理，这些工具被称为群体感知工具（Van Bruggen et al.，2002;Kirschner et al.，2009）。而且也有研究者对如何使用群体感知工具来提高群体感知，以及群体感知工具是否影响协作学习和群体绩效进行了研究（Dourish et al.，1992）。目前国内对CSCL环境中群体感知的研究尚处于萌芽阶段，较为典型的是吴青和罗儒国（2013）对智能教学系统中的群体感知模型进行了设计，而国外的研究则较为丰富，已经设计开发了几种典型的感知工具，如ShrEdit、Gaw、GroupKit、Radar & Reflector、PT等。
基于此，本研究将群体感知技术应用于在线同伴互评，设计了基于群体感知的在线同伴互评系统，以期为学习者提供新颖的可视化群体感知图，增强学习者在同伴互评中的感知能力，并促进学习者协作学习交互。社会网络图是最常用的群体感知图，能够直观地表现学习者之间的交互，本研究实验阶段主要选择社会网络图进行呈现。
二、基于群体感知的在线同伴互评系统设计与实现
1.系统总体设计
国内外的在线同伴互评系统主要依托网络在线教学平台展开。然而，由于同伴互评环节设置过于简单，在互评过程中存在评阅者态度粗鲁、评价效率低下等问题，并不能很好地达到“发挥大量学生参与者的潜力，实现互助学习”的目的。本系统设计旨在将在线同伴互评与可视化群体感知图相结合，将用户的评论和反馈数据在后台进行分析，在页面上以各种可视化群体感知图的形式进行展示，从而提高学生的学习积极性。基于群体感知的在线同伴互评系统模型图如图1所示。
该系统的主要功能是满足学生以个人或小组形式进行实时在线协同编辑、在线形成性同伴互评（包括评价反馈活动），同时获取学生端的所有学习过程操作数据，提供新颖的可视化群体感知图。该系统包括完整的用户管理、组管理、文章管理、反馈管理、图管理以及成员管理等模块。在线协同编辑主要支持用户写作权限认证、无冲突写作、版本记录、不同作者颜色标记、站内聊天、屏幕共享、附件插入以及插件功能。在线形成性同伴互评支持组内成员之间以及不同小组之间的互评。同时，系统可以根据小组成員的写作行为、互评和评价反馈数据自动进行可视化分析和计算，并以各种群体感知图的形式呈现给师生。教师端可选择呈现的群体感知图包括学生行为分析图（班级和小组）、学生个人作业情况图和班级评论反馈图（见图2）。学生端可选择呈现的群体感知图包括社会网络图（在线同伴互评小组/班级交互活动）、雷达图（小组/班级反馈质量）、柱状图（作业版本数）、折线图（学生专注度）以及饼图（学生编辑字数）（见图3）。
Etherpad①是一个基于Web的开源实时协同文档编辑器。本系统是基于Etherpad开发的在线形成性同伴互评系统，从功能上划分为教师端和学生端，采用多服务器与B/S架构。一台服务器负责主程序应用，包括用户登录和课程信息;另一台服务器负责Etherpad服务，主要包括作业信息和作业版本修改信息。同时，本系统使用了两个数据库存储信息：本地数据库为MySQL数据库，用来存储用户信息、组信息、作业信息、活动信息、评价信息，以及用户的行为分析数据等;另一个是Etherpad自带的数据库，用来存储文本版本号和编辑信息。系统运行时本地数据库对Etherpad数据库的数据进行备份。Etherpad服务器负责存储作业信息、小组作业Pad信息、小组用户信息、小组成员和Pad关联信息、用户行为信息，并提供API给主程序调用。
2.教师端系统功能
在教师端，教师可以从课程列表中选择已被创建的课程，也可以创建新的课程。教师还可以在每门课程下面根据具体的教学目标自主选择所要创建的作业，并针对每次作业创建相应的学习活动，如编辑、互评、修改等，同时还可以根据教学设计在每个活动下面为学生呈现不同的群体感知图。经过一段时间的在线形成性互评，教师可以查看学生的行为分析图，包括登录网页的频率和学生在每个上线时间点进行的活动，以及学生的作业完成情况和评论反馈图。教师端系统能够呈现所有成员的贡献情况，教师活动管理界面如图4所示。
此外，教师既可以从评价反馈模板列表中选择已被创建的模板，也可以创建新的模板，并随时进行查看与修改。模板包括反馈维度以及与每个维度相对应的分数。本研究创建的反馈模板维度有8类，分别是正面评论、负面评论、直接修正、个人观点、指导建议、评估、反思与其他，分数均为5分。反馈模板在学生进行分数反馈的页面呈现。
3.学生端系统功能
在学生端，学生可以选择对应的课程与作业，进入活动列表，在线协同进行作业讨论与编辑。初稿完成后，学生可以进行形成性同伴互评，针对作业中的一句话或一段话进行评价。这里有两种互评方式，一种是组内互评，另一种是组间互评。互评完成后，学生可以进行评价反馈活动，包括文本反馈与分数反馈。文本反馈是指被评价者根据同伴反馈内容再次给出文字回复，分数反馈是指被评价者根据同伴反馈内容选择对应反馈维度并打分。学生形成性同伴互评界面如图5所示。
学生在学生端可以选择查看相应的群体感知图。教师在教师端每创建一个活动时，都会设置对应的群体感知图类型。一旦学生在线进行了某种操作，就会产生相应的数据，后台服务器接收到数据后，就会呈现出相应的群体感知图。本研究选取的群体感知图是社会网络图，它呈现了班级与小组的交互行为，鼠标可以随意拖动与放大图像，一个圆圈代表一位同学，圆圈的不同颜色反映了这位同学参与交互行为的次数多少。以放大后的小组社会网络图为例，图中的“C∶2 R∶1 G∶5”代表了“Add Comment 2 Reply 1 Grades 5”，即党同学对张同学的作业评价了两句话，回复了一句评论（文本反馈），打了5分（分数反馈），如图6所示。此外，在每个活动页面，都有时间轴按钮，学生可以点击查看自己从初稿到终稿的编辑时间内所有的历史文档版本，也可以拖动时间轴查看每个阶段的具体修改情况。
三、基于群体感知的在线同伴互评系统应用效果评价
1.实验设计
（1）实验目的与问题
本实验的主要目的是验证在线同伴互评系统的可行性，进一步探究CSCL环境下群体感知工具对学生协作学习的影响。本实验具体探究如下四个问题：一是基于群体感知的在线同伴互评系统的可操作性（学生对其的接受度与满意度）;二是群体感知图应用于系统是否增强了学生在同伴互评中的感知能力（行为与知识感知），以此衡量基于群体感知的在线同伴互评系统的实用价值;三是基于群体感知的在线同伴互评系统应用于协作学习时对学生交互行为的影响;四是在形成性同伴互评中，不同类型的反馈评语数量与质量在整体评语中的分布。前三个问题均通过问卷数据分析得出，第四个问题通过系统后台收集的相关数据分析得出。
（2）实验对象
本实验的参与者是西南大学计算机与信息科学学院软件学院大二的学生，共计50人，其中男生20人，女生30人，他们在2016-2017学年春季学期修读了“人工智能与教育应用”这门课程，进行了为期5周的实验。经过前期调查与培训，这50名学生在大一学年均已修过“计算机基础”课程，具备计算机基础知识与操作能力，具有较高的信息素养，能够了解同伴互评系统的学习环境与基本操作，能熟练运用并进行在线学习与评价。另外，前期调查发现大部分学生以前并未有过同伴互评的经历。
（3）实验方法与工具
本实验采用问卷调查法和访谈法开展定量定性相结合的研究。问卷来源于Cadima等人（2010）关于社会群体感知对CSCL的影响研究，根据实际教学情况，从可操作性、感知能力与交互行为三个维度设计了学生对在线同伴互评系统的应用效果评价问卷（见表1）。问卷中的每个题项都采用李克特自评式5点量表计分，分别为“非常不同意”“比较不同意”“一般”“比较同意”与“非常同意”，对应得分依次为1～5分。
问卷在实验作业完成后依托问卷星平台发布并回收，上线时间为2017年4月25日，2017年5月下旬截止。共收到50份问卷，其中有效问卷43份，有效率为86%。在SPSS 20.0中通过可靠性分析，得到各个变量的Crobachs Alpha系数如表2所示：
表2数据表明，除可操作性外，其余分量表的Crobachs Alpha系数均在0.8以上，总量表的Crobachs Alpha系数为0.829，表明该量表的信度通过一致性检验。
2.实验过程
本实验要求学生首先学习授课教师指定的主题（即聚类分析、回归预测和分类预测在教育领域的应用，该主题是“人工智能与教育应用”的课程模块之一），然后在系统上在线完成一篇文献综述。文献综述包含引言、正文、结论与参考文献4个主要部分。实验具体活动如图7所示，包括5项活动，每项活动持续时间为1周，共开展了两轮同伴互评。
活动1：编写初稿。实验开始前，授课教师对学生进行随机分组，介绍互评流程、作业主题、作业评价标准以及反馈模板维度。实验要求教师提供相应的案例促进学生理解评价标准与如何开展同伴互评。实验开始后，学生使用基于群体感知的在线同伴互评系统完成文献综述初稿的编写。
活动2：第一次同伴互评。根据教师之前的随机分组以及文献综述评价标准表，本组成员对其他组的作业进行在线形成性互评，针对作业中的一句话或一段话，点击“评价”按钮，选中的评价部分以高亮显示（见图5），屏幕右侧可呈现和写入相应的反馈评语。同时，学生可以通过查看该活动下显示的群体感知图，获取本组成员以及班级成员的交互行为信息，如图6所示。
活动3：第一次修改（查看同伴反馈、完成评价反馈活动并修改作业）。系统将对应的反馈向被评价者显示，被评价者可以根据同伴反馈内容再次给出文本反馈或分数反馈（见图5）。同时被评价者可参考同学们的评价建议，对作业进行相应地修改与完善。
活动4和活动5分别重复活动2和活动3的过程，最终在线完成文献综述的终稿。
实验作业完成后，发布问卷，并选取部分学生进行个人访谈和焦点小组访谈，了解学生对在线同伴互评活动的态度和改进意见。
研究共进行了两轮同伴互评，通过系统后台收集相关数据，共产生280条评语。为了确保每条评语分类与质量的准确性，实验过程中并没有强制要求学生选择评价反馈活动。实验结束后由两位研究者同时对反馈评语进行统计分析，以每条反馈评语为分析单位，根据每条反馈评语的内容对其进行相应类别划分。统计结果显示：两位研究者对同一评语的分类比较接近，经SPSS 20.0测算后得知其相关系数在0.80以上，从而保证了分类的可靠性。
反馈评语类别确定后，由两位研究者根据每条评语对被评价者修改内容是否有用给出可用性评分，评分涉及“完全不重要”“不重要”“一般”“重要”与“完全重要”5个等级，对应赋分为1～5分。经SPSS 20.0检验后得知，两位研究者对同一评语打分的相关系数在0.85以上，以此為依据来确定每一条反馈评语的质量。每一类反馈评语的质量取其对应类别得分的平均数，其中无关评语均划分为“其他”类别，给出的分数均为1分。
3.实验结果
（1）学生评价结果与分析
学生对该系统应用效果的评价如表3所示，总体的均值较高、标准差偏小，说明所有学生对该系统的接受度较高，并且意见比较统一。
“可操作性”维度考查基于群体感知的在线同伴互评系统的可操作性，即学生对该系统的接受度与满意度情况，包括系统整体、同伴互评功能、群体感知工具以及群体感知工具显示的信息等4个指标。该维度的均值为3.78，标准差为0.38，表明大多数学生认为该系统简单可行，容易使用。其指标分析显示：79.1%的学生认为每周使用系统不会花费过多的精力，86%的学生认为使用系统进行同伴互评不会花费过多专业技能方面的精力，67.4%的学生认为不会花费过多专业技能方面的精力去理解群体感知可视化图，65.1%的学生能够完全理解群体感知可视化图所显示的全部信息。该维度的均值（Mean=3.78）低于其他维度，原因可能在于系统的浏览器兼容性较差，实验要求使用Chrome，但在操作过程中，个别学生使用了其他浏览器导致系统页面无法呈现，因而可能会影响他们对系统可操作性的评价。
“感知能力”维度考查群体感知图应用于系统是否增强了学生在互评中的感知能力，包括4个指标。其指标分析显示：93%的学生认为使用该系统有利于自己反思在协作学习中的交互行为与团队中的角色扮演，95.3%的学生认为群体感知可视化图所显示的信息与自己密切相关，93%的学生认为群体感知可视化图所显示的信息既能增强自己对组内成员之间交互行为的感知，也能增强自己对同伴互评中交互行为以及个人在团队中扮演角色的感知。
“交互行为”维度考查基于群体感知的在线同伴互评系统应用于教学对学生交互行为的影响，包括3个指标。其指标分析显示：90.7%的学生认为此次在线作业的完成提高了自己在协作学习中的交互能力，93%的学生认为使自己能够更加主动地去帮助别人，97.7%的学生认为使自己能够更加主动地去寻求他人的帮助。
综上，实验结果表明，基于群体感知的在线同伴互评系统应用于教学活动中是可行的，大部分学生对系统的认可度较高，该系统有利于增强学生同伴互评的感知能力，促进其在协作学习中的交互行为。
（2）反馈类别结果与分析
由表4可见，经过两轮同伴互评，共产生280条反馈评语。其中，情感维度反馈42条，占总数的15.00%;认知维度反馈85条，占总数的30.36%;元认知维度反馈数量最多，总计143条，占总数的51.07%;无关反馈10条，占总数的3.57%。在反馈数量上，元认知维度>认知维度>情感维度。该统计结果与马志强等人（2016）的统计结果（即认知维度>情感维度>元认知维度）有差异，可能是由于本实验采用的基于群体感知的在线同伴互评系统允许过程性评价，因而导致反馈评语类别与总结性评价所产生的反馈类别不一致。
在本实验中，第一次同伴互评反馈数量为212条，远大于第二次同伴互评反馈数量的68条。可能原因是一周的时间足以完成授课教师所布置的作业，学生通过第一次互评足以解决作业的大部分问题，再加上后续的评价反馈活动，以及被评价者与评价者之间的文本反馈，导致学生第二次互评中收到的反馈很少，作业第二稿与最终稿之间也没有显著的差异。由此可知，实验所选取的作业任务类型与难易程度也可能影响到后续的同伴互评。
在反馈质量上，除无关反馈外，其他反馈评语的质量均介于2～4分。从各维度的反馈质量均值来看，认知维度（3.62）>元认知维度（3.25）>情感维度（2.70）。从单个子类别的反馈质量得分来看，直接修正类别的反馈质量得分最高，达到4.00分，而负面评论类别的反馈质量得分最低，为2.29分。这表明认知维度的评语更有助于被评价者对作业进行修改，对被评价者更有价值，可用性更高。其中直接修正类别的反馈最易于被学习者采纳，如“该句话不属于回归分析的定义，定义是用一种简洁明了的语言对事物的本质特征做概括的说明方法，建议将这句话删除。”该研究结果与马志强等人（2016）的研究结果相似。他们的研究主要通过评语的采纳程度来反映评语的质量，结果同样显示出在认知类评语中提出明确修改建议的子类别评语的重要性，即在认知维度中，直接修正类别的反馈更有价值。
（3）学生访谈结果与分析
在为期5周的实验结束后，研究者向学生们发放了系统的应用效果评价问卷，随后进行了访谈，收集了学生对在线同伴互评活动的意见与建议，同时了解系统设计中存在的问题。
关于系统的设计。多数学生反映多人对同一内容进行评价，系统不能很好地展示，如当多人选中文本的相同或临近内容时，对应的多条评价会相互重叠呈现在页面上，不利于浏览。正如有同学反馈的，“（系统）交互性较好，可以清楚地看见小组成员对自己作业的某一个位置给出详细的建议。但同伴的评价往往会出现交叠的现象，导致有些评价看不到，可以考虑适当扩大排版范围。”
关于在线互评的活动流程。部分学生反映互评活动流程过于繁琐，增加了他们额外的工作量。如有学生指出，“（系统）能够很好地反馈给同伴并让他完善（自己的）文章，增强同学的修改动力，但是过程太过繁琐，形成性评价会耗费大量額外的时间。”
关于互评过程的匿名性。部分学生希望采取匿名互评的方式。学生认为互评过程是否匿名，会在很大程度上影响评价的质量。如有学生指出，“我希望评价能够匿名进行，实名的形式我不好意思直接指出同学的错误，要反复斟酌自己的表达方式，浪费很多时间，降低了我评价的效率。”
四、研究总结
在线同伴互评被认为能有效应对MOOC环境下大规模学习测评的需求，但大多数现有在线同伴互评系统存在评价模式单一、学习者交互行为偏弱等问题。为此，本研究基于反馈模型和群体感知可视化软件工具，构建了可视化群体感知模型，设计开发了基于群体感知的在线同伴互评系统，对用户实施可视化反馈，弥补了现阶段在线同伴互评系统缺乏可视化反馈的缺陷。同时，本研究改进了传统在线互评系统的评价模式，采用独具特色的过程性评价，弥补了传统总结性评价的局限性，让学习者可以逐字逐句地在过程中进行评价和反馈，一定程度上提高了学习的趣味性和效率。实验结果表明：大部分学生认为该系统可操作性强，有助于提高感知能力，能促进协作学习中的交互行为。在同伴互评中，认知维度的评语类型，尤其是直接修正类别的评语更有助于学习者对作业进行修改。总体而言，本研究有助于消除同伴互评中信度与效度不足、缺少对评价的反馈、匿名互评、缺乏学习社区意识或归属感等问题，提高了在线互评的质量与效率，为应对大规模测评和反馈的需要，以及确保学习者深入的在线学习体验提供了路径。实验中也发现该系统存在一些不足，如由于浏览器兼容性等原因，群体感知图的显示效果可能对实验结果造成一定影响，后续我们将对系统功能进行相应的补充与完善。
注释：
① Etherpad可通过http：//etherpad.org/检索查阅。
参考文献：
[1]梁妙，郑兰琴（2012）. 支持协作学习的觉知工具： 研究现状总结与思考[J]. 远程教育杂志， 30（4）： 30-39.
[2]龙琴琴，陈明选，马志强（2017）. 理解视域下的网络同伴互评学习活动探究[J]. 现代教育技术，（5）： 67-73.
[3]马志强，王靖，许晓群等（2016）. 网络同伴互评中反馈评语的类型与效果分析[J]. 电化教育研究，（1）：66-71.
[4]吴青，罗儒国（2013）. 智能教学系统中支持协作学习的群体感知模型[J]. 现代远程教育研究，（4）：107-112.
[5]B?dker， S.， & Christiansen， E. （2006）. Computer Support for Social Awareness in Flexible Work[J]. Computer Supported Cooperative Work， 15（1）： 1-28.
[6]Buder， J.， & Bodemer， D. （2008）. Supporting Controversial CSCL Discussions with Augmented Group Awareness Tools[J]. International Journal of Computer-Supported Collaborative Learning， 3（2）： 123-139.
[7]Cadima， R.， Ferreira， C.， & Monguet， J. et al. （2010）. Promoting Social Network Awareness： A Social Network Monitoring System[J]. Computers & Education， 54（4）： 1233-1240.
[8]Dourish， P.， & Bellotti， V. （1992）. Awareness and Coordination in Shared Work Spaces[C]// Proceedings of the ACM Conference on Computer Supported Cooperative Work （CSCW92）. Toronto， Canada.
[9]Fjermestad， J. （2004）. An Analysis of Communication Mode in Group Support Systems Research[J]. Decision Support Systems， 37（2）： 239-263.
[10]Gielen， M.， & Wever， B. D. （2015a）. Scripting the Role of Assessor and Assessee in Peer Assessment in a Wiki Environment： Impact on Peer Feedback Quality and Product Improvement[J]. Computers & Education， 88（C）： 370-386.
[11]Gielen， M.， & Wever， B. D. （2015b）. Structuring the Peer Assessment Process： A Multilevel Approach for the Impact on Product Improvement and Peer Feedback Quality[J]. Journal of Computer Assisted Learning， 31（5）： 435-449.
[12]Gutwin， C.， Stark， G.， & Greenberg， S. （1995）. Support for Workspace Awareness in Educational Groupware[M]// Schnase， J. L.， & Cunnius， E. L. （Eds.）. The First International Conference on Computer Support for Collaborative Learning. Mahwah， NJ： Lawrence Erlbaum Associates Inc： 147-156.
[13]Hobman， E. V.， Bordia， P.， & Irmer， B. et al. （2002）. The Expression of Conflict in Computer-Mediated and Face-to-Face Groups[J]. Small Group Research， 33（4）： 439-465.
[14]Hovardas， T.， Tsivitanidou， O. E.， & Zacharia， Z. C. （2014）. Peer versus Expert Feedback： An Investigation of the Quality of Peer Feedback Among Secondary School Students[J]. Computers & Education， 71： 133-152.
[15]Janssen， J.， Erkens， G.， & Kanselaar， G. （2007a）. Visualization of Agreement and Discussion Processes During Computer-Supported Collaborative Learning[J]. Computers in Human Behavior， 23（3）： 1105-1125.
[16]Janssen， J.， Erkens， G.， & Kanselaar， G. et al. （2007b）. Visualization of Participation： Does It Contribute to Successful Computer-Supported Collaborative Learning？[J]. Computers & Education， 49（4）： 1037-1065.
[17]Jermann， P.， & Dillenbourg， P. （2008）. Group Mirrors to Support Interaction Regulation in Collaborative Problem Solving[J]. Computers & Education， 51（1）： 279-296.
[18]Kirschner， F.， Paas， F.， & Kirschner， P. A. （2009）. A Cognitive Load Approach to Collaborative Learning： United Brains from Complex Learning[J]. Educational Psychology Review， 21（1）： 31-42.
[19]Mendoza-Chapa， S.， Romero-Salcedo， M.， & Oktaba， H. （2000）. Group Awareness Support in Collaborative Writing Systems[C]// Proceedings of the 6th International Workshop on Groupware （CRIWG'00）.Madeira， Portugal.
[20]Strijbos， J. W.， & Sluijsmans， D. （2010）. Unravelling Peer Assessment： Methodological， Functional， and Conceptual Developments[J]. Learning & Instruction， 20（4）： 265-269.
[21]Topping， K. （1998）. Peer Assessment Between Students in Colleges and Universities[J]. Review of Educational Research， 68（3）： 249-276.
[22]Van Bruggen， J. M.， Kirschner， P. A.， & Jochems， W. （2002）. External Representation of Argumentation in CSCL and the Management of Cognitive Load[J]. Learning and Instruction， 12（1）： 121-138.
