AWE纠正性反馈对大学生英语写作修改行为的影响*
蒋旭 陈茜
摘 要：写作自动评价系统（AWE）的发展为写作教学带来了便捷与活力，也为学生提供了自主练习的平台。为进一步探究AWE如何影响用户自主写作修改行为， 文章基于第二写作过程理论，以iWrite 2.0系统为实验平台，通过定量与定性研究，发现系统能有效帮助用户提高写作修改意识、发展错误分析策略、提高写作语言水平与切题度、建立自我评分体系。总体而言，长期使用AWE对大学生写作修改行为能产生积极效用，但仍需教师结合线上练习与线下课堂，最大程度地发挥其效用。
关键词：写作自动评价系统;纠正性反馈;第二写作过程;大学英语写作
中图分类号： TP274? ? ? ? 文献标志码：A? ? ? ? ? ?文章编号：1673-8454（2021）04-0058-05
一、引言
长期以来，写作是大学英语教学的一大难点，于教师而言，为众多学生提供及时且有针对性的反馈煞费精力;于外语学习者而言，滞后且模糊的反馈会减低写作者的信心与热情。教师有限的精力与学习者对有效反馈的需求之间存在矛盾，导致大学英语写作教学呈现低效现状。写作自动评价系统（Automated Writing Evaluation，简称AWE）综合了计算机与互联网信息技术，为写作教学活动注入了新鲜的血液，相关的研究与应用日益增多。自动评价系统的优势在于实时批改和在线反馈。“纠正性反馈”的概念由Chaudron[1]首次提出，指当外语学习者口头或书面用语错误时，收到的来自他人提示错误的反馈信息。传统的纠正性反馈在课堂实际教学中通常表现为教师口头评价、教师红笔批注和同伴互评。近年来，信息技术的融合使得纠正性反馈弥补了传统形式的缺陷，焕发了新的生机与活力。
本研究利用iWrite2.0英语写作教学与评阅系统，以第二写作过程为理论框架，采用前后测实验、问卷调查、半开放性访谈等研究方法，探索了写作自动评价系统纠正性反馈对大学生英语写作修改行为的影响。
二、研究现状
1.写作自动评价系统
写作自动评价系统的发展大致经历了三个阶段[2][3]：第一阶段发生在上世纪60年代，美国杜克大学的Ellis Page教授等开发了Page Essay Grade （PEG）系统，该系统能对文章进行浅层分析，由于技术限制，仅限于语言层面。第二阶段在上世纪90年代，E-rater和Intellimetric系统通过加入潜在语义分析技术，开始着眼于文章的内容与篇章结构，分析日趋多元化。第三阶段发生在本世纪初，My Access！、Criterion、Holt Online Essay Scoring、Writing Roadmap等系统在保留以往功能优势的基础上，新增主题相关度判别技术。经对比发现，这些系统各有千秋，也各存缺陷[4]，尤其体现在非英语母语使用者的适应性问题上。近年来，国内也陆续研发了句酷批改网、iWrite等系统，这些系统均采用母语界面，更贴合我国本土学习者的学习习惯[5]。
国内外学者对自动评价系统的应用效果持不同观点：Bleyle和Dikli[6]认为，在线反馈变革了课堂结构，激发了学习动机，比传统教师反馈更为高效及时。然而，也有学者认为反馈评语存在问题，如Hegelheimer等[7]指出，自动反馈既模糊又刻板，千篇一律的评语会催生学生的写作厌倦情绪;鲁艳辉等[8]认为，部分评语过于泛化，阻碍了学生批判性思维能力的养成。另外，评价的启发效果也因人而异，且局限于写作的微观层面，如词汇、语法、拼写等[9][10]，对于低水平学生而言更是收效甚微[11]。何旭良[12]指出，从信度上看，在线评分高于教师评分，尚不能反映学生真实水平;从效度上看，学生虽在写作水平上稍有提升，但在文章内容、篇章结构、逻辑和连贯性上依旧欠缺，因此在线系统智能性仍需通过与其他教学手段结合获得提升。由此可见，在线反馈并不能完全替代人力反馈，只是有效补充，尚需从理论和实践两方面进行深入探讨。
2.理论框架：第二写作过程
认知过程写作理论认为，写作应当是重过程而非重结果的活动[13]。写作活动可简单地划分为两个阶段：第一阶段为“第一写作过程”（First Writing Process，简称FWP），教师布置任务，学生根据指令完成文章。在第二阶段，教师将作文发回，学生根据收到的反馈进行修改，这个过程称为第二写作过程（Second Writing Process，简称SWP）。该理论提倡以递归的非线性过程教育取代传统的结果教育法[14]，反复的修改和评价有助于培养学生良好的写作习惯并逐步提高写作兴趣[15]。
Flower与Hayes[13]将写作活动分为“规划、转译、复查”三个步骤;赵晓丹[14]提出“写初稿、同伴互评、修改、自我纠错、多稿反复写作、最终稿”六步法;何万贯[16]提出第二写作过程四步骤，即“发现问题”“分析问题”“修改文章”“完成文章、检验成效”。
与FWP相比，有关SWP的研究相对较少，且有关學习者如何利用写作自动评价系统实现SWP的探讨仍然鲜见。鉴于此，本文将利用SWP的理论框架，借助上述何万贯的四大写作步骤，探究在线写作自动评价系统对使用者英语写作修改行为的影响。
三、实验设计
1.研究问题
（1）发现问题
写作自动评价系统能否精准发现用户写作中存在的问题并提高问题发现意识？
（2）分析问题
用户对系统纠正性反馈的采纳度如何？在其帮助下，用户能否熟悉常见错误类型并发展修改策略？
（3）修改文章
在在线反馈的帮助下，用户能否多角度修改文章？
（4）完成文章、检验成效
经长期使用，用户能否有效修改文章并形成个人写作评价体系？
2.实验过程和研究方法
（1）研究过程
实验包含六大步骤，具体流程如图1所示：
整个实验为期一个学期，共有84位浙江理工大学非英语专业大一学生参与，其中文科生41位，理工科生43位，59.52%为男性，40.48%为女性。参与者在iWrite 2.0系统里提交作文总计8篇，教师不参与反馈，由参与者根据系统提示独立修改。这8篇作文均采用大学英语四级考试模拟题。
（2）研究方法
①问卷调查
所有参与者在完成8次写作后，笔者对其进行了问卷调查。为保证数据的有效性，笔者在发放问卷前向参与者解释了问卷中的专业术语，并要求参与者按真实想法填写。在收回的84份答卷中，83份为有效答卷。笔者使用问卷星数据处理系统和Excel统计实验数据。
②前后测
前后测分别设置在学期初与学期末，对4位参与者进行个案研究（下文使用P1、P2、P3、P4来代表4位实验参与者）。前测中参与者根据iWrite系统的写作要求完成一篇话题作文并提交评分。系统评分基于语言、内容、篇章结构和技术规范四个维度。获得系统反馈后，参与者可在无教师干预状态下反复修改并多次提交系统评分直至定稿。笔者观测其中4位参与者（两位文科生、两位理工科生，两位男性、两位女性）的修改轨迹作为本研究前测和前测修改数据。学期末，这4位参与者参加纸质写作测试，笔者收集并保留原始答卷中的错误和修改痕迹输入iWrite系统获得机阅评分，作为后测数据。所有实验数据通过Excel进行整理和分析，详细评分呈现如图2-5所示。
③半开放式访谈
在前测与后测结束后，笔者分别对4位参与者进行了一对一的半开放式访谈。访谈全程录音，笔者将其整理成文字。
四、结果与讨论
本章节结合问卷调查、前后测和访谈三项实验数据，根据SWP四个步骤，分析在线写作自动评价系统纠正性反馈对大学生英语写作修改行为的影响。
1.发现问题阶段
（1）系统反馈的准确度和全面性
问卷结果显示，用户认为系统平均能发现73.1%的写作问题，且大部分的反馈准确有效。然而，由于现存系统的局限性，iWrite在某些情况下仍会产生误判。50%的参与者认为系统反馈准确，15.48%认为非常准确，而仅有1.19%认为非常不准确，另外33.33%表示不清楚。在前后测实验中所得信息与上述问卷结果大致相符。通过比较发现，尽管iWrite可用于侦测拼写错误和标点误用，但却很难识别复杂句和高级语法问题，如例1中P1的一段作文节选：
在这个例子中，系统纠正性反馈提示P1“seemed know”存在语法错误。但是实际上，间接引语的用法也存在错误，iWrite却无法通过联系语境进行识别。有趣的是，P1自己发现了这个问题并进行了修改。在半开放式访谈中，P1说“iWrite反馈比我预想得要更全面具体，但有时它还是会反馈错误信息”。另外，在访谈中还得到iWrite存在“奇怪的词语搭配”“反馈提示删掉一些我认为很好的表达”等评价。
（2）用户发现问题意识的提高
在例1中，由于系统未能全面识别写作错误，P1嘗试自己发现问题。同样，在对P2和P3的访谈中，他们表示会在使用系统的过程中利用自己的经验和判断修改作文。P2称，在使用iWrite修改后，她仍会通过自我复查判断是否还有遗留问题。P3称，在通过iWrite修改后，会根据日常积累增添一些华丽的辞藻。只有P4由于外在干扰因素没有采取iWrite以外的措施修改作文。
在第二次访谈中，谈及在后测中是否尝试主动发现问题时，P1和P2认为，即使测试有时间限制，他们仍然尝试关注文章衔接问题。就连前测中修改较为敷衍的P4也称，自己尝试着去进行词语修改。这表明，在自主使用写作自动评价系统的过程中，用户发现问题的意识逐渐提高。
综上所述，iWrite系统的纠正性反馈可帮助用户发现文章中的大部分问题。然而，系统错误的分析也会造成误导。因此，初稿完成后，用户可借鉴但不能完全依赖iWrite系统反馈。这样既能利用在线系统发现问题，也能提高自主发现问题的意识并养成写作修改的好习惯。
2.分析问题阶段
（1）反馈有效性与用户对纠正性反馈的接受度
有77.38%的参与者认为“技术规范”层面的分析最有效，“语言”以72.62%位居第二。“篇章结构”和“内容”分别以38.1%和26.19%位居第3、第4。在无效反馈中，误导性反馈是iWrite系统的一大缺陷，详情可见例2。
例2展现了iWrite系统对P2作文的一个误导性反馈。从例子中可以看出，尽管系统发现句子存在问题，但是对问题的判断并不准确。在句子“In the meantime...the relationship a lot”中，由于定语从句没有紧跟其真正的先行词“conversation”（原文中此单词拼写有误，且应该为复数形式），从而带来语义模糊。由于iWrite系统无法鉴别真正的先行词，误把“roommates”当成系动词“is”的主语，从而错误提示P1进行无效修改。
问卷第6题探究了参与者对iWrite系统反馈的采纳度。27.38%的参与者采用了将近80%的iWrite反馈，13.1% 的参与者接受了60%，只有3.57%认为系统反馈并无价值。通过计算发现，iWrite系统反馈的平均采纳率为69.4%。这意味着超过一半的系统纠正性反馈对用户是有价值的。
（2）自我分析能力和策略发展
访谈中，所有参与者都认为iWrite系统的纠正性反馈可以帮助他们修改词汇，尤其是高级词汇的替换。系统还具备逐句分析功能，以这种方式，用户逐渐养成逐句修改和逐段修改的习惯，开始采取“点、线、面”多维度润色文章。P1提及，“刚开始使用iWrite的时候，我一个字一个字地修改，以防自己忘记。但是几次修改后，我开始在修改前三思而行，并且一步到位”。在访谈中，P2还表示“当系统反馈与我的判断相左时，我还是会坚持己见”。也就是说，在使用iWrite系统一段时间后，一些用户已经发展出自己的分析标准，不再完全依靠外界工具。
3.修改写作阶段
（1）修改建议来源和修改对象
修改过程是第二写作过程的核心阶段。问卷调查发现，在修改作文时，iWrite系统提供的反馈是参与者的首选参考来源，很少有参与者使用字典或同伴建议这些传统方式。对词语和词组修改最为频繁，其次是对标点和语法的修改。极少有参与者关注文章的内容、主题和连贯衔接问题。
（2）四个评分维度写作水平的变化
P1、P2、P3、P4作文四个维度的评分在iWrite系统后台可见，前测的初稿、终稿和后测分数分别呈现在图2-5中。折线图清晰地反映了参与者四个维度写作水平的变化。每个折线图里都有两组变量控制组，分别对比前测修改前后和前后测。前测修改前后的对比反映了iWrite系统的短期使用影响，而前后测对比反映了较长期使用系统的影响。
实验发现，在第一组控制组中，技术规范和篇章结构提升迅速，内容和语言也有些许进步。然而，在第二个控制组中，除了P3，大部分参与者在语言上有进步。能在短短一个学期内取得语言上的进步，效果是非常显著的，这表明在线自动反馈可潜移默化地影响用户语言水平。同时，内容维度的评分也大幅上升。相较而言，篇章结构和技术规范维度评分无提升甚至略有下降。总体而言，iWrite能通过及时反馈帮助用户从各个方面修改作文，但从较长期实验来看，它只在语言、内容两个维度上产生积极影响，在篇章结构和技术规范维度并不显著。
4.完成文章、检验成效阶段
问卷第9、10题探究参与者根据系统反馈进行修改后对文章的满意度以及写作自动评价系统的优势，结果表明，大部分参与者对根据系统反馈进行修改后的文章表示满意或非常满意。相较于教师反馈和同伴反馈等传统反馈形式，他们认为系统的优势在于“没有提交次数限制”“自己检测文章没有压力和尴尬”“反馈及时”等。简而言之，正是系统给予用户的自主性和自由度使得他们享受练习英语写作的过程，逐渐养成反复自我检验的习惯。在与P2的访谈中得知，iWrite系统还具有激励作用。P2反映，“由于系统反馈中显示班级排名，如果排名落后或是分数低，我就会不停地修改提交直至在班上取得较好名次”。事实上，在前测中P1、P2、P3、P4也都积极进行修改，分别提交4、14、11、4次。
综上所述，iWrite系统给用户提供了一个自由无干预的环境，潜移默化地影响用户对作文进行反复修改。在这个过程中，参与者慢慢了解创作一篇优秀作文的关键点，逐渐建立起他们自己的评分机制。另外，班级排名功能使得用户在学习小组内良性竞争，创造出适合语言学习的良性氛围。
五、结语
基于以上相关实验数据，本研究得出以下结论：①写作自动评價系统（AWE）纠正性反馈能够激发用户发现问题的意识并提高敏感度，但由于系统无法识别复杂问题，用户不能过度依赖系统，而应培养自主发现问题的能力;②用户能养成主动分析问题的习惯，并且发展对应的修改策略，但长期来看，仅限于语言和内容层面;③通过在线纠正性反馈的帮助，用户尝试多角度修改文章，并积极向外界寻求反馈;④得到系统帮助后，用户根据自己的经验和判断，在无压力且零尴尬的环境下，于定稿前反复修改，建立个人评分体系。
总体来说，通过较长时间的应用，写作自动评价系统能够对用户英语写作水平产生影响，但由于技术限制，还无法彻底取代人工反馈。未来，研究者应更多地考虑怎样将信息技术与线下课堂更大程度地融合，充分发挥其对英语写作教学的积极影响。
参考文献：
[1]Chaudron C.A descriptive model of discourse in the corrective treatment of learners' error[J].Language Learning，1977，27（1）：29-46.
[2]梁茂成，文秋芳.国外作文自动评分系统评述及启示[J].外语电化教学，2007（5）：18-24.
[3]张威，蔡文育.大数据时代基于在线自动评改的英语写作反馈研究[J].教书育人（高教论坛），2019（12）：102-103.
[4]邹思琦，钟家宝.国内作文自动评估系统的研究综述[J].海外英语，2018（12）：53-54.
[5]宋毅宁.自动作文评分系统对大学生英语写作能力的影响实证研究[J].大学教育，2019（10）：132-134.
[6]Bleyle S， Dikli S.Automated essay scoring feedback for second language writers： How does it compare to instructor feedback [J].Assessing Writing，2014（22）：1-17.
[7]Hegelheimer V， Li J， Link S.Rethinking the role of automated writing evaluation （AWE） Feedback in ESL writing instruction [J].Journal of Second Language Writing，2015（27）：1-18.
[8]鲁艳辉，谭福民，彭舜.智能写作评分系统在大学英语写作中的实证研究[J].现代教育技术，2010，20（6）：56-58.
[9]杨晓琼，戴运财.基于批改网的大学英语自主写作教学模式实践研究[J].外语电化教学，2015（2）：17-23.
[10]胡学文.在线作文自我修改对大学生英语写作结果的影响[J].外语电化教学，2015（3）：45-49.
[11]杨玲.作文自动评价系统在高水平学生英语写作学习中的应用[J].现代教育技术，2013，23（5）：73-77.
[12]何旭良.句酷批改网英语作文评分的信度和效度研究[J].现代教育技术，2013，23（5）：64-67.
[13]Flower L， Hayes R.Identifying the organization of writing processes[A].In：Gregg L W.Cognitive Processes in Writing[C].Hillsdale N J.：Lawrence Erlbaum Associates，1980：3-30.
[14]赵晓丹.过程教学法在大学英语写作教学中的应用模式构建[J].教育现代化，2019，6（72）：216-218+228.
[15]赵镭.写作自动评改系统在研究生英语实用写作教学中的实践[J].玉溪师范学院学报，2018，34（2）：64-70.
[16]何万贯.第二写作过程研究[J].现代外语，2007（4）：375-386+437.? （编辑：李晓萍）
