| 标题 | 美国大学学生学习结果评估的现状与挑战 |
| 范文 | 谢晓宇 摘要：近二三十年来，学生学习结果评估在高等教育领域受到前所未有的关注。美国国家学习结果评估研究所（NILOA）通过两次全国调查收集关于学生学习结果评估的信息和数据，旨在发现和传播大学内部有效利用评估数据的方式，并针对有效使用评估数据的大学进行有指导性的案例研究。通过对NILOA的调查解析，探讨美国大学学生学习结果评估的现状与挑战。 关键词：高等教育评估；学生学习结果；NILOA；美国 在高等教育领域，学生学习结果评估（Students Learning Outcomes Assessment）近年来备受关注。学生学习结果评估兼具问责和改进的双重目的：一方面，回应政府、社会组织和公众等不同利益相关者的外部问责，证明大学的效用；另一方面，收集和使用评估数据和信息，改进大学内部质量。[1]美国国家学习结果评估研究所（National Institute for Learning Outcomes Assessment，NILOA）创建于2008年，通过收集学生学习结果评估的信息和数据，旨在发现和传播大学内部有效利用评估数据的方式，并针对有效使用评估数据的大学进行有指导性的案例研究。本文通过2009年和2013年NILOA针对全国范围内已经获得认证并授予本科学位的两年制和四年制公立、私立和营利性大学开展的两次调查，探讨美国大学学生学习结果评估的现状和挑战。 一、从“教育投入”到“教育产出”：学生学习结果评估的时代背景 早期的高等教育质量评估关注教育经费的投入和教育资源的使用，属于间接评估，不能直接反映高等教育质量。20世纪80年代，美国发表的三个报告《投入学习：开发美国高等教育的潜力》、《大学课程中的完整性》和《追求结果的时代》促使高等教育质量评估从注重教育投入（input）转变到教育产出（output），开始关注学生学习结果。[2]2006年，美国高等教育未来委员会向时任教育部长玛格丽特·斯佩林斯（Margaret Spellings）提交的报告《领导力的考验——美国高等教育未来规划》（A Test of Leadership： Charting the Future of U.S Higher Education）中提出，虽然美国高等教育取得了引以为豪的成就，但如果想要继续保持这种竞争力，必须通过某种方式加以改善。委员会提出了六项改革建议，其中一项指出，由于美国大学学生学习质量正在下滑，应该将学生学习作为回应高等教育问责和增强透明度的核心内容。同时，委员会也建议认证机构应该将学生学习结果纳入评估的优先指标。[3]学生学习结果评估逐渐成为高等教育领域普遍关注的重点问题。 2008年12月，以伊利诺伊大学（University of Illinois）和印第安纳大学（Indiana University）为依托，在乔治·库（George Kuh）和斯坦·伊肯伯里（Stan Ikenberry）的倡导下，美国成立了国家学习结果评估研究所（NILOA）。[4]NILOA接受鲁米那基金会（Lumina Foundation）、提格尔基金会（The Teagle Foundation）和伊利诺伊大学厄巴纳-香槟分校教育学院（College of Education，University of Illinois at Urbana-Champaign）的资助，[5]由国家咨询小组（National Advisory Panel）领导，①协助大学、认证机构、高等教育协会和基金会等教育机构以及包括学生、家长和雇主在内的利益相关者收集关于学生学习结果评估的信息，通过收集、使用和分享这些信息促进学生学业成就和本科教育质量的提高。为了全面掌握大学内部不断变化的评估状况，NILOA会定期开展在线调查、访谈以及分析评估网站，针对能够有效使用评估数据的大学进行有指导性的案例研究。[6] 二、NILOA 的全国调查：学生学习结果评估的发展现状 NILOA的调查对象是已经获得区域认证并授予本科学位的两年制和四年制美国公立、私立和营利性大学。2009年和2013年，NILOA通过在线调查和访谈分别获得1518所和1202所美国大学教务长和学术负责人关于学生学习结果评估所做出的回应。较高的参与率使NILOA有理由相信调查结果提供了美国大学学生学习结果评估现状的可靠肖像。 （一）开展学习结果评估已成为常态 由于政府、政策制定者和社会公众对学生学习结果的关注以及大学内部改进教学和学习质量的迫切需求，美国大学广泛开展学生学习结果评估。根据2013年NILOA调查显示，约84%的大学已经开展适用于本科生的学生学习结果评估，比2009年增长了10%。[7]多数大学已经将评估活动纳入常规工作部分，制定评估计划并设置组织机构，由教师和管理者共同合作和监督院校、项目和课程等不同层面的评估活动。评估流程通常包括六个阶段：制定计划—收集数据—分析数据—共享数据—使用数据—结果反馈。此外，大学之间还通过召开评估会议和举办区域性论坛来加强彼此的交流和合作，如每年召开的德克萨斯A&M会议（Texas A&M Assessment Conference）就表现出对学生学习结果的高度关注。美国大学对学生学习结果的关注以及评估活动的开展表明其正在努力记录和掌握学生学习的基本情况。 （二）院校、项目和课程评估相结合 美国大学学生学习结果评估包括院校、项目和课程三个层面。NILOA对大学教务长的调查显示，从院校、项目和课程三个层面测量的学生学习结果有所不同，但都强调使用证据来改进学生学习。院校层面负责制定评估计划和相关政策，支持和协调学院的评估活动，收集评估数据和使用评估结果。例如，德克萨斯A&M國际大学（Texas A&M International University）在院校层面采用的“框架评估”（frame assessment）就强调战略计划、评估活动和资源分配的一致性。评估由大学评估委员会负责，所有学术项目每年评估一次，并指派协调员监督评估工作和改进评估效果。[8] 项目层面和课程层面与教师和学生学习需求密切相关，关注与学生学习相关的特定问题，包括保证专业发展资源、修订和调整课程、赋予教师优先权、提高支持学生的服务等，旨在提高教师参与度，更直接有效地使用评估结果。例如，卡内基梅隆大学（Carnegie Mellon University）非常关注教师提出的关于学生学习和有效教学问题，该大学的埃伯利卓越教学中心（Eberly Center for Teaching Excellence）采用数据驱动（data-driven）②的方法促进提高教师教学质量和学生学习质量，加强教师与各学院院长、系主任和评估项目负责人的密切合作，为实施和改进评估计划提供支持。埃伯利卓越教学中心网站记录了项目层面和课程层面关于学生学习结果评估的数据以及评估示例，每个示例包括评估目的、评估过程、评估结果和教师评论。[9]由此可见，NILOA调查的有指导性的大学案例非常重视教师在教学中的转变和对学生学习的影响，教师的参与是能够有效使用评估结果的关键要素。 （三）评估工具和评估方法使用广泛 在评估运动早期，大学通常将教师评定成绩（grading）作为系统收集学生学习结果评估数据的方法。这种方法意味着大学在没有指导性制度的情况下运用着一种或多种现成工具，遭到政策制定者的质疑。如今，评估工具和评估方法使用愈加广泛，2013年NILOA调查显示美国大学使用评估工具或方法的平均数为5，比2009年多了2个。[10] 评估工具和评估方法的多元化为不同“观众”提供了“说话”的机会，对于大学制度改进和促进评估实践非常重要。美国大学测量学生学习结果通常是直接测量和间接测量相结合，方式既可以是定量（如标准化考试），也可以是定性的（如学生或校友调查、学生档案袋和评价量表等）。NILOA调查显示约四分之三的美国大学已经针对本科生采用通用的测量学习结果的方法（如CLA，CAAP或MAPP），③这个比例高于美国大学与学院协会（Association of American College and Universities，AAC&U）2008年所获得的数据。院校层面评估主要依赖于学生调查，如全国大学生学习性投入调查（National Survey of Student Engagement，NSSE），项目层面评估更倾向于使用学生档案袋和评价量表。[11] （四）评估数据主要用于质量认证 质量认证是美国大学开展学生学习结果评估的主要推动力，大学不仅要接受区域认证，部分学员的专业项目还要接受专业认证。20世纪90年代后期，美国高等教育认证委员会（Council for Higher Education Accreditation，CHEA）要求大学测量关于学生学习结果的内容，并通过公开出版刊物和组织研讨会议等形式加强认证机构间的交流和合作，为认证人员提供政策框架以规范认证行为。2016年9月，全美共有6个区域性高等教育认证机构，49个专业性认证机构通过了CHEA的认可，[12]CHEA期望美国大学收集、分析和使用能够反映学生学习结果的数据。 获得质量认证能为大学带来不小的收益。大学期望在质量认证中获得良好的声誉，改进教学和学习；期望联邦政府和州政府以此作为判断高校绩效拨款的重要指标；期望获得社会组织和民间机构更多的支持；期望成为家长和学生选择学校和专业的依据。NILOA从对教务长的调查中了解到，大学开展的评估活动几乎都与认证相关，或为即将到来的认证做准备，或针对重新认证的建议做出回应，评估数据的使用直接与认证相关。但教务长们对认证能否改进大学内部质量的回应有所不同。一部分认为目前的评估结果主要用于认证，很少能够真正改进教学和学习。即使认证机构的建议能够促进大学开展更多的评估活动，但这些活动更倾向认证机构的“偏好”，做不到真正的深入和反思。另一部分认为虽然直接用于质量认证的评估似乎看起来没有意义，但认证确实能够成为回应外部问责和实现内部改进的“有力杠杆”。 三、“数据使用”和“教师参与”：学生学习结果评估面临的挑战 虽然学生学习结果评估在高等教育领域已经受到广泛关注，大学也正在积极开展学生学习结果评估活动，但仍然存在两个关键问题。其一，大学过分强调收集数据，忽视“使用”数据；其二，教师参与评估活动的积极性不高，这种态度和行为已经产生涟漪反应。NILOA调查显示，教务长就此提出两种担忧：大学获得认证之后，评估还会不会继续？教师是否会继续将评估视为“负担”？“数据使用”和“教师参与”成为美国大学开展学生学习结果评估面临的最大挑战。 （一）数据使用 琳达·苏斯基（Linda Suskie）曾指出：“如果评估对改进教学和学习没有帮助，为什么还要做？”[13]评估目的不是简单的收集大量有效且可靠的数据，而是使用评估数据来回应问题、制定政策和做出决策，所有这些都旨在改进大学内部质量。“做”评估（doing assessment），就是简单地开展评估活动，它与使用评估结果不同。大学通过直接和间接的方式测量学生学习结果、获得评估数据和撰写评估报告，来了解学生知道什么以及正在做什么，这只是在“做”评估；评估的真正目的是“使用”评估结果（using assessment results），利用评估结果改进教学和学习质量。 实际上，要实现“使用”评估结果的目的并不容易。图1表示的评估活动六个阶段能够很好地解释“做”评估与“使用”评估结果的差异。这六个阶段形成一个“评估环”，前两个阶段的制定计划和收集数据通常与“做”评估相关，而“使用”评估结果包括分析数据、共享数据、使用数据和结果反馈。前两个阶段较为容易；分析和共享数据较为困难，要求大学内部不同层面的评估机构沟通和合作；使用数据和结果反馈更加困难，要求大学在评估实践中获得改变，这些改变应该能够提升教学和学习质量。由于“做”评估相对容易，也造成了大学过分强调收集数据，忽视“使用”数据的趋势。沃巴什国家研究（Wabash National Study）中發现，多数大学通过一系列的调查、标准化测试和学生访谈都能够收集足够的可操作性评估数据，但在使用评估数据方面却没有多少经验。很多大学的评估规范就是收集数据，然后将结果报告给少数人，如果评估结果不存在明显问题就暂时搁置，收集数据的风险和复杂性远远低于对数据的处理。[14] （二）教师参与 教师是大学开展评估活动和实现评估目的最直接的利益相关者，他们最想获得准确、有效和可靠的评估数据以改进教学和学习。NILOA的两次全国调查获得一致的结论：教师参与是推动评估活动的关键因素，但同时也是开展评估活动面临的最大挑战。影响教师参与评估活动的主要原因包括四个：第一，多数教师没有经过心理测量或评估的正式培训。学生学习结果评估经常强调收集数据的技术，但很少有教师可以在课程层面应用这些技术。[15]有些教师不能准确区分直接测量和间接测量，不会使用量化方法测量学习结果，很难在评估过程中获得直接改进教学和学习的数据，这阻碍他们参与评估活动。第二，评估活动给教师带来负担和压力。当评估被看作是为回应外部问责的额外工作时，教师对参与评估的机会成本提出质疑，“做”评估意味着可能放弃其它带来更大“收益”的事情。一位来自文理学院的教务长在NILOA问卷调查中写道：“我担心如果要求所有教师都参与到评估活动中，教师可能会因为负担过重而反抗。”[16]另一位教务长指出：“教师承担着教学、科研和服务的压力，而参与评估活动的专门人员又很少。换句话说，我担心负担过重，教师不能反思教学。”④第三，教师追求“终身教职”（tenure）。多数没有获得终身教职或终身教职轨（tenure track）的教师除了承担教学、科研和服务的压力外，他们往往工资低，获得的支持不足，参与评估活动既花费时间，也不会获得很多报酬。第四，教师对评估有效性提出质疑。联邦政府和州政府对评估的外部推动以及认证机构的外部要求，使得很多教师认为大学只是在回应外部问责，而不是真正改进学生学习。2013年NILOA调查结果显示，很难找到大学直接改进学生学习的“证据”，即便那些有指导性的大学案例也只是在评估实践中出现更好的变化，而这些变化并不能直接改进学生学习。 影响教师参与评估活动的原因是非常真实且重要的，教师的担忧突出反映了大学自治和问责之间的紧张关系。但近年来，教师的态度有所缓和，他们通过认证了解到评估的某些价值。正如彼得·尤厄尔（Peter Ewell）所说：多数学者现在已经意识到参与评估已经成为大学“做生意”的条件，因为认证要求看到“纳税人”和“潜在客户”的结果。[17] 四、结语 由于政府、政策制定者和社会公众对学生学习结果的关注，以及大学内部改进教学和学习质量的迫切需求，美国大学开始广泛开展学生学习结果评估。特别是20世纪90年代后期，高等教育认证委员会将学生学习结果纳入认证指标，大学同时接受区域认证和专业认证，学生学习结果评估在高等教育受到前所未有的关注。NILOA两次全国调查可见，在美国高等教育领域开展学生学习结果评估已经成为常态，多数大学在不同层面开展评估活动，评估工具和评估方法使用广泛。但与此同时，由于多种因素的影响，美国大学学生学习结果评估正处在转折的边缘，面临着“数据使用”和“教师参与”的挑战。在这种背景下，似乎可以归结为一个核心问题：从大学外部和内部的角度，如何帮助大学促使学生学习结果评估变得更有意义？换句话说，如何更有效地“使用”评估结果，真正促进教学和学习？ 从大学外部来看，联邦政府、州政府、认证机构和高等教育协会可以通过强调使用结果以及记录大学在政策和实践中的变化来实现更有意义的评估。认证机构对大学开展学生学习结果评估的影响不可否认。正如NILOA调查中指出，如果没有区域认证和专业认证，评估不会如此具有普遍性和多样性。认证机构必须清楚地阐明对学生学习结果评估的期望和要求。如果评估的主要问题事先阐述清楚，评估结果可能更有意义；认证机构所关注的问题越具体，大学越容易回应外部问责。简单来说，如果评估结果只是作为分数发布到网站上，这对政策制定者、大学、家长和学生没有什么价值。 从大学内部来看，以“改进”为目的的大学评估除了满足认证需求外，应该更倾向于获得其他方面的信息。考虑到如何提高教师参与度的问题，大学必须鼓励教师直接参与到学生学习结果评估中来，这也可能涉及到大学制度文化的转变。一方面，为教师创造不同的对话机会（如定期的评估会议、教师例会和工作坊等），让他们了解学生学习结果评估的重要性。卡内基梅隆大学从制定政策到确定课程，不同层面的评估实践都由教师主导。另一方面，强调文化创新和文化改进，使评估活动系统且有序的进行。圣奥拉夫学院（St.Olaf College）就是以“支持学生学习”的调查为评估的基本框架，这种框架是建立在大学制度文化基础上。[18]但需要意识到，大学的制度文化既可以促进教师参与，也有可能阻碍教师参与，正如NILOA调查中教务长所提到的，目前担心的最大问题就是教师和管理层之间的不信任。 此外，评估网站可以作为大学外部和内部沟通的媒介，增强评估的透明性。NILOA基于2000所美國大学评估网站的深入分析和调查研究，形成关于学生学习结果的透明框架（transparency framework）。这个框架不是一个评级量表，而是作为大学外部和内部分享评估“证据”的资源和指南，加强对学生学习结果信息传播的透明化。它确定了学生学习结果评估的六个关键部分：（1）评估条例；（2）评估计划；（3）评估资源；（4）评估活动；（5）评估证据；（6）评估结果的使用。[19]虽然不是所有大学的学生学习结果评估都应该包括这六个部分，但已经采用这个框架的大学证明，它确实成为大学开展学生学习结果评估的“催化剂”。 注释： ①国家咨询小组由乔治·库、斯坦·伊肯伯里、娜塔莎·扬可夫斯基（Natasha Jankowski）和彼得·尤厄尔等组成。 ②“数据驱动”强调用一种及时的方式获取、处理和使用数据。 ③分别指大学校际学习结果评估（Collegiate Learning Assessment，CLA）、大学学业水平评估（Collegiate Assessment of Academic Proficiency，CAAP）、学业水平和进度测试（Measure of Academic Proficiency and Progress，MAPP）。 ④据2009年NILOA调查显示，20%的美国大学没有专门的评估人员，65%的大学有两个或者更少。 参考文献： [1]Victor M H Borden & Gary R Pike.Assessing and Accounting for Student Learning： Beyond the Spellings Commission[M].San Francisco： Jossey-Bass，2007：9-10. [2][15]Trudy W Banta.Building Scholarship of Assessment[M].San Francisco： Jossey-Bass，2002：7-8，270-271. [3]Richard J Shavelson.Measuring College Learning Responsibly： Accountability in a New Era[M].California： Stanford University Press，2010：1-2. [4][6]National Institute for Learning Outcomes Assessment.Making Learning Outcomes Usable& Transparent[EB/OL].[2016-10-20].http：//www.learningoutcomesassessment.org/documents/About%20NIL OA%202013.pdf. [5]National Institute for Learning Outcomes Assessment.Collaborating Associations & Foundations[EB/OL].[2016-11-23].http：//www.learningoutcomesassessment.org/CollaboratingAssociationsAndFoun dations.html. [7][10]George D Kuh，Natasha Jankowski，Stanley O lkenberry，Jillian Kinzie.Knowing What Students Know and Can Do： The Current State of Student Learning Outcomes Assessment in U.S.Colleges and Universities[R].National Institute for Learning Outcomes Assessment，2014：3. [8][9][14][16][18]George D Kuh & Stanley O Ikenberry.Using Evidence of Student Learning to Improve Higher Education [M].San Francisco： Jossey-Bass，2015：59-60，60-61，57，100，99-100. [11]George Kuh and Stanley lkenberry.More Than You Think，Less Than We Need： Learning Outcomes Assessment in American Higher Education[R].National Institute for Learning Outcomes Assessment，2009：8-10. [12]Council for Higher Education Accreditation.2016-2017 Directory of CHEA-Recognized Organizations[EB/OL].[2016-10-04].http：//www.chea.org/pdf/2016-2017_Directory_of_CHEA_Recognized_Organizations.pdf. [13] Linda Suskie.Assessing Student Learning： A Common Sense Guide[M].Bolton： Anker：2004：18. [17]Peter T Ewell.Assessment，Accountability，and Improvement： Revisiting the Tension [R].National Institute for Learning Outcomes Assessment，2009：6. [19]National Institute for Learning Outcomes Assessment.Transparency Framework[EB/OL].[2016-12-20].http：//www.learningoutcomesassessment.org/TransparencyFrameworkIntro.htm. （責任编辑陈志萍） |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。