大数据时代美国教育数据质量管理流程与保障
王正青 但金凤
摘要：人类社会已进入大数据时代，教育数据质量管理是教育数据充分发挥潜在价值的关键因素和基本前提，同时也是教育数据治理体系建设中的薄弱环节，因而成为教育信息化领域普遍关注的议题。美国走在全球教育数据质量管理的前沿，其在教育数据质量管理流程各环节的经验可归纳为：一是通过构建教育数据标准确立了教育数据质量管理的基准;二是通过规范教育数据收集過程确保了教育数据在源头上的质量;三是通过落实教育数据输入责任明晰了各类人员在教育数据输入环节的职责;四是通过执行教育数据审查程序守护了教育数据质量的门槛;五是通过运用教育数据挖掘技术强化了对异常教育数据的监测;六是通过强调对教育数据的使用推动了教育数据质量的常态化管理。此外，美国还依托出台教育数据质量保障政策、培育教育数据质量文化、确立双重技术保障机制、推进数据人员专业发展等措施，初步构建起了教育数据质量管理保障机制。借鉴美国在教育数据质量管理方面的做法，我国首先应制定统一的教育数据质量标准和使用办法，规范教育数据的采集输入过程和审查程序，进而应用数据挖掘技术对异常教育数据进行诊断，同时需要提升教育数据管理人员的数据质量意识和素养。
关键词：美国;大数据;教育数据;数据质量;管理流程;保障措施
信息化浪潮已将人类社会带入大数据时代。作为教育领域的重要资产，教育大数据有益于教育领导者更加科学地制定教育决策，优化教育资源配置，推动教育系统的创新发展（王正青和徐辉，2018）。在构建有效的教育数据治理体系过程中，数据质量管理作为教育大数据有效运用的关键环节，成为当前教育信息化领域普遍关注的议题。由于教育数据标准化定义缺失，数据收集程序混乱，数据质量管理薄弱，致使教育数据在及时性、有效性、准确性、完整性以及可用性等方面仍存在明显不足。加之教育数据类型多样且来源广泛，造成教育数据质量低劣，利用效率低下，价值定位模糊，数据资源浪费，数据修复困难等问题（Chen et al.，2012）。本文在明晰教育数据质量管理标准与价值的基础上，探析美国在大数据时代所采取的数据质量管理流程与保障体系，以期为推动我国的教育数据质量建设提供有益借鉴。
一、大数据时代教育数据有效质量管理的标准与价值
教育数据质量管理是大数据时代教育数据资产得以盘活利用的关键环节，是依托数据资源制定科学的个性化学习策略的基本保障。明晰教育数据质量管理的内涵及标准，厘清其价值意蕴，是推进教育数据质量管理的基础。
1.教育数据质量管理的内涵及标准
美国联邦教育部下设的“隐私保护技术援助中心”（Privacy Technical Assistance Center，PTAC）认为，教育数据质量管理即是确定关于教育数据质量预防、监测以及纠正数据错误和数据误用的一系列策略，以达成维护高质量教育数据的目标（Privacy Technical Assistance Center，2015）。教育数据质量管理要求建立统一的教育数据质量标准，定期检测教育数据存在的问题，及时更新数据质量管理策略。美国国家教育统计中心（National Center for Education Statistics，NCES）指出，“衡量数据质量最明显的标准就是数据的准确性，即数据信息准确描述其所代表的真实机构或现象的程度”（National Center for Education Statistics，2011a）。教育数据质量管理过程中必须保障数据信息准确无误，确保数据的及时有效，使所收集到的教育数据能够以既定的数据定义和数据名称进行编码，保障教育数据的规范统一。此外，NCES也强调在教育数据质量管理的过程中需要保护隐私，防止恶意的数据篡改，进而维护数据安全，保障教育数据质量。
2006年，美国联邦教育部成立了由各方代表组成的教育数据治理委员会（EDFacts Data Governance Board，EDGB），致力于教育数据质量管理。EDGB提出了判断教育数据质量的五项标准（EDFacts Data Governance Board，2018）。一是及时性，各项数据要在指定的收集截止日期之前提交，并及时在教育数据系统中对其进行更新。二是完整性，要求收集和提交的教育数据包含所有需要的数据信息，无数据丢失。三是准确性，规定教育数据无信息错误，且能够通过权威的数据审查和认证。四是有效性，即制定数据标准，确立统一的数据定义和数据代码名称，使不同主体对相同教育数据的报告和理解一致。五是可用性，强调数据计算或数据分析与数据本身相适应。概言之，教育数据质量管理是与教育数据质量相关的一系列实践举措和制度规范，包括建立数据质量标准，出台数据质量保障政策，强化数据质量管理意识，全面规范数据质量管理流程，构建数据人员和技术方面的双重质量保障，最终在数据收集、数据储存、数据审查、数据维护等环节落实教育数据质量要求，并适应大数据时代对教育数据的需求。
2.教育数据质量管理的实践价值
教育数据作为一种重要资产，正深刻改变着人类生活方式和社会发展方向，引领着教育理念和教育方式的发展与变革。强调教育数据质量管理，有益于改善当前混乱的教育数据收集标准与程序，有效规避无效、错误数据的输入，破解数据陈旧、数据冗余、数据孤岛等问题，以提升教育数据质量，减少数据资源浪费，强化数据分析的信度和效度。美国联邦教育部以及各州和地区的教育机构着眼于解决教育数据质量困境，秉承高质量的教育数据对教学、学习和学校的管理不可或缺，且其是有效开发数据资源、盘活数据资产的重要基石的信念，大力推行教育数据质量管理策略。毋庸置疑，在“大数据”的时代背景下，海量教育数据的实际价值几乎直接取决于其质量的优劣。高质量的教育数据不仅能够有效地促进科学的教育决策，推动教育体系的发展与创新，而且也能够优化教育数据质量环境，发挥庞杂教育数据资源的价值（吴雪萍等，2018）。
加强教育数据质量管理具有显著的实践价值，具体体现在以下几个方面。一是可避免基于教育数据的错误分析和无效推论。低质量、不准确的教育数据不但会误导教育工作者得出错误结论，更会让公众对提供数据的教育机构的数据质量失去信心，进而导致该机构被永远地贴上“不可靠”的标签。高效的数据质量管理则有益于保障教育数据的正确性、完整性、有效性和及时性，提升数据分析和数据计算结果的可信度，为数据使用者与数据提供者带来双赢。二是可降低教育数据资源的修复成本。一旦发现错误数据，相关组织就会对其进行审查和修正，该过程涉及听证、审查、裁决等环节，这些都会导致行政和技术上的人力、物力和财力浪费（杨现民等，2018）。有效的数据质量管理能确保数据准确无误，进而减少数据修订等繁琐程序所造成的资源浪费。三是可催发科学的教育决策，优化数据资源配置。教育数据的不准确、不及时、不完整以及数据分析结果的错误，无疑都会误导教育政策制定与教育资源的分配，进而影响教育的公平与质量提升（顾小清等，2014）。教育数据质量管理有益于充分开发教育数据的潜在价值，帮助教育决策者依托高质量的教育数据制定科学有效的教育政策，进而推动教育体系的健康和谐发展。
二、大数据时代美国教育数据质量管理流程
数据质量是教育数据治理的着眼点。美国联邦政府及各州的教育管理机构联合学校和地区教育组织机构，通过明确教育数据质量标准，规范数据收集与录入程序，严格审查数据质量，及时使用教育数据资源等程序，实现了教育数据质量管理流程的规范化运行。
1.数据标准：确立数据质量管理基准
构建教育数据标准是教育数据质量管理的基本环节，也是实现教育数据共同理解、诊断教育数据错误的重要依据。美国国家教育统计中心（NCES）致力于提高教育数据质量，通过与各类利益相关者共同努力，最终建立了教育数据共同标准（Common Education Data Standards，CEDS）。CEDS最初主要被用于反映K-12教育领域中的教育数据标准、名称和定义，随着时间的推移和教育数据工作人员对其的拓展，CEDS的覆盖范围早已扩展到高等教育、早期教育以及劳动力市场等其他领域，其明确了相应领域的教育数据通用名称和定义（California Department of Education，2018）。CEDS的确立有益于提高教育机构收集和储存教育数据的透明度，有助于将本机构的教育数据名称、定义与其他机构进行参照比较，以便快速地侦测出异常数据。
美国加利福尼亚州教育局（California Department of Education，CDE）為强化数据质量管理，于2016年1月开始实施“教育数据治理计划”（Educational Data Governance Program，EDGO），并把开发教育数据标准列为该计划的优先事项。截至2018年1月，CDE已经为858个教育数据元素和102个教育数据代码集成功建立了数据标准（California Department of Education，2018），并大力号倡导育领域利益相关者（如教育数据收集者、教育研究人员以及一线教育工作者等）的积极合作，促使其在数据标准实施和数据库管理方面达成共识，共同关注教育数据质量管理，实现对教育数据的共同理解。
2.数据收集：确保教育数据源头质量
数据收集是保障数据质量的重要前提，教育数据收集过程的规范性更是直接左右着教育数据质量的优劣。教育数据收集工具种类繁多，包括传统的纸质表单和电子形式的数据表格等。为有效规避人工数据收集所造成的误差，美国联邦教育部更主张采用自动化的数据收集模式，并以电子形式进行教育数据的传输。但无论采取何种收集工具和收集模式，美国联邦教育部都严格要求各教育机构在数据收集的过程中秉承以下五项基本原则（U.S. Department of Education，2006）。一是相关性原则。教育机构应当在收集教育数据之前对拟收集的教育数据进行严格审核，以确定哪些是必须的，哪些是过时或冗余的，进而使最终收集到的教育数据能够适用于既定或潜在的数据报告需求。二是唯一性原则。即所要收集的教育数据是联邦教育部和其他机构尚未收集或获得的，从而确保了数据收集的价值和意义，避免了数据冗余、数据孤岛和资源浪费。三是清晰性原则。教育数据收集过程应清晰直接地说明对每个数据输入的期望，清楚地定义每个数据的内涵及意义，详细记录数据收集过程中所丢失的和还未收集到的数据元素或数据单元。四是有效性。所有教育数据收集过程中的相关表格都应遵循相应的数据业务规则，并确保离散数据元素的响应率达到100%。五是易用性原则。确保数据收集过程尽可能简单，并利用数据收集工具追踪数据维护人员的日常工作。
除美国联邦政府外，美国各州也积极推进教育数据质量建设，重视教育数据收集规范。如美国肯塔基州强调教育数据收集的内容时效性和相关性，要求该州的数据专员时刻关注社会发展动态和教育研究需求，及时更新教育数据标准，以实现教育数据价值的最大化。在进行教育数据收集之前，相关教育数据的收集主体还须认真填写并提交肯塔基州教育局所印发的教育数据收集请求表，其内容涉及支持主体、数据收集范围、理由、实施日期、相关法律规定以及数据收集风险分析等（Kentucky Department of Education，2015）。
3.数据输入：明晰各类人员数据职责
教育数据输入的规范性和正确性对于数据质量的影响不言而喻，其决定着数据资源能否得以正常使用。在学校等教育机构中，每天都在产生海量的教育数据，教育机构除了采用智慧传感器和数字化教育设备采集教育数据外，往往还需要相关人员人工输入人口统计学信息、出勤信息和学生成绩等教育数据，涉及的主体不仅包括教师、校长，也包括学校董事会成员、数据协调员、技术支持人员等。对于不同主体而言，所承担的数据责任不一，在教育数据输入过程中所扮演的角色也存在一定差异。
三、大数据时代美国教育数据质量保障措施
随着教育数据质量管理实践的深入，美国联邦教育部及各州教育局也在持续推进教育数据质量的保障体系建设，通过出台数据质量规范，提升数据专员数据素养，营造高质量的教育数据文化氛围等措拖，确保了教育数据管理的和谐健康发展。
1.出台质量保障政策，规范数据质量管理流程
美国联邦政府重视教育数据质量建设，积极应对教育数据质量管理中存在的漏洞及潜在风险，及时出台教育数据质量规范政策，明确数据质量治理目标，科学引领数据质量文化建设进程。2001年，美国通过《数据质量法案》，要求教育部在内的所有联邦机构注重数据质量管理，针对具体的数据质量问题及时发布指导方针，以确保数据信息的客观性、完整性和实用性。2002年，美国联邦教育部又发布了《信息质量指南》，详细描述了传播和发布教育数据的相关审查程序，落实了教育数据质量管理要求，强化了教育数据质量保障基础（EDFacts Data Governance Board，2018）。2006年，美国联邦教育部联合中小学教育办公室联合发布了《提高数据质量标准、评估和问责报告》。该报告十分关注教育数据的收集和报告机制，概述了典型的数据质量问题，明晰了数据质量管理的目的、维度和举措。
美国国家教育统计中心（NCES）与美国各州教育局积极合作，协同推动教育数据质量建设，并于2011年颁布了《数据治理清单》（National Center for Education Statistics，2011c）。该清单可有效地指导各机构解决教育数据质量问题，确保教育数据的相关性、准确性、及时性和完整性。该清单强调各组织机构在推进数据治理的过程中应及时建立并定期更新质量保障策略，自觉追求高质量的教育数据，严格把控教育数据质量审查程序，及时纠正教育数据中存在的错误和缺陷，以有效杜绝质量低劣的教育数据。上述机构所颁发的教育数据质量管理相关指南和制度规范，明晰了高质量教育数据的内涵及维度，促进了教育数据质量管理的发展。
2.培育教育数据质量文化，全面优化数据质量环境
教育数据文化是一种信念，即相信良好的教育数据同书籍一样，都是重要的资源，值得任何一个教育机构付出时间和资金，以获取真实、准确、安全、及时的高质量教育数据。换言之，构建高质量的教育数据文化就是要使所有教育工作者，包括教师、学校管理者、学校董事会成员及其他相关人员能够形成普遍共识，共同秉持“高质量的教育数据是学校教育的重要组成部分”这一信念，坚信数据质量是教育数据资源的灵魂，不断推进教育数据质量发展，进而确保高质量教育数据的持续供给和规范利用。
美国国家教育统计中心（NCES）积极开展面向学校和学区的教育数据文化建设，强调对教育数据质量意识的引导。其要求学校在构建数据质量保障机制的过程中，要全面完善为实现高质量数据文化所需遵循的价值观念，积极出台数据质量管理规范和原则，遵循教育数据质量管理的政策法规和制度指南，使学校教职员工及时了解学校负责录入的教育数据及其责任主体，以及各项教育数据的目的和作用。通过强化数据质量意识，提高专业数据人员和学校工作人员对数据质量的敏感性，增强其对数据质量问题的识别能力。
3.确立双重技术保障机制，规避数据质量影响因素
美国联邦教育部认为，影响教育数据质量的因素多样，主要涉及以下几个方面（U.S. Department of Education，2006）。一是缺乏标准化的教育数据定义。即不同的数据提供者对于相同教育数据元素的理解存在偏差，因而使用了不同的数据定义，这会造成海量的非可比数据被不恰当地聚合，进而导致不可靠的数据分析结果。二是教育数据不可用。即学校和教育相关部门真正需要的教育数据不存在或不易访问。三是数据录入错误。即将不准确的教育数据输入到了数据收集系统中，导致在报告教育数据信息时可能出现错误的结果。四是教育数据缺乏时效性。即教育数据未及时更新或提交，致使统计报告在完整性和准确性上存在明显不足。五是教育数据的传输缺乏协调性。即在一个系统中收集到的大量教育數据不能通过电子方式传输到其他教育系统，而在多个系统中重复输入同一个对象的数据则不仅会造成资源浪费，同时也会增加数据错误的概率。
美国联邦教育部要求教育数据的录入人员、管理员和技术人员通过协同配合的方式来更新相关的硬件和软件技术，进而落实教育数据质量管理程序，依靠技术手段有效规避影响教育数据质量的不良因素。为此，美国联邦教育部开发了教育数据自动编辑检查程序，要求数据专员使用高保密性的登录密码，认真编写密码安全程序，时常更改密码，并及时将其分发给相关工作人员，同时还提供了密码找回等相关帮助服务。依托硬件与软件相结合的双重技术保障措施，全面保护了学生的个人数据隐私，确保了教育数据安全，防止了教育数据被随意更改。
4.推进数据人员专业发展，提升协同主体数据素养
提升教育数据相关工作人员的数据素养是教育数据质量管理的一个重要环节。美国联邦政府及各州的教育相关部门注重教育数据相关工作人员的数据素养提升，大力实施数据专员的相关培训（王正青和张力文，2018）。2007年，美国堪萨斯州教育局（Kansas State Department of Edncation，KSDE）开发了数据质量认证项目（Data Quality Certification，DQC），为数据录入人员、数据协调员、程序工作员以及数据管理人员提供专门的教育数据培训课程，科学指导其数据质量综合实践技能提升（Data Quality Certification，2018）。培训依托KSDE网络的数据应用程序（如堪萨斯州学生个人数据系统）开展，以期提升教育数据相关工作人员的数据素养。
美国职业和成人教育办公室（Office of Vocational and Adult Education，OVAE）向各州持续性地提供教育数据培训和数据质量管理技术援助，为各州的教育数据工作团队建设提供专业指导，并推出了一系列有关教育数据的在线学习项目，如学生个人数据记录系统的使用、教育数据库的安全与维护、教育数据分析报告的撰写等，以协助各州的数据质量问责和数据项目改进工作，并帮助其制定教育数据收集指南和程序（U.S. Department of Education，2005）。OVAE积极发挥其在数据资源建设方面的引领和规范作用，为美国各州的学校及教育组织提供便利和科学指导，推动数据人员的专业发展，在提升全美的教育数据质量方面发挥了建设性作用。
四、对建设我国教育数据质量管理体系的启示
尽管近年来我国的教育数据质量建设已取得了一定成就，但仍存在数据质量标准缺乏、数据使用程序不明、数据隐私保护不力等问题。在推进教育大数据运用的过程中建立数据质量治理体系，已成为教育信息化2.0时代的一个重要事项。
1.制定教育数据质量标准与使用办法
2012年3月，教育部正式颁发了《教育管理信息 教育管理基础信息》等7个教育信息化行业标准，明确了教育数据标准体系。但我国的教育数据标准仍存在模糊不清的问题，比如表示健康状况的数据代码就有两种方式——数字“1”和“10”都可表示身体健康或良好，这显然不利于数据的共通共享（徐峰等，2018）。因此，对元数据的统一定义无疑成为了一个亟待解决的问题。美国国家教育统计中心（NCES）以及加州教育局（CDE）把教育数据标准列为数据质量管理中优先发展的事项，将数据元素名称、数据定义以及数据代码标准的确立视为数据共同理解的基石，可见其对教育数据质量管理的基础建设工作的重视。鉴于此，我国也应从统一教育数据标准着手，秉承“数据共享、上下联动”的基本原则，完善教育数据标准，进一步细化教育数据基本代码规范，并制定教育数据使用办法，逐渐打破教育数据的使用壁垒。
2.规范教育数据采集输入与审查程序
2013年，教育部办公厅开展了教育统计数据质量核查工作，明令禁止各学校及教育行政部门在教育数据代码库建设中弄虚作假，要求地方各级教育行政部门认真审查。2016年11月，教育部办公厅再次印发《关于严把统计数据质量关确保2016年统计数据汇总工作顺利进行的通知》，强调教育数据核查工作的责任追究机制，杜绝随意编造和篡改教育数据，全面落实《统计法》的相关规定，确保教育数据质量。然而，当前我国的教育数据大多由学校采集填报，国家及各地方教育行政部门往往无法逐一对其进行监测，并且通过简单的相邻两年数据核对也很难完全识别出存在的错误和异常的数据。因此，构建教育数据采集输入与审核程序势在必行：一是制定数据收集申请表，规范数据采集流程，确保教育数据在源头上的质量;二是加强校长、教师、数据管理人员等主体间的协作联动，明晰各层级的数据输入问责与审查机制;三是设计完善的教育数据检测方案，实施人机双重校对，扎实守护教育数据质量门槛。
3.推动教育数据挖掘与分析实践落地
面向教育数据质量管理的教育数据挖掘可对海量教育数据进行处理和分析，从中甄别出存在问题的教育数据，并预测未来的发展趋向。我国当前所采用的教育数据挖掘与分析技术大多是基于人工实践层面的，缺乏网络和智能化数据挖掘与分析技术的应用，这导致教育数据挖掘的效果尚不显著。美国加利福尼亚州高等教育委员会（CPEC）运用数据挖掘和趋势分析技术，诊断教育数据中存在的异常记录。借鉴美国在教育数据挖掘与分析方面的实践举措，我国应运用人工智能等先进技术，尽快开发教育数据挖掘与教育数据智能分析相关应用。在明确教育数据异常限度的基础上，加强在聚类分析、预测分析、关联规则分析等方面的实践应用，拓展教育数据挖掘技术在数据整合、错误数据识别和诊断等方面的功能，构建教育数据异常检测机制。
4.改善教育数据库软硬件设施与环境
2018年4月，教育部在印发的《教育信息化2.0行动计划》中明确提出，要做好关键信息基础设施保障，重点保障数据和信息安全，强化隐私保护。然而在我国当前的教育数据治理进程中，教育数据隐私泄露的问题仍较为突出，教育数据的可信度仍有待进一步提升。美国联邦教育部通过推行高保密性登录密码等措施，强化教育数据库软硬件设施建设。借鉴美国在教育数据质量管理实践中的经验，我国首先应完善教育数據质量处理系统，并更新教育数据输入输出设备。其次，各级教育行政部门和各类学校应在教育数据相关系统中设置高保密性的登录密码，维护数据安全和个人隐私，防范对教育数据的不当使用与恶意篡改。最后，应大力营造提倡高质量教育数据的文化氛围。教育数据的隐私保护及质量管理不仅需要计算机设备，同时也需要形成和推广数据质量信念，使高质量教育数据管理的理念深入人心，进而优化教育数据质量管理的环境，夯实教育数据质量的保障基础。
5.提升数据管理人员质量意识与素养
教育数据质量管理人员在数据的收集、录入、审查与使用过程中扮演着重要角色。他们谙熟教育数据质量管理规范，具有较强的职业敏感性。针对教育数据质量管理，美国举办了一系列的教育数据专员训练项目，并开展专门的在线培训。我国的教育数据质量管理工作主要由各级教育行政部门统筹，缺乏专门的教育数据质量管理机构，且数据管理人员的质量意识和素养还有待提升。借鉴美国在教育数据质量管理方面的运行经验，我国应积极构建专门的教育数据质量管理机构，强化基于角色的数据素养培训，更新教育数据质量管理理念和治理模式，定期开展教育数据质量管理相关研讨会，总结分析在教育数据收集、输入、审查、挖掘和使用过程中出现的典型问题，以提升教育数据管理工作人员的数据质量意识和数据素养，为教育数据质量管理提供人才保障。
参考文献：
[1]顾小清，郑隆威，简菁（2014）. 获取教育大数据：基于xAPI规范对学习经历数据的获取与共享[J]. 现代远程教育研究，（5）：13-23.
[2]王正青，徐辉（2018）. 大数据时代美国的教育大数据战略与实施[J]. 教育研究，（2）：120-126.
[3]王正青，张力文（2018）. 大数据时代美国发展教师数据素养的基础与路径[J]. 比较教育研究，（2）：68-75.
[4]吴雪萍，任佳萍（2018）. 美国提升职业教育数据质量的动因、策略与启示[J]. 教育研究，（2）：127-134，146.
[5]徐峰，吴旻瑜，徐萱等（2018）. 教育数据治理：问题、思考与对策[J]. 开放教育研究，（2）：107-112.
[6]杨现民，周宝，郭利明等（2018）. 教育信息化2.0时代教育数据开放的战略价值与实施路径[J]. 现代远程教育研究，（5）：10-21.
[7]California Department of Education（2018）. Data Standards and Inventory[EB/OL]. [2018-09-08]. https：//www.cde.ca.gov/ds/ed/datastandardinventory.asp.
[8]California Postsecondary Education Commission（2011）.Trend Analysis[EB/OL]. [2019-01-10]. http：//www.cpec.ca.gov/OnLineData/Mining.asp.
[9] Chen， M.， Song， M.， & Han， J. et al. （2012） Survey on Data Quality[C]// Proceedings of the 2012 World Congress on Information and Communication Technologies. IEEE：1009-1013.
[10]Data Quality Certification（2018）. Welcome to the Data Quality Certification Program[EB/OL]. [2018-08-21]. https：//community.ksde.org/Default.aspx？alias=community.ksde.org/dqcprogram.
[11]EDFacts Data Governance Board（2018）. Maximizing EDFacts Data Quality： A Comprehensive Approach[EB/OL]. [2018-08-31]. https：//www2.ed.gov/about/inits/ed/edfacts/edfacts-data-quality-process-overview.pdf.
[12]Kentucky Department of Education（2015）. Data Collection， Access and Use Policy （003）[EB/OL]. [2018-09-20]. https：//education.ky.gov/districts/tech/Documents/Data_Collection_Access_and_Use_Policy.pdf.
[13]National Forum for Education Statistics（2004）. Forum Guide to Building a Culture of Quality Data[EB/OL]. [2018-08-20].https：//nces.ed.gov/pubs2005/2005801.pdf.
[14]National Center for Education Statistics（2011a）. Chapter 4-What Are Quality Data？[EB/OL]. [2018-09-01]. https：//nces.ed.gov/forum/ldsguide/book3/ch_4.asp.
[15]National Center for Education Statistics（2011b）. Chapter 5-Data Quality from Bottom to Top[EB/OL]. [2018-09-23]. https：//nces.ed.gov/forum/ldsguide/book3/ch_5.asp.
[16]National Center for Education Statistics（2011c）. Data Governance Checklist[EB/OL]. [2018-09-04]. https：//nces.ed.gov/forum/pdf/data_governance_checklist.pdf.
[17]Privacy Technical Assistance Center（2015）. Data Governance and Stewardship[EB/OL]. [2018-08-29]. https：//studentprivacy.ed.gov/sites/default/files/resource_document/file/Data_Governance_and_Stewardship_0.pdf.
[18]U.S. Department of Education（2005）. Data Quality and Timeliness： Data Improvement Strategies[EB/OL]. [2018-09-08]. https：//www2.ed.gov/about/reports/annual/2005report/2h/edlite-2h3-strategies.html.
[19]U.S. Department of Education（2006）. Improving Data Quality for Title I Standards， Assessments， and Accountability Reporting[EB/OL]. [2018-09-08]. https：//www2.ed.gov/policy/elsec/guid/standardsassessment/nclbdataguidance.pdf.
[20]U.S. Department of Education（2012）. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics： An Issue Brief[DB/OL]. [2019-01-09]. https：//tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf.
收稿日期 2019-01-10
責任编辑 谭明杰
