大数据技术在环境监测中的应用研究
摘要：大数据技术在人工智能、数据预测、计算处理等方面展现出其强大的优势。本文在分析大数据在环境监测领域适用性的基础上，从大数据环境监测采集与集成、大数据环境监测平台架构、大数據环境监测技术应用保障等3个层面就大数据技术在环境监测中的应用进行了探讨。
关键词：环境监测；大数据；应用
中图分类号：X83 文献标识码：A 文章编号：2095-672X（2018）06-0169-01
DOI：10.16647/j.cnki.cn15-1369/X.2018.06.101
Abstract： Big data technology shows its strong advantages in artificial intelligence， data prediction， and calculation processing. This paper analyzes the applicability of big data in the field of environmental monitoring， from the big data environment monitoring acquisition and integration， the framework of big data environment monitoring platform， the application of big data environment monitoring technology and other three aspects of the big data technology in environmental monitoring The application was discussed.
Keywords： Environmental monitoring； Big data； Application
大数据（Big Data）是从多种来源中搜集得到海量数据信息的总称。“大数据”具有数据量大、类型复杂、需要即时处理和价值提纯的特点。大数据技术在人工智能、数据预测、计算处理等方面展现出其强大优势。2015年，国务院发布《促进大数据发展行动纲要》，将大数据上升为国家战略。在“十三五”规划纲要中，强调要大力“实施国家大数据战略”。2016年环保部出台《生态环境大数据建设总体方案》，大力推动生态环境大数据建设和应用。据统计，2014年环保部污染物监测中心每天会获得391万条自动监控数据，一年便会接收到14.6亿条数据信息[1]。如何运用好这些大数据信息，对实时研判环境现状，提高政府环境问题决策的科学性具有积极的现实意义。
1 大数据在环境监测中的适用性分析
环境监测机构通过大数据技术的应用，能够实时采集、存储和分析环境监测中的物理指标、化学指标和生态系统的信息数据，形成环境大数据的系统数据库，有效提升环境治理的能力和管理决策水平。
1.1 提升数据采集质量
大数据技术应用于环境监测中，能够利用数据技术和算法对环境数据信息进行全面、精准采集，并能及时将采集到的数据进行存储和分析，再通过数据处理平台实现数据的共享。尤其是现代高科技技术和器材的应用，会产生越来越多的环境数据信息，如环境分析仪器、GPS、GIS信息系统、卫星遥感技术应用等，及时评估水质、土壤、大气、生态环境的状况，及时获取相关环境数据。再利用海量数据存储技术、虚拟化技术和分布云技术[2]，以及智能分析技术等云计算技术处理工具和算法，如Python，将采集到的数据信息进行深度分析，及时掌握环境现状。
1.2 改善数据分析效率
大数据技术能够实现数据信息的实时处理和分析，从而大大提升了环境数据的分析效率和质量。尤其是在环境应急状态下，通过重要仪器设备的实时动态监测，能够及时传递环境数据信息，高质量数据流的汇集和分析，较传统的手工数据收集、录入、分析等有了显著提升，或推导出的数据结论也更可信、更准确。例如，在大数据技术背景下，采用红外线监控、无线传感网络技术等能够有效监测森林动态，第一时间里查明森林火灾状况，为环境治理提供了科学依据[3]。又如，现在全国各地均设立了大气质量监测数据实时发布系统，每天都会实时更新当日的PM10、PM2.5、SO2、NO2、O3、CO2等六项指标的实时监测数据和空气质量指数，让社会各界及时掌握所在城市的大气环境质量状况，便于安排出行，接受外界监督等。
1.3 提升环境综合预警能力
大数据技术将环境监测中所获取的海量数据信息进行处理和分析后，能够将当前的环境状况整体态势和发展趋势进行预判，提高环境污染防治预警预报的精准性。如，大气实时自动监测系统，由环保部门与气象部门根据气象卫星反馈到的数据信息和大气污染物含量的实时监测，对大气污染的过程作出整体判断，并对未来一段时间大气环境污染状况做出准确的预警，为有关部门及时采取相关防治措施提供可靠的数据信息。
2 大数据在环境监测中的应用
2.1 大数据环境监测采集与集成
2.1.1 数据采集
环境监测中的数据有监测部门采集的结构化数据，另一部分是人群活动中产生的与环境相关的非结构化数据。前者主要包括大气、水、土壤、噪声、降水、电磁辐射、森林植被防护等生态环境综合监测数据；废水、废气、固废等在线监管数据包括环境污染源监测、总量控制、排污费征收等环境监管方面的数据信息。这一类数据信息主要来自环境质量监测网和日常环境监管执法活动中产生的数据信息[4]。后者主要包括经济社会发展、气象、地理、人口经济统计、生活垃圾等方面的数据信息，这一类数据信息多来自年鉴、网络等渠道。
2.1.2 数据集成
数据集成就是将采集到的环境监测数据进行必要的处理，剔除不真实数据，确保数据的质量，为大数据应用奠定可靠保障。大数据技术进行数据集成，就是要环境监测数据进行抽取、分发、清洗、转换和装载等，并将源数据存储到数据共享平台中。具体来说，就是要做好：（1）数据模块转换，将不同类型或格式的数据信息转换为统一的数据编码格式；（2）数据模块补采，将不完整或中断的数据进行人工补采，确保数据信息的完整性；（3）数据模块清洗，将不符合事实、不规则数据及时进行清洗、剔除；（4）数据采集监控，在环境监测数据平台界面和功能管理中设置数据采集、启动、跟踪和监控功能，实现数据加载任务的自动启停和优先级设置等功能。
2.2 大数据环境监测平台架构
环境监测大数据平台是将数据信息进行深度挖掘、分析，并根据环境监测的行业标准及规则，进行更高层次的组织、转换和改造，使环境监测的单一数字向多维方向转化，利用某一领域中的环境监测数据库中的知识、标准、法规，实现对环境趋势特征的自动认知。具体来说，环境监测大数据平台应包括数据信息采集、数据信息存储、数据信息处理、数据信息共享和数据信息应用等，并利用物联网技术实现环境监测数据信息的应用和服务，为公众、企业和政府等不同用户提供优质、可靠的环保信息服务。与传统的数据库平台不同的是，大数据环境信息监测平台的数据规模更大，常以TB、PB为单位；数据类型以结构化、半结构化为主，兼有非结构化数据；多是在数据产生后进行不断演化，呈现出动态性；大数据环境信息更具资源型特点。综上所述，环境监测大数據平台应由数据源、采集与存储层、处理层、共享层和应用层5个部分组成。（1）数据源：主要包括污染源排放数据、生态环境监测和人类活动产生的数据；（2）采集与存储层：通过数据技术实现环境监测数据的抽取、补采、装载、汇总，并进过数据的清洗、转换和数据采集监控，应用接入适配技术，将海量数据存储于数据库；（3）处理层：通过建模和挖掘，实现对环境监测数据的自动预测，并进行数据的关联分析，聚类和概念描述，将偏差数据进行检测，确保数据质量；（4）共享层：建立环境监测数据服务的标准化接口，通过现代信息技术应用，实现数据信息的共享管理和共享服务；（5）应用层：通过环境监测数据的分析、处理和共享，为相关部门进行生态环境综合评价、生态环境综合预警、健康风险评估等应用提供数据信息支持。近年来，高科技的应用使决策达到可视化应用效果，更为直观。
2.3 大数据环境监测技术应用保障
除了上述技术层面的分析外，要实现大数据技术在环境监测工作中的应用效果，离不开标准规范的保障和人才的支持。一方面，要将环境监测领域的相关行业标准和技术规范与大数据技术需要结合起来，尽快出台大数据环境监测领域的标准和规范，用以指导大数据技术在环境监测中的应用，提升大数据技术在环境监测中的应用标准化和规范化。如《环境空气质量预报预警方法技术指南》《大气颗粒物来源解析技术指南》等标准和规范与信息系统结合起来，进一步统一数据模型，为智能环境监测提供制度保障。另一方面，要大力培养大数据复合型人才，重点培养大数据环境监测应用开发工程师、分析师和安全研发人才等，为大数据环境监测技术的发展提供源源不断的人才保障和智力支持。
参考文献
[1]詹志明，尹文君.环保大数据及其在环境污染防治管理创新中的应用[J].环境保护，2016，（6）：44-48.
[2]张洪君.大数据技术在环境监测中的应用探讨[J].环境与发展，2017，（8）：149-150.
[3]何爱莲.大数据在环境监测中的应用分析[J].农技服务，2017，（4）：148.
[4]解辉.大数据技术在环境监测中的应用[J].环境监控与预警，2016，8（4）：62-66.
收稿日期：2018-04-23
作者简介：李璐（1982-），女，硕士，工程师，研究方向为环境监测研究和质量管理。
关键词：环境监测；大数据；应用
中图分类号：X83 文献标识码：A 文章编号：2095-672X（2018）06-0169-01
DOI：10.16647/j.cnki.cn15-1369/X.2018.06.101
Abstract： Big data technology shows its strong advantages in artificial intelligence， data prediction， and calculation processing. This paper analyzes the applicability of big data in the field of environmental monitoring， from the big data environment monitoring acquisition and integration， the framework of big data environment monitoring platform， the application of big data environment monitoring technology and other three aspects of the big data technology in environmental monitoring The application was discussed.
Keywords： Environmental monitoring； Big data； Application
大数据（Big Data）是从多种来源中搜集得到海量数据信息的总称。“大数据”具有数据量大、类型复杂、需要即时处理和价值提纯的特点。大数据技术在人工智能、数据预测、计算处理等方面展现出其强大优势。2015年，国务院发布《促进大数据发展行动纲要》，将大数据上升为国家战略。在“十三五”规划纲要中，强调要大力“实施国家大数据战略”。2016年环保部出台《生态环境大数据建设总体方案》，大力推动生态环境大数据建设和应用。据统计，2014年环保部污染物监测中心每天会获得391万条自动监控数据，一年便会接收到14.6亿条数据信息[1]。如何运用好这些大数据信息，对实时研判环境现状，提高政府环境问题决策的科学性具有积极的现实意义。
1 大数据在环境监测中的适用性分析
环境监测机构通过大数据技术的应用，能够实时采集、存储和分析环境监测中的物理指标、化学指标和生态系统的信息数据，形成环境大数据的系统数据库，有效提升环境治理的能力和管理决策水平。
1.1 提升数据采集质量
大数据技术应用于环境监测中，能够利用数据技术和算法对环境数据信息进行全面、精准采集，并能及时将采集到的数据进行存储和分析，再通过数据处理平台实现数据的共享。尤其是现代高科技技术和器材的应用，会产生越来越多的环境数据信息，如环境分析仪器、GPS、GIS信息系统、卫星遥感技术应用等，及时评估水质、土壤、大气、生态环境的状况，及时获取相关环境数据。再利用海量数据存储技术、虚拟化技术和分布云技术[2]，以及智能分析技术等云计算技术处理工具和算法，如Python，将采集到的数据信息进行深度分析，及时掌握环境现状。
1.2 改善数据分析效率
大数据技术能够实现数据信息的实时处理和分析，从而大大提升了环境数据的分析效率和质量。尤其是在环境应急状态下，通过重要仪器设备的实时动态监测，能够及时传递环境数据信息，高质量数据流的汇集和分析，较传统的手工数据收集、录入、分析等有了显著提升，或推导出的数据结论也更可信、更准确。例如，在大数据技术背景下，采用红外线监控、无线传感网络技术等能够有效监测森林动态，第一时间里查明森林火灾状况，为环境治理提供了科学依据[3]。又如，现在全国各地均设立了大气质量监测数据实时发布系统，每天都会实时更新当日的PM10、PM2.5、SO2、NO2、O3、CO2等六项指标的实时监测数据和空气质量指数，让社会各界及时掌握所在城市的大气环境质量状况，便于安排出行，接受外界监督等。
1.3 提升环境综合预警能力
大数据技术将环境监测中所获取的海量数据信息进行处理和分析后，能够将当前的环境状况整体态势和发展趋势进行预判，提高环境污染防治预警预报的精准性。如，大气实时自动监测系统，由环保部门与气象部门根据气象卫星反馈到的数据信息和大气污染物含量的实时监测，对大气污染的过程作出整体判断，并对未来一段时间大气环境污染状况做出准确的预警，为有关部门及时采取相关防治措施提供可靠的数据信息。
2 大数据在环境监测中的应用
2.1 大数据环境监测采集与集成
2.1.1 数据采集
环境监测中的数据有监测部门采集的结构化数据，另一部分是人群活动中产生的与环境相关的非结构化数据。前者主要包括大气、水、土壤、噪声、降水、电磁辐射、森林植被防护等生态环境综合监测数据；废水、废气、固废等在线监管数据包括环境污染源监测、总量控制、排污费征收等环境监管方面的数据信息。这一类数据信息主要来自环境质量监测网和日常环境监管执法活动中产生的数据信息[4]。后者主要包括经济社会发展、气象、地理、人口经济统计、生活垃圾等方面的数据信息，这一类数据信息多来自年鉴、网络等渠道。
2.1.2 数据集成
数据集成就是将采集到的环境监测数据进行必要的处理，剔除不真实数据，确保数据的质量，为大数据应用奠定可靠保障。大数据技术进行数据集成，就是要环境监测数据进行抽取、分发、清洗、转换和装载等，并将源数据存储到数据共享平台中。具体来说，就是要做好：（1）数据模块转换，将不同类型或格式的数据信息转换为统一的数据编码格式；（2）数据模块补采，将不完整或中断的数据进行人工补采，确保数据信息的完整性；（3）数据模块清洗，将不符合事实、不规则数据及时进行清洗、剔除；（4）数据采集监控，在环境监测数据平台界面和功能管理中设置数据采集、启动、跟踪和监控功能，实现数据加载任务的自动启停和优先级设置等功能。
2.2 大数据环境监测平台架构
环境监测大数据平台是将数据信息进行深度挖掘、分析，并根据环境监测的行业标准及规则，进行更高层次的组织、转换和改造，使环境监测的单一数字向多维方向转化，利用某一领域中的环境监测数据库中的知识、标准、法规，实现对环境趋势特征的自动认知。具体来说，环境监测大数据平台应包括数据信息采集、数据信息存储、数据信息处理、数据信息共享和数据信息应用等，并利用物联网技术实现环境监测数据信息的应用和服务，为公众、企业和政府等不同用户提供优质、可靠的环保信息服务。与传统的数据库平台不同的是，大数据环境信息监测平台的数据规模更大，常以TB、PB为单位；数据类型以结构化、半结构化为主，兼有非结构化数据；多是在数据产生后进行不断演化，呈现出动态性；大数据环境信息更具资源型特点。综上所述，环境监测大数據平台应由数据源、采集与存储层、处理层、共享层和应用层5个部分组成。（1）数据源：主要包括污染源排放数据、生态环境监测和人类活动产生的数据；（2）采集与存储层：通过数据技术实现环境监测数据的抽取、补采、装载、汇总，并进过数据的清洗、转换和数据采集监控，应用接入适配技术，将海量数据存储于数据库；（3）处理层：通过建模和挖掘，实现对环境监测数据的自动预测，并进行数据的关联分析，聚类和概念描述，将偏差数据进行检测，确保数据质量；（4）共享层：建立环境监测数据服务的标准化接口，通过现代信息技术应用，实现数据信息的共享管理和共享服务；（5）应用层：通过环境监测数据的分析、处理和共享，为相关部门进行生态环境综合评价、生态环境综合预警、健康风险评估等应用提供数据信息支持。近年来，高科技的应用使决策达到可视化应用效果，更为直观。
2.3 大数据环境监测技术应用保障
除了上述技术层面的分析外，要实现大数据技术在环境监测工作中的应用效果，离不开标准规范的保障和人才的支持。一方面，要将环境监测领域的相关行业标准和技术规范与大数据技术需要结合起来，尽快出台大数据环境监测领域的标准和规范，用以指导大数据技术在环境监测中的应用，提升大数据技术在环境监测中的应用标准化和规范化。如《环境空气质量预报预警方法技术指南》《大气颗粒物来源解析技术指南》等标准和规范与信息系统结合起来，进一步统一数据模型，为智能环境监测提供制度保障。另一方面，要大力培养大数据复合型人才，重点培养大数据环境监测应用开发工程师、分析师和安全研发人才等，为大数据环境监测技术的发展提供源源不断的人才保障和智力支持。
参考文献
[1]詹志明，尹文君.环保大数据及其在环境污染防治管理创新中的应用[J].环境保护，2016，（6）：44-48.
[2]张洪君.大数据技术在环境监测中的应用探讨[J].环境与发展，2017，（8）：149-150.
[3]何爱莲.大数据在环境监测中的应用分析[J].农技服务，2017，（4）：148.
[4]解辉.大数据技术在环境监测中的应用[J].环境监控与预警，2016，8（4）：62-66.
收稿日期：2018-04-23
作者简介：李璐（1982-），女，硕士，工程师，研究方向为环境监测研究和质量管理。
