《以业务需求为导向的数据质量管理模式研究》-工学论文，软件工程论文-论文范文参考-科学狗论文网

标题

以业务需求为导向的数据质量管理模式研究

范文

赵宏伟冯涛于海涛

摘? 要：当前，电网企业数据质量水平不能满足业务需要，严重制约了企业管理水平的提升。本文结合电网企业业务实际，研究、提出一套包括识别业务问题、开展数据探查、定义评估模型、开展质量核查、分析质量问题和解决质量问题在内的数据质量管理模式，明确了协助解决业务问题这一数据质量管理切入点，设计了各环节工作内容和方法，指导和规范电网企业数据质量管理工作开展，促进电网企业数据质量管理水平持续提升。

关键词：数据质量;管理模式;电网企业

中图分类号： TP311.13? ? 文献标识码： A? ? DOI：10.3969/j.issn.1003-6970.2019.01.016

【Abstract】： At present， the data quality level of power grid enterprises can not meet the business needs， which seriously restricts the improvement of enterprise management level. This paper studies and puts forward a set of data quality management modes， including identifying business problems， conducting data exploration， defining evaluation models， carrying out quality verification， analyzing quality problems and solving quality problems， based on the business reality of power grid enterprises. It is proposed that helping to solve business problems is the entry point of data quality management， and design the work content and method of each link， to guide and standardize the power grid enterprise data quality management work， and to promote the continuous improvement of data quality management level in power grid enterprises.

【Key words】： Data quality; Management mode; Power grid enterprise

0? 引言

近年来，随着信息化的高速发展，电网企业数据呈爆炸式增长，这些数据覆盖范围广、数据量大、类型多样、数据价值高[1]。同时，随着我国经济进入新常态、国企改革和电力体制改革深入推进，电网企业发展面临诸多挑战。因此，向数据要价值，以数据应用支撑企业精细化管理，促进企业创新发展成为电网企业必然选择。但是，电网企业在数据应用过程中发现数据质量水平难以满足数据应用的需要，数据质量管理水平的提升速度远远落后于数据规模增加的速度，数据价值无法充分发挥。

为此，本文结合电网企业业务及数据管理实际，

研究、设计了以业务需求为导向的数据质量管理模式，指导和规范电网企业数据质量管理，促进数据质量提升和数据价值充分发挥。

1? 数据质量管理面临的挑战

经调研，电网企业各专业均不同程度开展了数据质量管理，对数据质量的提升有一定的促进作用，但是依然存在如下挑战[2]。

（1）有效的数据质量管理模式尚未形成

在电网企业数据质量管理过程中，有的借鉴信息化建设经验，由上至下全面开展，有的根据业务需要，由各业务部门分散开展，但是这两种方式工作成效均不显著。从何处入手、以什么方式开展数据质量管理困扰着电网企业。

（2）常态数据质量管理机制缺失

电网企业数据质量管理工作多是因为在数据应用过程中发现了明显影响统计分析、管理决策等数据质量问题，才会相应的开展数据质量整改工作，当数据质量水平提升到一定程度之后，对数据质量管理工作重视程度就会降低，甚至停止开展，往往造成“前清后乱”的情况发生。

（3）数据质量管理工作没有工具支撑

电网企业缺乏有效的数据质量管理工具支撑，數据质量管理工作存在工作量大、对核查人员要求高、核查周期长、存在安全隐患等问题。

2? 数据质量管理模式研究

2.1? 数据质量管理模式设计原则

应充分考虑电网企业业务实际开展数据质量管理模式设计，设计成果应实用、易用，能够在不影响电网安全生产的同时，快速彰显价值。因此，本文按照如下原则开展数据质量管理模式设计。

（1）业务驱动，快速见效。以协助业务部门解决业务问题和应用数据入手开展数据质量管理，通过提升数据质量促进业务顺利开展，进而体现数据质量管理价值，提升业务部门开展数据质量管理工作的积极性。

（2）由点及面，急用先行。数据质量管理不应贪大求全，应从业务角度评估优先级，分业务点逐步开展，不断释放管理价值，积累工作成果，并逐步扩大管理范围，最终将全部业务纳入数据质量管理。

（3）工具支撑，安全高效。数据质量管理应依托专业的数据质量管理工具开展，避免人工开展存在工作量大、对人员要求高、工作周期长、存在安全隐患等问题。

（4）机制引领，常态运行。要构建常态的、闭环的数据质量管理工作机制，杜绝项目式数据质量管理易出现的“前清后乱”的情况发生;数据质量核查规则应根据核查结果及业务需要迭代更新，确保数据质量始终符合最新业务需求。

2.2? 数据质量治理模式设计

本文借鉴数据质量管理相关理论以及业界最佳实践[3-5]，结合上述原则，设计包括识别业务问题、开展数据探查、定义评估模型、开展质量核查、分析质量问题、解决质量问题等步骤在内的业务导向的、闭环的电网企业数据质量管理模式，指导和规范电网企业数据质量管理工作开展。

（1）识别业务问题

该步骤工作思路：通过调研、评估，识别相关业务存在的主要问题，理清这些业务问题对应的数据，明确本次数据质量提升涉及的数据范围。

该步骤主要做法：

一是梳理业务问题和对应数据。协同业务部门，从数据质量问题已经对业务正常开展造成影响的业务或对数据质量依赖程度较深的业务入手，通过业务人员访谈、系统查询等方式收集该业务存在的与数据质量相关的问题，梳理每个问题涉及的数据，形成业务问题清单。

二是评估业务问题影响，识别关键问题。通过业务问题影响评估模型，评估业务问题的影响程度，将影响程度高的业务问题纳入本次数据质量治理范围，进而明确了本次数据质量治理的数据范围（表和字段层面）。

业务问题影响评估模型基于电网企业日常经营管理的实际情况，分析相关数据对企业业务正常开展和提升的影响程度，按照影响范围、影响层级、影响类型等三项指标进行评估，三项指标评分按需进行相乘或相加得出影响程度总得分。

问题影响评估模型说明：

公司：业务对应的数据是支撑公司日常业务运转必不可少的数据，低质量的数据会在公司范围内造成影响，分值为9;

局部：业务对应的数据是公司日常业务运转中经常使用的数据，低质量的数据会在局部范围造成影响，分值为3;

个体：业务对应的数据是公司日常业务运转中偶尔使用的数据，低质量的数据会在部门或下属单位内造成影响，分值为1。

影响层级说明：

战略：业务对应的数据是支撑公司战略决策的关键数据，低质量的数据会对公司战略决策产生误导，分值为9分;

策略：业务对应的数据是支撑公司经营管理的关键数据，低质量的数据会导致公司中层管理者的管理决策产生偏差，分值为3分;

操作：业务对应的数据是公司日常业务操作使用的数据，低质量的数据会导致公司业务出现差错，分值为1分。

影响类别说明：

经济效益：业务对应的数据与公司业务经营的效益紧密相关，低质量的数据给公司造成直接的经济损失，分值为9分;

业务支持：业务对应的数据与支持公司业务开展的活动紧密相关，低质量的数据会影响公司业务的正常开展，分值为3分;

后勤管理：业务对应的数据与公司日常后勤管理活动紧密相关，数据的异常会影响公司后勤工作开展，分值为1分。

三是确定数据质量管理的数据范围。根据问题影响评估结果，确定本次数据质量治理需要解决的业务问题，进而确定数据质量提升的数据范围。

（2）开展数据探查[6]

该步骤工作思路：开展数据探查，快捷的了解表数据的总体情况，判断可能存在的数据质量问题的位置和类型，为后续有针对性开展数据质量核查提供支撑。

该步骤主要做法：

一是开展数据探查，了解表数据总体情况。依托数据质量管理工具，从表、字段、记录等层面开展数据探查，准确把握表数据情况。具体探查内容如下：

表层面探查内容：表结构信息、表名称、表描述、字段数、记录数等;

字段层面探查内容：字段名称、字段描述、去重后值数量、空值数、最大/小值、值分布等;

记录层面内容：随机抽取若干条记录。

二是准确评估数据质量位置及类型。根据数据探查结果，结合业务人员反馈的业务问题，准确判断数据质量问题的类型及存在的表及字段的位置，为进一步有针对性的开展数据质量核查提供支持。

（3）定义评估模型[7]

该步骤工作思路：确定包括数据质量评估维度、数据质量约束规则和数据质量核查规则在内的数据质量评估体系，明确量化的数据质量计算方法。

该步骤主要做法：

一是确定数据质量评估体系。根据上述数据质量位置及类型评估结果，从及时性、完整性、合规性、准确性和一致性等五个方面，有选择的确定本次数据质量核查的评估维度及其约束规则，相应的依据数据标准编制数据质量核查规则[8][9]，并设计数据质量评估指标及指标子项，确定本次数据质量核查的评估体系。

（4）开展质量评估

该步骤工作思路：基于数据质量核查规则，开展数据质量核查，获取数据质量问题，量化评估数据质量情况。

该步骤主要做法：

一是开展数据质量核查。依托数据质量管理工具，按照数据质量核查规则开展数据质量核查工作，并根据核查结果整理形成数据质量问题清单。

对于一些不易直接通过核查规则发现的问题，可以用变通的方式开展。如：文本类字段难以核查其准确性，某电网公司通过核查“用电地址”长度的方式，发现大量用电地址包含汉字数少于5个，可以判断此类用电地址存在不精确的问题。

二是量化数据质量情况。根据数据质量量化计算公式，结合数据质量核查结果，开展数据质量量化评估，计算出数据质量评估指标及指标子项值。

（5）分析质量问题

该步骤工作思路：基于核查發现的数据质量问题，分析问题产生的根本原因，编制数据质量整改方案，指导数据质量问题整改。

该步骤主要做法：

一是分析数据质量问题。按类逐个对数据质量问题进行分析，确定问题产生的根本原因和数据生命周期具体环节，明确问题数据产生的源端系统，并按照问题产生的根本原因，从管理、业务和技术等三个方面对数据质量问题进行分类。

二是出具数据质量问题整改方案。根据数据质量问题分析结果，制定整改方案，明确整改方法、整改责任单位、整改计划等。

（6）解决质量问题

该步骤工作思路：组织落实数据质量整改方案，评估整改成效，形成常态的数据质量管理机制，确保数据质量始终符合业务需要。

该步骤主要做法：

一是落实数据质量整改方案。以业务部门为主，根据数据质量问题整改方案从预防问题数据产生、纠正数据错误两个方面开展数据质量整改工作。预防问题数据产生的目的在于“治本”，每个数据管理职能都有助于提高数据资产的质量[10]，一般从管理和业务流程优化、数据架构、数据开发、系统功能完善、校验规则固化等方面开展工作，降低问题数据产生的可能性;纠正错误数据的目的在于“治标”，针对已经产生的问题数据，通过前台操作整改、批量后台处理等方式纠正问题数据。

二是评估数据质量治理成效。数据质量整改完成后的一定时间（如一个月）后，再次开展数据质量核查，并将核查结果与上一次对比，分析数据质量整改成效以及当前数据质量情况是否符合预期，必要时组织完善数据质量问题整改方案，再次开展数据质量整改工作。

三是开展常态数据质量管理。对于已经完成数据质量整改的业务，应依托数据质量管理工具定期开展数据质量核查，当数据质量相关指标低于预先设定的阈值时，重启数据质量管理工作，确保数据质量始终符合业务需求。

3? 结束语

本文针对当前电网企业数据质量管理存在的工作开展方式不明确、常态管理工作机制缺失等问题，结合电网企业业务管理实际，设计了闭环的数据质量管理模式，提出了协助解决业务问题这一数据质量管理切入点，设计了模式各环节工作内容和方法，常态数据质量开展工作机制，以及需要通过数据质量管理工具支撑的工作内容，可以很好的指导和支撑电网企业数据质量管理工作开展，促进电网企业数据质量管理水平持续提升。该数据质量管理模式应随着电网企业数据质量管理实践的深入开展以及数据管理模式的变化而持续优化，确保持续适用于电网企业。

参考文献

赵宏伟，冯涛，于海涛. 全面数据质量管理框架在电网行业中的应用[J]. 信息技术与标准化， 2017（7）： 62.

赵阳立. 浅谈供电企业“大营销”体系下的营销数据质量管理[J]. 电子世界 2013（4）： 156-157.

Danette McGilvray. Executing Data Quality Projects： Ten Steps to Quality Data and Trusted Information[M]. 北京：電子工业出版社， 2010： 59-60.

陆顾新，陈石军，王立等. 银行数据治理[M]. 北京：机械工业出版社， 2016： 95-102.

刘景义，张晖，赵伟涛等. 中国石油A1A2系统数据质量管理体系建设实践[J]. 信息技术与信息化， 2011（3）： 61-66.

马凯航，高永明，吴止锾等. 大数据时代数据管理技术研究综述[J].软件， 2015， 36（10）： 46-49.

国家电网公司. 电网运营数据质量评估通用准则（Q/GDW 11570—2016）[Z]. 北京：国家电网公司， 2017： 3-8.

杨栋枢，郭振，蔡云飞. 企业数据标准及其管理体系研究[J]. 软件， 2017， 38（12）： 258-260.

Ching-Heng Lin， Nai-Yuan Wu， Der-Ming Liou. A multi-te- chnique approach to bridge electronic case report from design and data standard adoption[J]. Journal of Biomedical Informatics， 2015， 53（2）： 49-57.

DAMA International. The DAMA Guide to the Data Management Body of Knowledge[M]. 北京：清华大学出版社， 2012： 12.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。