《数据治理助力数据中台能力建设的探索与实践》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

数据治理助力数据中台能力建设的探索与实践

范文

邓娟罗秀陈伟

摘要：解读互联网、电信、金融、零售、能源等各行业数据中台建设方案，数据治理已然成为数据中台建设中必不可少的一部分，国内企业对数据治理的重视程度也达到了前所未有的高度。对企业而言，数据治理是一项具有战略性，同时需要长期、系统、持续开展的艰巨任务，其治理范围包括数据质量、数据标准、数据安全、组织架构、主数据、模型设计与开发等各方面。贵州移动在数据治理方面，进行了长期的探索和尝试，目前已实现数据标准有效落地、元数据有效管理、数据质量有效管理、数据安全分类分级管理、数据开发过程可视可管等，夯实了数据中台的基础能力，本文结合贵州移动数据治理落地经验，为正在进行数据治理或者计划即将进行数据治理的企业提供实践经验参考及借鉴，尽可能帮助企业少走弯路、减少不必要的投入，提升数据治理成功率。

关键词：数据资产管控;数据治理;大数据价值;管理成本;运营

中图分类号：TP3 ? ? ?文献标识码：A

文章编号：1009-3044（2020）31-0056-03

为了建立“以大数据为载体、规范统一、物理分散、逻辑集中、百家争鸣”的贵州移动大数据平台生态，加速公司数据转换为价值的过程，提高数据平台的业务响应能力，贵州移动逐步打造省级数据中台，实现数据采集、融合、治理、开放共享等能力。贵州移动数据中台建设历程可总结为四个阶段：第一阶段实现全域数据融合、打通信息壁垒和数据孤岛;第二阶段建立企业统一数据标准规范，实现数据汇聚、共享、使用全环节统一语言;第三阶段建立统一资产管理平台，萃取价值数据形成全域资产;第四阶段打造统一服务开放平台，提供多样高效标准安全的数据服务。为了保障数据中台建设有效推进及中台价值能够最终得到最大程度的发挥，贵州移动探索了數据中台数据治理之路，保障一阶段和二阶段的能力能够得到有效夯实。贵州移动数据治理整体思路在国际及行业数据治理相关方法论指导下，结合公司数据管理实际，围绕数据标准管理、元数据管理、数据质量管理、数据安全管理、数据开发规范管理等方面进行积极探索和实践，取得了明显的成效。本文对贵州移动数据治理过程中数据标准、元数据、数据质量、数据安全、数据开发管控几个方面进行实践经验分享。

1数据治理思路

贵州移动在数据治理过程中充分考虑本公司数据中台系统、数据实际情况，以国际数据治理DAMM理论作为理论参考，理论联系实际、以成本最小化效果最大化原则，围绕数据标准管理、元数据管理、数据质量管理、数据安全管理、数据开发过程管控等开展数据治理工作。

1.1数据标准管理思路

正所谓“书同文、车同轨”、“无规矩不成方圆”，数据中台整合了公司各域、各业务类的数据，只有确保了平台数据的标准化、规范化，才能进一步通过数据应用和数据运营发挥数据的最大价值，实现数据资产统一管理、最终盘活数据资产助力公司市场运营。为了保障数据中台数据标准的有效落地，贵州移动采用了将标准提炼为技术规则嵌入到数据开发平台的方式，实现标准管理的落地。

1.2元数据管理思路

贵州移动采用以元模型驱动进行元数据管理的方式对元数据进行管理，实现元数据前向管理、元数据规范事前管控的效果。按照行业元数据管理能力成熟度评估参考，贵州移动达到了L4级别的元数据管理，这在整个行业也算是比较靠前的。

1.3数据质量管理思路

数据质量管理的最终目标是通过一系列的管理手段、稽核规则以及可量化的指标，最终使业务和技术关于数据质量准确的定义达成一致，让技术为业务提供的数据尽可能逼近数据的真实情况，以便支持管理层能够做出最佳的运营决策。在这方面，贵州移动探索建立数据质量从规则定义、规则稽核、规则稽核结果、数据质量量化报告完整的闭环流程，实现数据质量的可稽核、可量化。

1.4数据安全管理思路

数据安全是数据中台建设中的核心部分，贵州移动在这方面也做了积极的探索，主要建立了数据安全基础数据图谱，能够实时分析敏感数据的分布情况，实现数据安全可分析、敏感数据分布可分析。

1.5数据开发过程可管可控思路

数据开发过程和数据管理过程脱节是普遍存在的问题，造成该问题的主要原因还是开发过程全程不透明，厂商数据开发人员开发的处理逻辑、数据的来龙去脉信息全部淹没在程序脚本中，对于管理人员而言开发过程全程黑盒子，不可管不可控，导致管理和开发的脱节。贵州移动在这方面的思路通过对数据开发过程进行可视化，“以业务驱动设计、以设计驱动开发”实现数据开发过程的可管、可控、可视化。

2数据治理实践

2.1 数据标准管理实践

贵州移动数据标准管理实践过程包括以下步骤：

第一步：制定数据中台数据标准规范，包括模型命名、字段命名、分层架构、数据引用规范、存储规范等。

第二步：将规范提炼为一个个技术规则，并将规则嵌入到数据开发平台，在数据开发过程强制执行标准规范管控，标准管理实现了与数据生产过程的无缝对接，实现标准管理成为生产的一部分。

2.2 元数据管理实践

贵州移动元数据管理采用以元模型驱动进行管理元数据的方式对元数据进行管理，实现元数据的前向管理、元数据规范事前管控的效果。实践过程包括以下步骤：

第一步：自主设计贵州移动元模型

贵州移动整个数据中台元模型全部是贵州移动公司内部数据仓库架构师、数据管理员共同参与设计，设计过程中充分考虑需要管理的业务元数据、技术元数据、管理元数据，一共设计了13类元模型，覆盖范围包括文件采集、入库、清洗、库内处理、数据分发、API、AI模型管理等。

第二步：基于元模型进行元数据的填充式开发

数据开发人员基于设计的元模型进行填充式的元数据的开发，在数据开发过程中按照设计的元模型要素同步填充元数据，实现元数据的前向管理。

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。