《基于数据中台的数据治理系统的实现》-工学论文，科技论文-论文范文参考-科学狗论文网

标题

基于数据中台的数据治理系统的实现

范文

芮忠

摘? 要：为解决数据问题，数据治理技术开始进入各企业的视野，诸多相关的数据治理产品也随之涌现。但当前市场已有的相关数据治理系统均存在一定的不足：数据管理的方法、流程和策略等方面缺乏统一的标准;数据的质量、合规性和安全性难以得到保障;数据管理的范围较为狭窄，且管理的流程较为复杂化，需要辅助大量的人工操作，增加了使用成本。

关键词：数据中台;信息技术;数据治理;大数据

中图分类号：TP311.13 文献标志码：A? ? ? ? ?文章编号：2095-2945（2020）26-0039-02

Abstract： In order to solve the problems， data governance technology began to enter the vision of enterprises， and many related data governance products emerged. However， there are some deficiencies in the existing data governance systems in current market： the methods， processes and strategies of data management are lack of unified standards; the quality， compliance and security of data are difficult to be guaranteed; the scope of data management is relatively narrow， and the management process is complex. It requires much manual operations and increases the cost of use.

Keywords： data middleground; information technology; data management; big data

引言

當前，信息化建设工作一直在火热持续进行中，《教育信息化2.0行动计划》标志着智能时代教育教学创新发展新时代的到来，“体验、开放、融合、数据、连接、服务、创新、引领、变革、智慧”是2.0行动计划创新引领和生态变革的主要特征。但事与愿违的是，当前高校的信息化建设在开放、数据、服务、智慧等方面仍与实际需求有着较大的差距，而且高校的基础业务较为匮乏，数据来源也有一定的限制，相较于《中国教育现代化2035》中要求的“统筹建设一体化智能化教学、管理与服务平台”的目标而言不过才刚起步而已。这势必要求我们在之后的智慧校园建设过程中进一步革新理念、统一认识、放眼未来、大胆创新，实现将云计算、人工智能、物联网、大数据等高新技术与高校教育教学的进一步深度融合，让信息技术真正地、有效地融入到企业发展的每个环节当中，为企业管理、创新跨越式发展提供信息化深度支撑，实现“持续的创新”“智慧的场景”“智慧的数据”“智慧的教学”等信息化、一体化的智慧目标。

本课题的研究意义在于开发并设计一个基于数据中台的数据治理系统，结合国内外最新的相关课题研究内容，帮助用户了解数据的真实情况并做出合理决策，从根源帮助解决数据处理过程中遭遇的数据问题，可视化数据治理各步操作环节，使数据管理与运维人员充分认识到数据治理工作带来的巨大价值，更好地挖掘和发挥数据的隐含价值。因此，基于数据中台的数据治理系统是值得去设计和开发的。

1 数据中台相关理论

1.1 数据中台基本概念

数据中台并非指大数据平台，而是指通过数据技术对海量的数据进行采集、计算、存储和加工，并统一标准和口径。数据中台完成数据统一后会形成标准数据，然后再对数据进行存储，进而形成大数据资产层，为用户提供高效的优质服务[1-2]。

在数据的开发过程中，核心数据模型的变化相对缓慢，但维护数据的工作量却特别大，而业务创新的速度以及对数据产生新需求的变化却是十分快速的。因此，数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。

数据中台解决的问题大致可分为三点：效率问题、协作问题和能力问题，这三类问题会影响开发团队的开发速度，而这一点恰恰是中台的关键——让前台的开发团队的开发速度不受后台数据开发的影响。

简而言之，数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。

1.2 数据中台的建设原则

数据中台的建立并非一蹴而就的事情，企业应基于自身的实际情况出发，打造独有的中台能力[1，3]，数据中台在建设时需遵循一些建设原则，具体如下：（1）企业的组织架构和机制应顺势而变。（2）工作方式需做出改变，数据人员需深入研究业务、数据和模型，端到端的实践，这样打造出数据中台才是最大的价值创造。（3）数据中台的团队需从传统支撑角色向运营角色转变，不仅是数据上，业务上也需努力，中台人员不仅仅是接受需求的角色，更能够提出合理建议，为业务带来新的增长点。（4）中台的建设需适合企业特点。IT时代整个社会将进入数据开放、共享的时代，致力于大数据变现的企业最大的价值就是将这些核心数据能力进行对外开放运营，到那时，数据中台将成为企业最为宝贵的资产[4]。

2 系统总体架构

基于数据中台的数据治理系统以全数据链路管理为基础[5]，以元数据驱动数据生产、加工、管理及可视化输出，进而实现高校数据的智能化管理体系。图1给出了基于数据中台的数据治理系统架构图。

3 系统功能结构

基于数据中台的数据治理系统主要可划分为数据管理、数据质量管理、数据监测查询几个功能模块[6]。

由系统的功能结构图可以看出，系统主要可分为元数据管理、主数据管理、数据质量管理以及数据监测与查询四个功能模块。其中，元数据管理主要负责数据元的配置、数据模型的管理以及元数据属性模型的管理;主数据模块主要负责以服务的方式将统一、完整、准确且具有权威性的主数据传给企业内需要使用到这些数据的应用系统;数据质量管理模块则主要针对数据质量的校验与管理;数据监测模块可对全局数据进行异常监测，也可实现全局数据的检索功能。

4 数据底层设计

4.1 数据梳理规划

数据梳理和数据规划服务是数据治理服务中不可或缺的一部分，同时也是数据治理实际应用的关键所在。通过数据梳理与规划可形成规范的业务模型，通过标准化的设计理念对数据资产进行顶层设计和规范控制，从全局的角度来管理高校各业务领域内的数据资源，对数据源进行统一化的管理，进而提供可信的数据来源与标准，形成企业业务的数据架构，为后续的高校数据治理工作提供前期的工作基础。

4.2 数据标准建设

企业信息标准建设是整个校园智慧建设的关键所在。信息标准的制定不仅需要考虑企业的实际建设情况与各业务领域的实际状况，还需要考虑企业的当前及后期发展规划等客观因素，通过提供完整的校园信息标准建设，形成校区编码、组织机构等一系列的校级标准，最大化地满足企业的信息化建设与发展的应用需求。

4.3 数据治理服务

数据治理服务对推动企业发展、提高信息化服务水平等方面都具有重要意义。数据治理是一个不断深入与迭代的过程，从建设的内容与目标来看可将数据治理划分为不同阶段，各阶段均要完成不同的任务。除此之外，不同的企业所需要考虑的切入点与实际应用需求也各有不同，需要做到具体情况具体分析，依据高校自身的建设特点与实际业务需求来考虑数据治理服务。根据数据的标准规范对企业现有的业务数据，如教务管理系统、一卡通、办事大厅等业务，进行整合关联，并按照业务模型对数据进行抽取，抽取过后再对数据做标准化转换与数据清洗，从而实现全校的基础数据资产的有效管理。

5 结束语

本文设计并阐述了的数据中台的在数据治理方面的实际需求，且取得了一定的工作成果，但系统也存在着一些不尽人意的地方需要改进与完善。从理论依据与实际业务需求来看，由于数据治理系统仍处于新生状态，仍需要在不断的发展过程中去探索和完善。

参考文献：

[1]李炳森，胡全贵，陈小峰，等.电网企业数据中台的研究与设计[J].电力信息与通信技术，2019，17（07）：29-34.

[2]付威.东方金信数据中台[J].软件和集成电路，2019（08）：98.

[3]高洪福.又到了打造“铁腰”的时候！——“IT生存法则”之数据中臺初探[J].网络安全和信息化，2019（09）：24-25.

[4]王翔，郑磊.面向数据开放的地方政府数据治理：问题与路径[J].电子政务，2019，194（02）：32-38.

[5]翟军，李晓彤，苗珍珍，等.我国开放政府数据“脏数据”问题研究及应对——地方政府数据平台数据质量调查与分析[J].图书馆，

2019，292（01）：46-55.

[6]韩旭，曹增义，王昭阳.企业数据资产治理与管理[J].电子世界，2018，557（23）：97+99.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。