| 标题 | 基于数据虚拟化技术的高校云数据中心构建 |
| 范文 | 罗伟雄 曾纪霞 时东晓 摘要：针对高校在信息化建设过程中各种业务系统未能实现数据共建共享、信息孤岛越来越严重的问题，提出一种使用数据虚拟化技术构建高校云数据中心的方法。阐述了使用服务器虚拟化、存储虚拟化和网络虚拟化技术构建硬件平台层的方法，分析了数据存储层架构及数据共享方式，介绍了数据虚拟化层的结构以及逻辑实现方法，详细分析了应用接口层的实现原理和服务架构，以及在安全方面需要注意的问题。通过数据虚拟化技术构建的云数据中心，能够對各种业务系统产生的数据进行整合、抽象，定义出新的数据对象，并以安全、可靠的方式提供给上层应用使用，解决了大数据环境下的数据融合问题。 关键词：大数据；数据虚拟化；云计算；数据融合；数据共享 DOIDOI：10.11907/rjdk.172615 中图分类号：TP392 文献标识码：A文章编号文章编号：16727800（2018）003019404 英文摘要Abstract：In the course of information construction in universities， it is more and more serious that all kinds of business systems fail to realize data sharing and construction， and the information islands are becoming more and more serious， a method of using data virtualization technology to construct university cloud data centers is proposed. Firstly， a method of using server virtualization， storage virtualization， and network virtualization to build a hardware platform layer is described. Secondly， the architecture of data storage layer and the way of data sharing are analyzed. Thirdly， the structure of data virtualization layer and the method of logical implementation are introduced in detail. Fourthly， the implementation principle and service architecture of application interface layer are analyzed in detail. Finally， some problems needing attention in security are introduced. Cloud data center constructed by data virtualization technology can integrate， abstract and define new data objects for various business systems. And it is provided to the upper application in a safe and reliable way， which solves the problem of data fusion in large data environment. 英文关键词Key Words：big data； data virtualization； cloud computing； data fusion； data sharing 0引言 高校信息化建设从初期数字化校园到近期智慧校园再到当下大数据平台，涉及业务系统越来越广泛，产生数据量也越来越多。但是由于各个系统往往是在不同时期、由不同厂家、采用不同的技术开发的，因此无法避免地存在数据无法共享、信息无法沟通的问题[1]，久而久之便产生了越来越多的信息孤岛，而且随着业务系统的增多，信息孤岛问题越发严重。 随着大数据时代到来，急切需要对各种信息进行有机融合，实现数据高度共享，以挖掘数据背后的价值[2]。有鉴于此，笔者经过多年研究和实践探索，提出了一种利用数据虚拟化技术[3]构建高校云数据中心的方法。 1云数据中心架构 云数据中心的架构如图1所示，主要由硬件平台层、数据存储层、数据虚拟化层和应用接口层4个层次组成[4]。为了保障系统安全，还需要相应的安全技术和法律法规保驾护航[5]。 2硬件平台层 硬件平台层主要由服务器、存储、网络和网络安全设备组成，如图2所示。 由多台物理服务器组成的物理服务器群，通过服务器虚拟化技术虚拟出多台虚拟服务器，组成虚拟服务器群。服务器虚拟化技术对物理服务器进行重新整合，不但提高了资源利用率，而且简化了系统管理[6]。 硬件平台层通过存储虚拟化技术将多台物理存储器虚拟化为统一的虚拟存储池供虚拟服务器使用。存储虚拟化技术将多种异构的物理存储进行有机整合，重新构建成一个高效灵活的存储资源池，为上层提供统一管理和存取操作，有效降低了管理难度，提高了系统扩展能力[7]。 硬件平台层还使用了网络虚拟化技术，对网络节点和物理网络基础架构进行分离，确保了硬件的独立性，使网络调配能灵活适应上层应用和安全的需要[8]。通过服务器虚拟化、存储虚拟化和网络虚拟化，有效提高了系统可靠性和可用性，防止因单台服务器或存储故障而导致服务中断问题。同时通过使用防火墙、审计系统等网络安全设备，实现了对流量、服务等的监控，提高了系统安全性。 3数据存储层 数据存储层是各业务系统存储数据的地方，主要由数据持久化层和业务数据接口层组成，如图3所示。 3.1数据持久化层 数据持久化层对应的是各种数据库存储系统，如关系型数据库、非关系型数据库、文本型数据库等。至于使用哪种类型的数据库存储系统往往由业务系统的开发商决定。因此数据持久化层就必然存在多种异构、异质、不同类别的数据库存储系统，而且往往无法进行数据共享，这也是需要進行数据虚拟化的原因之一。 对于安全性要求不是太高的系统，可以直接开放数据库存取权限，让上层应用直接使用数据库查询语言访问数据。这样不但效率高，而且对于已有系统不作任何改动，只需配置数据库权限即可。但是，这样对上层应用开发的要求比较高，需要对方熟悉业务数据的逻辑关系，而且对于非结构化的数据或需要事先格式化处理的数据，此种方法则显得力不从心。 3.2业务数据接口层 对于部分业务系统，出于安全方面考虑或其它因素，往往不会开放数据库存取权限；另外对于无法使用数据库查询语言的系统或需要事先格式化处理的数据，则只能通过业务系统提供的接口操作数据。业务系统往往会根据实际需求开发多种不同的数据接口函数，而通过数据接口函数，上层应用即可获取所需数据[9]。此种方法适用于各种类型的应用，而且上层应用无需深入了解业务数据的逻辑关系，只需关注函数的调用方式即可。但是对于已有的系统，如果原来没有此接口，则需要重新开发，工作量较大。 4数据虚拟化层 数据虚拟化层是整个云数据中心的核心部分，主要由虚拟数据对象和虚拟数据对象控制器组成，其结构如图4所示。 4.1虚拟数据对象 虚拟数据对象是从数据存储层上根据业务需求对数据进行整合、抽象，定义出新的数据对象，其本身并不存储数据。正如服务器虚拟化一样，其平台本身并没有CPU、存储等计算资源，而是对物理服务器的计算资源进行重新整合、抽象，虚拟出新的服务器资源。在定义虚拟数据对象前，一个突出问题就是统一数据标准。 由于各个业务系统往往由多个厂商开发，而且在系统开发过程中，各类数据对象并没有强制性标准需要遵守，也没有强制性的行业规范需要遵循，导致各个厂商随意发挥。其结果是，相同的数据对象，在不同的系统中，不论是数据类型，还是数据长度都会存在一定的差异，这就给系统间的数据共享造成了严重障碍。 因此在定义虚拟数据对象前，首先要建立统一的数据标准。只有遵循统一的标准，才能构成一个可流通、可共享的信息库。数据标准的建立需要遵守以下原则：①涉及到国家和教育部已颁布的标准时，采用已颁布的权威标准；②涉及到已颁布的高校管理信息标准时，采用已颁布的高校管理信息标准；③涉及到学校已颁布执行的标准时，采用已颁布执行的信息标准；④信息标准集可以根据国家、教育部、学校的发展需要进行更新维护；⑤同类信息编码在各数据子类中必须唯一、规范，即虽然一个编码对象可以有很多不同名称，也可按各种不同方式对其进行描述，但是，在一个分类编码标准中，每一编码对象仅有一个赋予它的代码，一个代码只唯一表示一个编码对象。 通过标准的建立，上层应用在使用虚拟数据对象时，即可获得统一的数据对象定义，解决了数据标准不统一的问题，为数据共享奠定了良好的基础。 4.2虚拟数据对象控制器 虚拟数据对象只是对数据对象的一种描述，要真正实现对数据的操作必须使用虚拟数据对象控制器。每一类虚拟数据对象都配备有相应的虚拟数据对象控制器。它主要负责从数据存储层获取数据，然后封装为对应的虚拟数据对象，提供给上层应用使用；或者把上层应用传递过来的虚拟数据对象回传给数据存储层进行数据持久化处理。因此对虚拟数据对象的每一项操作，相应的虚拟数据对象控制器都会提供对应的操作方法。 例如教工信息对象（Teacher），如果要根据教工号（Teacher_ID）查询教工基本信息，则教工信息对象控制器（TeacherController）会提供方法GetTeacherBaseInfo（Teacher_ID），并返回教工信息对象；而如果要查询教工的一卡通基本信息，则教工信息对象控制器会提供方法GetCardBaseInfo（Teacher_ID），并返回一卡通信息对象。 方法内部会根据系统描述，选择使用数据库查询语言直接读取数据持久化层中数据库的数据，或者调用业务数据接口层的数据接口函数获取数据。 于此，则会出现另一问题。由于各业务系统会存在交集数据，因此在获取数据时要确立以哪个系统的数据作为权威。例如教工信息对象中的教工号、姓名等，会同时存在于教工管理系统、一卡通系统等多个业务系统中。在获取数据时应该从哪个系统获取数据，这是需要事先确定的。对于权威数据的确立，可以通过对业务流和数据流的分析决定。例如此处的教工号、姓名，在业务上都是由教工管理系统管理的；而在数据流上，这些信息都是由教工管理系统分发给其他系统的，因此可以确定，教工号、姓名以教工管理系统作为权威。如此类推，其它数据也可以使用同样的方法进行分析判断。 5应用接口层 为了让系统能适用于各种应用类型、各种开发语言、各种操作系统的需求，云数据中心使用应用接口层对数据虚拟化层提供的方法进行了二次封装，对外发布Web Service接口，以适应各种不同的需求。 该接口使用HTTPS[10]作为传输协议，使用JSON[11]作为数据格式，使用OAuth[12]作为认证体系，其结构如图5所示。 在图5中可以看到，HTTPS是在SSL层上传输HTTP协议的加密通道，所有数据都经过SSL加密，而且是双向的。使用SSL加密可确保数据在网络传输过程中不被截取和窃听，因此HTTPS是一种安全的传输协议。而HTTP是一个客户端与服务器端请求和应答的标准。它包含命令和传输信息，不仅适用于Web访问，也适用于其它因特网和内联网应用系统之间的通信，从而实现各类应用资源超媒体访问的集成。另外它是无状态的应用层协议，由于其简捷、快速的方式，因此特别适合于分布式超媒体信息系统。由于HTTPS协议使用标准的443端口，对于服务器和防火墙也不需要进行任何特殊配置，部署起来比较方便，所以特别适合作为移动应用的传输协议。 系统和用户间传输的数据使用了JSON进行格式化。JSON是一种轻量级数据交换语言，以文字为基础，且易于让人阅读，同时也方便机器进行解析和生成，采用的是完全独立于程序语言的文本格式，因此不受开发语言的限制。相比XML，JSON更为简洁，传输占用带宽更小，服务器端和客户端花费更少的资源和时间解析，因此对于移动应用来说是更好的选择。 为确保接口不被非法调用，系统采用OAuth认证体系。OAuth为用户资源的授权提供了一个安全、开放而又简易的标准。与以往授权方式不同的是，OAuth的授权不会使第三方触及到用户的账号和密码信息，即第三方无需使用用户名与密码就可以申请获得该用户资源的授权，因此OAuth是安全的。 为提高系统的可靠性、可用性和负载能力，还可使用负载均衡技术部署应用接口层，其架构如图6所示。 首先使用多台服务器分别部署应用接口，然后连接到负载均衡设备上，负载均衡设备再通过网络与上层应用连接。负载均衡设备可以是一台也可以是多台，这要根据业务量而定。负载均衡设备会根据均衡策略将应用请求分发到不同的应用接口服务器上。如此，在负载均衡设备的支撑下，有效地解决了因单台服务器中断或处理能力而导致的服务不可用、响应延时等问题，提高了系统吞吐量，加强了系统的数据处理能力，加快了响应速度。 6系统安全 在当前大数据环境下，数据的安全性越发重要。为了保障系统和数据的安全，首先要制定相应的法律法规，其次是采用相关安全技术[13]。 近几年来，我国就数据安全问题相继发布了多项法令，如《加强网络信息保护的决定》、《电信和互联网用户个人信息保护规定》、《网络安全法》等。同时也在加强大数据安全标准建设，先后制定了《大数据标准白皮书》、《云计算安全标准路线图》、《大数据安全标准路线图》等。各单位也根据实际情况制定了相应的规章制度。有了制度的保障，安全技术才能发挥其最大的功效。 在技术方面，除部署防火墙、审计系统等安全设备外，还需要注意以下几点： （1）访问权限控制。任何接口和数据都必须通过身份认证后方可使用，还必须按照权限大小控制其访问范围，防止越权访问。 （2）数据加密。对于存放在数据存储层的敏感数据要进行加密存储；同时在网络上传输的所有数据都必须进行加密处理，防止数据被非法窃取。 （3）数据备份。必须对数据进行定时备份，必要时采用双机冗余备份方案，以防止数据丢失后能及时恢复。 7结语 使用数据虚拟化技术构建的云数据中心能够将来自不同业务、不同体系、不同架构的数据汇入到抽象的服务层，然后进行整合、抽象，定义出新的数据对象，发布给上层应用使用，最终实现各个异构业务系统的数据交换和数据融合。数据虚拟化技术有助于减少对物理存储系统的依赖，又为使用数据的所有应用，尤其是商业智能系统、分析系统和事务系统提供了统一的接口。有效整合了现有资源，提高了数据管理水平，为后续大数据的应用打下了坚实基础。 参考文献参考文献： [1]黄成兵.大数据环境下高校智慧校园建设应用探讨[J].智能计算机与应用，2017，7（1）：131133. [2]彭琳，李勇军，马春广，等.数据质量分析与整合在高校信息系统的应用[J].电脑知识与技术，2015，11（23）：5155. [3]赵国锋，葛丹凤.数据虚拟化研究综述[J].重庆邮电大学学报：自然科学版，2016，28（4）：494502. [4]王雄.云数据中心网络架构设计[J].软件导刊，2016，15（10）：180182. [5]马青.数据中心安全管理体系构建研究[J].软件导刊，2013，12（7）：152154. [6]熊俊.數据中心服务器虚拟化技术综述[J].软件导刊，2016，15（11）：206207. [7]吴海洲.浅谈存储虚拟化[J].科技资讯，2016，14（31）：45. [8]马涛.云数据中心网络虚拟化技术实现及运用研究[J].电脑知识与技术，2017，13（18）：5456. [9]杜正刚.关于计算机软件数据接口的应用探讨[J].赤峰学院学报：自然科学版，2016，32（9）：2628. [10]E RESCORLA. HTTP Over TLS[EB/OL]. https：//tools.ietf.org/html/rfc2818. [11]D CROCKFORD. The application/json media Type for JavaScript Object Notation （JSON）[EB/OL].https：//tools.ietf.org/html/rfc4627. [12]E HAMMERLAHAV. The oAuth 1.0 protocol[EB/OL]. https：//tools.ietf.org/html/rfc5849. [13]庞金香，隋萌萌.高校云计算数据中心安全的设计与实现[J].微型电脑应用，2017，33（7）：2329. 责任编辑（责任编辑：何丽） |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。