标题 | 广西云计算大数据应用平台构建研究 |
范文 | 周鸣 [摘 要]本文对广西大数据发展现状与趋势、广西云计算中心建设应用背景以及大数据和云计算技术结合趋势进行概述,并依托广西电子政务基础设施资源,整合广西电子政务外网数据中心和社会企业数据,构建了广西云计算和大数据应用平台。笔者从理论和实际两个角度对构建广西电子政务云计算大数据应用平台进行研究,能够为政府部门建设电子政务云计算平台和大数据应用平台提供借鉴。 [关键词]电子政务;云平台;大数据;构建 doi:10.3969/j.issn.1673 - 0194.2018.14.060 [中图分类号]TP311.13;TP393.09 [文献标识码]A [文章编号]1673-0194(2018)14-0-03 随着经济全球化和网络技术的迅猛发展,全球信息化步伐明显加快,大数据时代已经到来。作为无形的生產资料,大数据正在引发一场产业变革,并已显现出重塑产业的影响力。广西作为我国面向东盟的重要门户,推动大数据云计算应用平台建设,是深入推进中国—东盟信息港建设的重要组成部分,符合国家大数据战略和中国发展同东盟关系的总体要求。 1 大数据和云计算技术结合趋势 大数据是一种可以在实时性约束条件下收集、存储、管理、分析和可视化具有异构特征的大量数据集的模式。大数据相当于海量数据的“数据库”,整体来看,在未来的发展趋势中,云计算作为计算资源的底层,支撑着上层的大数据处理。云计算可以为大数据提供高性能的数据处理能力、海量存储空间等基础设施以及各种所需的软件工具,可以说起到了推动大数据技术和服务的作用,工作负载的突发性使云计算技术更加适合大数据应用。而大数据应用本身也可以作为典型云计算服务类型供用户以自服务方式访问,基于云计算的大数据生态系统能够有效支持大数据,为大数据应用带来更多的好处。目前,云计算大规模应用的技术条件和环境已经具备,基于云计算的大数据也应运而生。 2 广西云计算与大数据应用的现状 广西各级政府及所属部门都握有构成社会基础的原始数据,如气象、金融、信用、电力、住房、医疗、教育和环保等数据。但这些重要数据仍“沉睡”在政府部门、高校、出版社、报社、图书馆和科研院所的档案袋或文件夹中,没有发挥出应有的作用,如果能将这些单一的、静态的数据关联起来,并进行关联分析和统一管理,将获得新的管理模式和使用价值,为广西发展提供智力支撑。根据《广西壮族自治区人民政府关于印发促进大数据发展行动方案的通知》(桂政发[2016]59号)文件精神,广西要在2017年底前建成统一的政府大数据基础设施,初步形成跨部门、跨领域的数据共享共用格局。广西电子政务外网云计算中心,已于2015年5月开工建设,主体机构工程已于2016年9月封顶,该项目是广西政府系统电子政务“十二五”规划建设的重点项目,是广西重要的电子政务公共基础设施,已被列为国家电子政务外网华南灾备中心,计划于2017年12月投入运行。 3 平台对广西产业发展的作用和影响 广西大数据应用平台可夯实数据共享基础,打造数据集散中心,对“中国—东盟信息港”建设形成有力支撑,是对广西大数据发展行动方案的积极响应。平台同时也是集政府公共服务中心、电子政务云中心、信息处理中心等多功能于一体的复合型计算中心,不仅有利于引进高端人才,还能够有效提升广西的科研水平,而且可以改善区域投资环境,在促进招商引资的同时,促进广西经济社会快速发展,同步带动广西云计算产业的快速发展,吸引更多云计算企业进驻广西。平台通过完善相关制度、运营体系、数据定价、交易模式和易准入机制等一系列数据交易环节,配以交易监管措施,可实现大数据资产化,充分挖掘大数据的价值。 4 广西云计算大数据应用平台构建研究 4.1 构建目标 项目依托广西电子政务基础设施资源,整合广西电子政务外网数据中心以及社会企业数据,构建广西云计算和大数据应用平台,打造中国—东盟区域性信息枢纽和大数据应用示范样板,为政务部门、广大企业和社会公众开展大数据应用提供统一的信息服务基础架构支撑。项目旨在为广西乃至东南亚地区政务信息和社会信息的互联互通、开放共享、存储交易和开发利用,提供先进的大数据应用和云计算支撑服务,实现区域内公共信息的有序开放和综合开发利用,全面提升区域内信息技术和大数据发展水平。 4.2 构建内容 4.2.1 建设广西云计算平台、机房配套和IT设备系统 广西要充分利用电子政务外网云计算中心基础设施,建设云计算平台、机房配套和IT设备系统。云计算平台包括云计算管理平台、云计算监管平台、云备份系统、云安全体系和云运维体系。机房配套内容包括578个机架及其配套建设的供水排水系统、供配电系统、综合布线系统、空调系统、新风系统、消防系统、照明系统、防雷接地系统、电磁屏蔽系统、安全防范系统、监控系统、能耗监测管理系统和智慧管控平台(DCIM)等。IT设备系统包括服务器、存储系统、网络系统、安全系统、数据库系统和云管理系统等软硬件设备。 4.2.2 建设广西大数据应用平台 广西要依托现有的电子政务共享交换平台,建设广西大数据应用平台,包括广西大数据开放平台、面向东盟的信息资源共享服务平台、大数据分析平台和数据交易平台。 (1)广西大数据开放平台。该平台包括研究和编制面向政务以及公共服务的数据开放目录,制定数据开放制度和工作流程,开发建设广西大数据开放平台。 (2)中国—东盟信息资源共享服务平台。该平台立足核心基地,汇聚中国与东盟各国政府统计数据、地方市场信息、法律规范和标准体系等数据资源和动态资讯,面向双边需求部门、企业、个人提供数据服务。 (3)数据分析服务平台。该平台选取跨境贸易市场监管、金融服务、灾害预警和物流通关等领域开展大数据分析服务示范工程,鼓励市场积极利用开放数据资源挖掘数据价值,支撑政府决策及企业开展业务。 (4)智能报表服务平台。该平台根据分析服务平台,提供数据可视化服务,结合用户的业务需求,利用敏捷开发技术提供精准、智能报表体系。 (5)数据交易服务平台。该平台旨在推进面向中国、东盟双边市场的数据交易前期研究工作,制定并完善数据交易相关制度,选取部分领域作为数据资源试点,开展数据交易服务。 4.3 总体架构构建 4.3.1 云计算平台构建 广西电子政务外网云计算中心政务云总体架构规划为“1+N”架构,项目建设1个政务云监管平台,对各个云服务商进行统一监管,主要实现宏观调度、资源申请、监控、审计等功能。云服务商按照统一技术路线要求建设云平台,每个云服务商提供完整的云计算(包括云管理)服务;每个云服务商平台包含公共业务区和互联网区两个区域云平台,各自的网络资源池、计算资源池和存储资源池相互独立、不共享,即具体实现“1+2”架构,其中一家由现有的云平台升级改造完成。政务云总体架构和逻辑架构如图1所示。 (1)网络资源池。通过虚拟化技術将两台或多台同一层级物理交换机虚拟成一台逻辑设备,通过跨设备链路捆绑实现核心和接入层设备的点对点互联,采用SDN和Vxlan技术实现多租户隔离的VPC网络虚拟化架构,最终实现满足承载大规模虚拟机应用的二层网络环境和灵活、安全的租户策略。网络资源池将为政务云提供一个性能更高、二层域更大的网络环境,根据本期规模,将建设两个DC模块,其中DC模块1为自治区级政务部门提供IaaS服务,DC模块2为自治区级政务部门提供服务器托管服务。 (2)计算资源池。本项目统筹考虑大访问量应用系统、大计算量应用系统和大数据量应用系统3种业务模型占比,为简化分析,将各业务模型使用的虚拟机分为通用型、中性能型、高性能型3种类型,大概估算计算资源池需要配置通用型虚拟机2 184台、中性能型虚拟机650台、高性能型虚拟机250台、物理数据库服务器30台。 (3)存储资源池。本项目通过构建分布式存储系统和集中式存储系统相结合的统一存储系统为云计算平台提供多样化的数据存储服务,实现云计算平台存储资源的统一管理和使用。每一个VPC(租户)可根据具体业务应用特点选择分布式存储,也可以选择集中式存储。并配置4套存储系统为上层云平台提供数据存储服务,两个云服务商的互联网服务区和公共服务区分别使用1套存储系统,每套存储系统都包含分布式存储子系统和集中式存储子系统两部分。 (4)安全防护系统。安全防护系统按照国标GB/T 22239-2008《信息系统安全等级保护基本要求》第3级基本要求、新国标《信息安全等级保护基本要求》征求意见稿、国标GB/T 31168-2014《云计算服务安全能力要求》等进行规范建设。 (5)云监管平台。云监管平台通过统一接口标准与两个云服务商平台对接,对云服务商平台进行统一监管,主要具备宏观调度、资源申请、监控、审计和安全管理等能力。云监管平台提供商需与云服务商平台提供商一起,在广西电子政务外网管理中心的统一管理下,提出云监管平台与云服务商平台之间的监管接口规范。 (6)云管理平台。云管理平台是广西电子政务外网云数据中心后台的管理、调度、监控和运维中心,其主要职能是将资源池化的计算、存储、网络、安全资源统一调度与编排,应该具备架构灵活、扩展性强、开放性好、稳定性、可靠性和兼容度高等基础特性。同时,云管理平台能够对用户的端到端应用部署进行统一管理和配置,以及满足云内和云间多级资源分配的管理需求。 4.3.2 大数据应用平台构建 平台利用成熟的技术完成系统开发,将各类形式和内容不同的元数据进行处理后,为用户提供可视化的应用场景,满足大数据应用需求。具体架构如图2所示。 图2 大数据应用平台的具体加购 如图2所示,数据应用层、数据服务层、算法库、数据处理层、数据存储层、数据资源层、标准支撑体系和安全保障体系,根据构建目标与应用要求,依据构建层对应的功能模块支撑表现层应用。其中应用层各模块功能构建如下。 (1)广西大数据开放平台。信息资源开放门户:主要针对企业、公众用户使用,使社会公众能够获取政府大数据共享开放带来的红利,同时政府也能够通过此门户窗口获取社会资源信息。功能包括首页、数据目录、数据申请与审批、数据查询与下载。数据治理系统:主要实现资源目录、元数据管理和数据质量管里等,包括元数据管理子系统、资源目录管理子系统、数据质量管理子系统。数据应用系统:主要提供大数据分析,能够实现实时、批处理、交互分析,最终通过报表、仪表盘、AP等形式展示结果,包括数据采集、数据分析、结果发布3个部分。 (2)信息资源共享服务平台。中心数据库管理系统:为全行业提供数据交换,同时对信息共享平台上的客户信息、企业供求信息和业态动向,进行专业化的分析和统计,为制定行业政策提供决策依据,包括数据模型管理子系统和数据查询分析统计子系统。东盟人才信息服务系统:主要包括人才库管理、简历管理、企业库管理、招聘信息管理、信息发布系统、栏目管理、下载中心和在线调查。通用接口系统:通用接口实现电信运营商的通信资源、金融保险的服务资源、企业的其他信息资源等数据交换与汇聚。平台管理中心系统:实现对信息资源共享平台的管理功能,包括企业客户资源管理、平台资源管理、平台权限管理、应用服务管理和统计分析等。 (3)大数据分析平台。为全社会提供大数据处理和分析,以区域性智能数据中心及高速互联网为基础设施,以互联网服务体系为架构,以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑,通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务。功能包括综合查询系统、统计分析系统、统计展示子系统、智能预测系统、联机分析系统和重点领域分析系统。 (4)数据交易平台。以数据分类为基本单位,整合需求方、供给方、管理方(指政府的多级审批部门)、咨询、洽谈、对接和执行跟踪等全过程、全方位的信息,实现信息的有序流动,从而完成数据交易完整生命周期。数据交易平台包括在线客服子系统、视频洽谈系统、信息交流系统、数据展示子系统和交易管理子系统。 5 趋势与建议 广西云计算大数据应用平台通过搜集及利用大数据,贴近广西实际,实现应用系统服务化,紧密围绕加快政府数据开放共享,推动资源整合,提升治理能力。广西应推动产业创新发展,培育新兴业态,助力经济转型为任务方向,实现广西云计算大数据应用平台系统标准化,构建广西可持续化的电子政务大数据应用市场行业生态圈,实现大数据应用发展完全市场化。当地政府应扶持更多优秀的软件及大数据企业,促进大数据行业快速发展,为政务大数据应用市场提供更优质的服务。 主要参考文献 [1]李怀国,姚晓乐.大数据和云计算平台与应用研究[J].中国新通信,2017(2) [2]张文光,陈俊,王肖.大数据背景下贵州省电子政务云平台构建研究[J].贵阳市委党校学报,2016(2). [3]王强,李俊杰,陈小军,等.大数据分析平台建设与应用综述[J].集成技术,2016(2). |
随便看 |
|
科学优质学术资源、百科知识分享平台,免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。