《大数据及云计算技术在智慧校园中的整合与应用研究》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

大数据及云计算技术在智慧校园中的整合与应用研究

范文

徐勇

摘要：高校智慧校园是在数字信息化校园基础上，所建构的智能化网络服务评价架构，其主要用到大数据、云计算及物联网技术。当前大数据及云计算技术，在智慧校园体系建设中的应用，通常会利用Hadoop分布式平台、HDFS文件系统、Ma-pReduce虚拟计算等大数据技术，以及云计算平台及其服务器，来完成高校信息管理系统的部署与建设，并实现对数据资源的挖掘、整合处理与存储，以满足不同学校成员的教学、科研、管理决策需求。

关键词：大数据;云计算技术;智慧校园;应用

中图分类号：TP3 文献标识码：A

文章编号：1009-3044（2019）32-0055-02

智慧校園作为一种万物互联的信息服务控制系统，其不仅需要对海量数据信息进行采集、挖掘、处理与分析，还要建构完善的自动化数据监控、服务管理平台，对用户传递信息、服务请求等做出响应。在这一数据管控与信息系统建设的要求下，高校应借助于大数据及云计算技术，对校园网内的信息进行搜集、处理与更新，加强云平台开发环境中多种功能的开发，才能实现智慧校园资源动态分配、高校业务部署的目标。

1大数据及云计算技术概述

1.1大数据技术

当下智慧校园建设，所用到的大数据技术，通常负责校园网内数据的处理、存储，包括不同业务系统中结构化数据、非结构化数据的分析与管理，主要包含以下几方面组成结构：

1）Hadoop数据处理架构。Hadoop数据处理与存储框架，存在Flume、Pig、Hive、Hbase、Sqoop等模块，可以针对网络中的海量数据信息，进行并行分布式数据处理。其中Flume为Ha-doop的数据采集系统，能够对海量的日志数据展开采集、聚合与传输;Pig为大型数据集分析与处理平台，主要利用Map-Re-duce任务的编译器，对获取到的数据做出并行处理与分析;Hive为Hadoop的数据仓库，其能够将结构化数据信息，映射为便于读取的数据库表，此外其还具有SQL语言查询、数据汇总等功能。

2）HDFS分布式文件系统。HDFS文件系统为Hbase数据库中的数据存储系统，包含主节点、数据节点两部分，主节点负责元数据、DataNode数据节点的管理，数据节点负责定义客户端（Client）中数据块的分发、复制与管理。

3）Spark并行计算框架。Spark属于Hadoop数据处理系统的替代方案，其将Scala语言作为应用程序的编写语言，通过分布式内存的数据运算，进行SQL查询、文本处理、智能指令学习等任务的实现，还能够降低分布式数据集处理时的工作负载。

1.2云计算机技术

云计算平台是面向服务的可扩展信息系统，其包含Open-Stack云管理平台、分布式计算技术等组成架构，借助于云计算平台，可以对校园内多种业务功能进行部署与管理，为用户提供多种动态可扩展的基础服务。

1）OpenStack云管理平台。openStack云管理平台，是基于Linux内核的系统管理平台，其可以安装多种跨平台的应用程序，在完成系统存储、网络等构架设置后，就可以运用该云管理平台，展开多种信息化网络服务的部署，包括基础设施服务、平台服务和软件服务等的提供，具体框架如图1所示。比如在需要软件定义存储时，应通过服务器、软件定义子网的部署，遵循云计算的数据整合、存储流程，实现不同网络端口数据信息的共享、迁移与动态分配，来保证数据存储于同一个数据中心。

2）分布式计算与网格计算技术。分布式计算为多种计算技术的集合，包括Web service、Agent、网格计算等技术，其主要通过将数据分解为多个小部分进行并行处理，来完成海量数据的随时随地地的大批量处理。首先中间件技术在分布式系统、应用程序之间的协调，可以促进不同应用软件，在多个计算机硬件上的运行，这不仅能够有效减少单个计算机处理器的工作负载，也可以解决海量、复杂数据的运算处理难题。而网格计算技术为分布式计算的一种，其开展数据处理实现流程为：应用层将数据处理任务分配至虚拟计算机，然后由计算机硬件对多种数据资源，进行协调、分配与并行处理，最终完成多种网络数据资源的运算与存储，虚拟存储服务器可以保证系统功能拓展、数据存储的实现。

2高校智慧校园信息平台的网络体系架构

高校智慧校园建设是网络服务、线下服务的整合，要通过利用大数据技术、云计算技术、物联网技术等，构建完善的教学与管理系统，进行多种计算机硬件设备、信息化服务融合，才能保证智能化数据处理、综合业务管理服务的提供，提高院系综合事务治理、教学管理的水平。因此当下高校智慧校园信息管理平台体系的建构，主要包括感知层、网络通信层、大数据业务支撑层、智慧校园应用层、终端层等组成部分，不同层级分别负责网络搭建、数据处理、系统建设、服务提供等逻辑指令的执行，具体如图2所示：

1）智能感知层。智能感知层为智慧校园最基础层级，主要负责近距离传感通讯的信息读取，包括ZigBee协议、WSN无线传感网络、RFID射频识别、NFC近距离通信等技术，可以采集校园网络中出现的多种感应数据。首先ZigBee无线协议、WSN无线传感网络，是智能感知层的重要网络技术，WSN网络有无线网关、传感器节点等组成，其能够将微型传感器感测到的数据信息，经由ZigBee无线数据传输控制协议，传输至附近的计算机，然后再传输至校内网络系统中。而RFID无线射频识别技术，主要用于移动硬件设备的识别、读取，RFID读取器在不接触识别物体的情况下，能够读取芯片中储存的数据信息，证件识别速度、识别与验证的安全性非常高，可以对教师及学生的活动状况进行感知、监测。

2）网络通信层。网络通信层包含多种通信传输技术，如IPv4/IPv6有线网络、3G/4G移动网络、WiFi等通信模式，以及IP协议、通用网关接口协议等网络洗衣，主要为高校师生用户提供高速、稳定、便捷的互联网访问服务。

3）大数据业务支撑层。大数据业务支撑层，是大数据及云计算技术应用、实现的主要层级，也是智慧校园建设的关键层级。大数据业务支撑层中包含云平台服务器、后台数据库等硬件设备，以及数据挖掘引擎、数据仓库、分布式数据存储等软件，通常负责对搜集到的数据信息进行挖掘、整合处理与分析。一般在大数据业务信息的处理过程中，会先构建网络虚拟化服务器，然后利用分布式计算技术、分布式存储技术等，展开海量数据的并行处理，最后将聚合过的数据存储至分布式数据库。

4）智慧校园应用层。智慧校园应用层中包含多种应用系统，通过将不同信息服务整合至某一应用程序中，可以完成一系列校内信息管理工作，如协同办公、教务管理、学生管理、一卡通管理、综合信息管理等重要场景，都可以使用校园信息管理系统，进行教务教学、科研、生活服务的提供。（5）终端层。校园网络用户属于智慧校园建设的终端层，智能手机、平板电脑、PC等终端设备，可以被广泛应用于不同的校园环境、服务场景中。

3大数据及云计算技术在智慧校园中的整合与应用

3.1智慧校园的大数据资源调度与处理平台设计

大数据中心网络平台，主要为智慧校园建设提供数据采集、处理与存储父亲，具有操作简便、安全稳定、数据信息准确等特点。通过在Hadoop MapReduce虚拟计算环境，利用数据挖掘引擎（spark）、数据交换与存储系统，可以完成对海量校园网数据的抽取、清洗、转换、整合与分析，从而实现数据在不同业务系统之间的互相传输、共享。在这一数据资源的调度、集群负载、运算处理过程中，要首先对访问的用户进行身份认证，使用SpringWeb Flow框架，在后台服务器对登录的用户身份进行统一识别，并通过统一信息入口平台，将不同应用系统中的数据运算、业务服务形成有效整合。

本文利用Map-Reduce任务编译器，对获取到的数据进行资源调度的算法实现。使用优先级较高的priority值，对数据集群节点、文件系统接口、数据处理的任务流程展开动态配置与设计，数据资源调度与优化算法的权值代码实现为：

3.2智慧校园的云计算开发环境与平台部署设计

智慧校园云服务主要借助于OpenStack操作平台，进行校园网络中存储服务、虚拟运算等的组织运行。首先利用OpenvSwitch多层虚拟交换机，能够为校内不同主体提供基于IaaS的Internet服务，通过接入二层网络、三层网络等网络接口，形成物理主机、VM虚拟机与校园网之间的连接。校园网络开发者无须关注应用程序的底层架构，只需使用通用性的云计算平台，对现有数据资源计算、业务服务，做出合理的服务器控制节点、计算机节点配置，就可以实现智慧校园基础设施服务、平台服务、软件应用服务、终端业务的建设。

例如：智慧校園网络中多种业务系统的实现，可以通过基础设施即服务的公有云、私有云服务，对所使用的数据资源、网络存储、物理服务器、后台数据库等进行租用，并在上面部署任何需要的应用程序，来展开教务管理系统、教学管理系统、学生管理系统、综合信息系统、移动校园系统、一卡通系统等的建设，以满足不同教师及学生主体多元化的业务服务需求。

4结束语

大数据及云计算技术为智慧校园建设的主要技术，通过云服务开发平台、分布式数据库、分布式文件系统等体系的建构，可以对采集到的海量数据信息，进行数据挖掘、抽取、清洗与整合等，从而得到更加可靠、准确的数据内容。因此依托open-stack开源软件，搭建虚拟化计算机、虚拟化客户服务器等网络组成架构，能够完成对不同数据资源的匹配与部署，并为智慧校园网络基础信息平台的设计提供可行的解决方案。

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。