《面向大数据应用的分布式服务平台设计与实现》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

面向大数据应用的分布式服务平台设计与实现

范文

王海滨

摘要：随着互联网时代的来临，数据化时代的不断推进，现代社会对信息数据的重视程度愈发提高，如何更加高效、高速的处理海量信息数据，为用户提供更加优质的服务是许多互联网企业必须要思考的问题，而采用分布式处理方式既能够缓解运营商的主机压力又能够为用户提高更加优质的服务，故该文围绕着面向大数据应用的分布式服务平台设计与实现这一主题进行阐述，希望能够以此为大数据处理方面的研究提供一份参考资料。

关键词：大数据;分布式服务平台;设计与实现

中图分类号：G642? ? ? 文献标识码：A

文章编号：1009-3044（2021）15-0067-02

当下随着互联网技术的不断成熟，我们可以从互联网上找到诸多的信息数据，而如何从这庞杂的数据中找到我们所需要的，如何提升用户的使用体验，是许多互联网公司提升自身核心竞争力的关键点之一，同时搭建属于企业自身的大数据应用平台也是许多互联网公司努力奋斗的目标，故本文围绕着面向大数据应用的分布式服务平台设计与实现这一主题进行了详细陈述，具体陈述如下。

1 大数据技术

目前有关大数据尚无明确定义，但来自麦肯锡研究所对于大数据的解释是现如今较为被认可的说法之一，该研究所认为大数据是一种海量数据的集合，其数据总量非常庞大，根本不是可以依靠少量计算机就能够进行处理的数据量，其具有数据总量庞大、类型丰富、数据价值密度低的特点。在信息技术全球化的当下，大数据的价值堪比工业时代煤炭的价值，对于现代企业而言大数据技术是非常富有价值的，通过对这些“煤炭”的挖掘可以为诸多服务企业提供精准销售，也可以让许多中小企业、传统企业通过大数据技术实现企业转型。总而言之随着时代的不断进步，未来大数据技术的不断成熟，其对于经济社会的价值体现会愈发明显，愈发重要。

2 国内外有关大数据应用管理的相关研究

随着大数据时代的来临，许多企业已经意识到大数据的重要性从而着手对大数据管理应用进行研究，其中Google、Oracle、Microsoft等企业更是已经有了一定的研究成果并投入到实际应用当中，如由Google企业开发的一款名为Map Reduce的计算模型，其就能够对大数据进行有效处理，且算模型因其出色的高容错率、高扩展性等优点受到众人的追捧，而脱胎于Map Reduce的Hadoop则更是因为其能够高效的处理大数据作为当时处理研究大数据的主要途径，对整个学术界和大数据市场产生了极大的冲击，被广泛用作搭建大数据管理的基础平台，但随着科学技术的不断发展，Hadoop又因為管理大数据而造成的计算机系统高延迟问题而被分布式内存中的Key-Value存储所淘汰，总而言之，大数据管理系统在当下是十分受人瞩目的，且已经取得了一定的研究成果，但目前仍然还有着许多的难关需要不断的克服，但无论如何大数据的外来发展与应用的前景依旧是十分光明的。

3 大数据应用平台结构设计

为了使各企业能够从大数据中及时地找出自己所需要的数据，同时也为了缓解服务器的压力，设计大数据管理应用平台时可以采用分布式结构，通过将数据集群进行分解，不断分摊在各子集群上的这一结构达到搭建大数据应用管理平台的目的。从结构角度分析可将Hadoop/Spark作为整个大数据分布式服务平台的核心技术，通过REST协议实现各服务器之间的沟通交流，其基本结构如图1所示。从数据存储的角度来看，将数据的储存使用分布式储存方式，将一个大的数据集群，分门别类地存放于子存储系统当中，在通过子存储系统将这些数据提供给诸多用户使用，达到实现优化整个大数据平台的存储查看的效果。通过使用分布式存储方式的形式，将整个大数据应用平台通过将各数据进行整合分析，使各企业能够充分使用企业内部的各存储设备，达到存储设备的最大使用率，并方便各企业对诸多数据进行分析研究找出其内在价值，从而根据数据所提供的消息展开有针对性的营销策略。

4 系统功能设计

对于搭建一个可靠的大数据应用平台而言光靠合理的结构是不能够满足市场的需求的，其不仅需要合理的结构体系，还需要满足有能够服务于大数据应用平台的功能，具体功能需求如下：

（1）应用注册模块：以注册Eureka Server为例，当大数据系统正式应用后，用户通过客户端进行注册此时注册信息会上传至各子服务器，存放着注册信息的子服务器又会向Eureka Server发送信号，而Eureka Server会以30s为周期对这些注册信息进行处理和储存。同时在不同的Eureka Server之间则通过数据间的交互复制完成信息的同步。且为了防止因Eureka Server出现问题而导致数据丢失，Eureka还设立了一份保险装置，即提供了客户端缓存机制，这样即使所有的Eureka Server全部出现问题，数据全部丢失，客户端所缓存的信息依旧可以使用其他服务的API。

（2）路由网关模块：路由网关的核心是一系列的filters，如Authentication、Load Shedding，当客户端前的用户向大数据应用平台发起申请时，路由网关首先会检测该用户是否有权限进行申请处理，若有路由网关就会自动将该申请发送至对应的服务地址上，进行专项处理，若无权限则会拒绝该申请，自动将页面返回登录界面。同时如果服务有集群则进行负载均衡，默认是轮询的方式。

（3）访问控制模块：是整个服务平台对各用户的访问进行控制管理的一个模块，对访问用户的身份进行验证，进行授权。对每个点击登录的用户返回一个JWT网页令牌给用户，实现给予用户权限和身份识别，从而实现无状态、分布式的Web应用授权，从而对用户的访问进行处理验证。

（4）用户和服务模块：系统需要分别开放一个restful接口，让用户和第三方通过post、delete、put、post等操作指令获取所需要的数据信息，从而达到实现操作和管理的目的，且这两者是有所区别的，前者是通过让用户进行主动搜索寻找到用户自身所需要的数据资源，后者是将对应的大数据信息传送至第三方服务。

（5）服务质量模块：这一模块是为了保障用户在使用大数据服务时能够有一个优质的使用体验，从而增加用户二次使用概率的一个模块。传统模式下BIO用户每发起一次搜索，每点开一个连接，服务器都需要对应地创造一个单独的线程进行维护回应，这对服务器产生了较大的压力，也造成了许多不必要的资料浪费，对用户的回应效率也较慢，导致了用户的体验较差。因此在搭建服务质量模块时可以使用Netty，这是一个基于Reactor设计模式事件驱动模型的网络编程框架。使用NIO模式的用户避免了每点开一个链接就会产生一个新的线程的情况，可以只使一个线程就能够应对多个链接，极大的增加了回应用户的效率，减少了资源的浪费。

（6）第三方服务模块：为了符合市场需求，大数据应用平台的设计必然要有着第三方服务模块，就如七牛云存储，除了本身提供的资源存储管理服务，现还有这第三方支付服务，如银联、支付宝、微信等。

5 系统实现与应用

为了实现系统的搭建和应用，除了要完成上述内容以外还要完成前后端分离和系统缓存一致性，才能真正实现大数据应用的分布式服务平台搭建。

5.1 前后端分离技术实现

一个成熟的，搭建完善的大数据应用平台其前端和后端必然是分离的，这已经成了互联网界项目开发的标准模式，前后端分离不仅可以为之后的平台结构优化、多端化服务打下良好的基础，还因为对于大数据应用平台而言最佳的结构形式是分布式结构，而采用前后端分离更加方便这种结果的搭建，同时也是的开发人员能够全力投入到更加适合自身的工作之中，做到术业有专攻，提升平台的搭建速度和质量。故在进行前后端分离时，前端可以采用Vue，以单向数据流的状态管理模式进行构建，后端则用Spring Cloud系列的技術对服务进行分模块开发，而前后端对外则使用统一网关的形式提供接口，将前端的接口通过mock数据源转接到后端的接口即可完成前后端分离的实现。

5.2 保障系统缓存一致性实现

因为大数据应用平台搭建结构模式采用的是分布式模式，其数据整体具有较强的实时性，而为了优化用户体验，使得大数据应用系统能够为顾客提供更加高效、优质的服务，还需要保障系统缓存的一致性，而要做到这一点还需要注意以下内容：1）要设计一个内存队列保存对数据的操作;2）及时清除服务器中不必要的缓存，避免这些缓存侵占过多的服务器资源，需要注意的是在需要更新数据库时需要优先删除缓存在进行更新;3）优化整体操作、整体运行，删除无意义的、重复的操作;4）同步等待缓存更新完成，从分布式存储系统中读取最新数值，再写入缓存中;5）若用户进行数据请求时，等待的时间过长则需要对旧值进行清理，保证缓存的一致性，以免请求发生冲突。

6 结束语

综上所述，随着互联网时代的来临，数据的价值愈发被人们所重视，我们身边的大多数信息都已经数据化，我们在网上可以接触愈来愈多的信息数据，而将这些海量的数据信息进行统筹规划实际应用，挖掘出这些信息潜在价值就是面向大数据应用平台搭建的目的。故本文介绍了大数据技术，分享了国内外有关大数据应用管理的相关研究，设计了面向大数据应用的分布式服务的结构设计、功能设计以及前后端分离，并保障了系统缓存的一致性，以求能够实现大数据应用平台的搭建。

参考文献：

[1] 杨秋鸿，潘晓衡，赵铁柱，等.面向大数据应用的分布式服务平台设计与实现[J].东莞理工学院学报，2020，27（1）：34-38.

[2] 董佩.大数据环境下面向电信行业数据管理平台的设计与实现[D].漳州：闽南师范大学，2016.

[3] 赵冰峰.面向集成应用的不动产信息服务平台设计与实现[D].徐州：中国矿业大学，2017.

[4] 吴东尧.面向大数据的分布式数据流处理引擎设计与实现[D].北京：中国科学院大学，2012.

[5] 安秀成.一个基于WINDOWS NT平台的分布式面向对象数据库管理系统的设计与实现[D].辽宁：东北大学，1998.

【通联编辑：代影】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。