服务器多冲突风暴节点的检测器设计与实现
史宝会+李勇
摘 要: 随着服务器系统节点数量和用户任务的不断增多,使得风暴节点出现冲突问题。在此背景下,通过分析服务器系统的节点连接架构,将检测器部署在其通信平台上,对用于检测服务器多冲突风暴节点的MooseFS检测器进行设计与实现。当风暴节点中存在较多冲突时,MooseFS检测器采用动态冗余分布策略与硬件平台协同检测,冲突不多时只使用硬件进行检测。动态冗余分布策略选用冗余度度量节点任务开销,给出风暴节点子任务、带宽和中央处理器运行时间的可用度函数,检验冗余度是否可靠。硬件平台通过逻辑门处理器对子任务、带宽、中央处理器运行时间以及存储容量的负载率进行度量。实验结果表明,所设计的MooseFS检测器拥有很强的资源控制能力。
关键词: 服务器; 冲突; 风暴节点; MooseFS; 冗余分布
中图分类号: TN911?34; TP393 文献标识码: A 文章编号: 1004?373X(2017)18?0026?03
Design and implementation of detector for multi?collision storm nodes in servers
SHI Baohui1, LI Yong2
(1. School of Computer & Communication Engineering, Beijing Information Technology College, Beijing 100015, China;
2. People′s Public Security University of China, Beijing 100038, China)
Abstract: As the number of server system nodes and user tasks increases unceasingly, conflict of storm nodes occurs. Under this background, the MooseFS detector used for detecting multi?collision storm nodes in servers was designed and implemented based on the analysis of the node connection architecture of the server system and the deployment of the detector on the communication platform of the server system. When many conflicts exist in storm nodes, the dynamic redundancy distribution strategy and hardware platform are used for the MooseFS detector to execute collaborative detection. When not many conflicts exist, only hardware is used for detection. In the dynamic redundancy distribution strategy, redundancy measurement task node overhead is selected, and the availability functions of storm node subtasks, bandwidth, and CPU running time are given to detect the redundancy reliability. On the hardware platform, the logic gate processor is used to measure subtasks, bandwidth, CPU running time and load rate of storage capacity. The experimental results show that the designed MooseFS detector has strong resource control capability.
Keywords: server; conflict; storm node; MooseFS; redundant distribution
服务器系统是一种提供计算服务的器件,经过长时间的发展,服务器系统节点越来越繁杂,数目也越来越大,如风暴般席卷而来。风暴节点(由海量节点组成的集合)冲突造成服务器系统可靠性不断下降。开放性与容错性是服务器得以持續发展的必经之路,很多学者结合理论与实际的关联性设计出服务器节点检测器,具体分为硬件检测和软件检测。硬件检测的灵活性强、检测效率高、成本低廉,资源开销却不低。软件检测的资源开销低,检测精度却不高。目前,硬件与软件相结合的检测器已经成为服务器节点检测研究的主要分支。
1 服务器多冲突风暴节点的检测器设计与实现
1.1 冗余分布策略
用于检测多冲突风暴节点的MooseFS检测器的冗余分布策略应绝对满足用户局域网的带宽、可读写性、中央处理器性能和存储容量,可以将检测工作看成一个多源优化工作[1]。多源优化工作是指从不同的数据组合结构中选取能够赋予任务最小开销的最优策略,并且要符合最基本的限制要求。
如果用[Xi]表示服务器风暴节点上的冗余分布集合,[Xi]会对节点任务开销造成很大影响,MooseFS检测器选用冗余度度量节点任务开销。冗余度是指从可靠性度量出发,提出一个度量值来保证系统在非常规作业下也可以正常进行任务处理等工作[2]。冗余度越小,风暴节点读子任务使用的用户局域网带宽就越大,此时节点资源消耗降低,只需要占据很小的存储容量就能解决风暴节点的多种冲突问题[3]。为了调节冗余度,静态冗余显然达不到要求,需要使用动态冗余分布策略。
动态冗余分布策略在管理平台和执行平台风暴节点的数据库中进行节点驻留,减少节点开销。设用户任务集合为[Oi],服务器系统中所有节点经过动态冗余分布分配到的子任务集合表示为[Ti={Tn}],集合元素[Tn]的分量用[(TRi,CRi,NRi,TWi,CWi,NWi)]表示,当[Ti×NRi=0]时,[Tn×NRi]的最大值[4]等于0。其中,[T]是任务,[C]是中央处理器运行时间,[N]表示带宽,[Ri],[Wi]分别是节点上的容错器集合和节点子任务权重。
将[Oi]在用户局域网的存储容量、任务可用度[5]分别设为[di],[Ac],[1-n=1N(1-An)Xin≥Ac],子任务的可用度设为[Ai(Xi)]。可用度是MooseFS检测器检测风暴节点子冗余度是否可靠的度量标准。如果将[Ac]平均分配到子任务上得到平均可用度[An],那么[Ai(Xi)]的函数式可表示为:
[Ai(Xi)=1-n=1N(1-An)Xin] (1)
式中:[n]是拥有子任务的节点次序;[Xin]是第[n]个节点上冗余分布的数据量,取值为0或1。
MooseFS检测器对服务器多冲突风暴节点带宽可用度和中央处理器运行时间可用度的检测函数如下:
[Ni(Xi)=n=1NNRnTRn(1-Xin)+NWnTWniN(Xi-Xin)] (2)
[Ci(Xi)=n=1NCRnTRn+CWnTWniNXi] (3)
1.2 检测器硬件平台设计
MooseFS检测器的容错能力强劲,在服务器系统风暴节点冲突数量不多的普通情况下,仅使用检测器硬件平台就能为节点冲突提供解决方案,存在严重冲突的情况下则采用冗余分布策略与硬件平台协同作业的方式[6]。图1是MooseFS检测器硬件平台架构。
图1中所设计的MooseFS检测器硬件平台由数据存储云平台和逻辑门处理器组成,通过用户局域网将二者在线连接于服务器系统通信平台外部[7],对通信平台内流经的节点数据进行存储与检测。逻辑门处理器监督风暴节点运动状态,当风暴节点中存在多冲突,数据存储云平台临时接管节点上的任务数据,再将数据分配到正常节点上,保证任务处理连续性;当风暴节点中的冲突解除,释放节点功能,将节点初始化至正常运行状态。
逻辑门处理器是一种集成逻辑设备,拥有74系列逻辑电路,采用5 V电源供电[8],如图2所示。设置A,B两个输入端是为了防止电路负载过重导致风暴节点不能与MooseFS检测器进行数据沟通。逻辑电路中有4个逻辑门,节点任务数据输入逻辑门处理器后将依次进行风暴节点子任务、带宽、中央处理器运行时间以及存储容量的负载率度量,通过输出端给出检测结果。
2 测试与分析
设定用户局域网带宽为150 Mb/s,在服务器系统数据库中写入2万条原始数据,将2万个节点构成风暴节点测试组,初始可用度设为0.98,当节点可用度下降至0.90以下,视为风暴节点中存在多种冲突。把风暴节点测试组平均分成10个小组,每小组中节点的平均读写任务容量如表1所示。
表1 风暴节点测试组读写任务容量汇总表
由表1可知,风暴节点测试组中读任务和写任务几近负相关。按照以往的经验,表1中给出的节点读写容量不应占用超出45%的资源消耗比例,超出后MooseFS检测器将不会维持长时间的正常工作。
在MooseFS检测器读、写风暴节点子任务的过程中,实验进行MooseFS检测器对服务器多冲突风暴节点资源控制能力的测试与分析。设定此时所有节点的可用度均低于0.90,用户任务集合[Oi]下动态冗余分布策略的资源控制能力如图3、图4所示。
观察图3可知,实验中MooseFS检测器最大读任务资源消耗比例为19.1%,折线斜率最大的点在第一、二小组之间。此后,虽然读容量不断上涨,但读任务资源消耗比例的上升趋势渐缓。观察图4可知,实验中MooseFS检测器写任务消耗的最大资源比例在写容量为1.25 GB(最大容量)时,之后的资源消耗比例不断下降,下降趋势明显,最小资源消耗比例僅为2.6%。从以上实验分析中可以得出:本文设计并实现了MooseFS检测器在进行服务器多冲突节点检测过程中具有很强的资源控制能力,可减少节点冲突产生。
3 结 论
本文采取硬件与软件相结合的检测方式设计MooseFS检测器,用来对服务器系统中风暴节点的冲突进行检测。MooseFS是一种在线分布式数据管理平台,本文使用动态冗余分布策略,融合数据存储云平台和逻辑门处理器的灵活检测性能,对风暴节点内的资源状况进行有效控制,在检测节点冲突的同时减少了冲突的产生几率。
参考文献
[1] 彭玉柱,孟凡超,初佃辉.基于多线程机制的电力数据采集系统设计与实现[J].计算机应用与软件,2015,32(1):78?81.
[2] 吴清秀.基于WSN的网关节点程序设计与实现[J].物联网技术,2016,6(8):35?36.
[3] SHAO S, KHREISHAH A, AYYASH M, et al. Design and analysis of a visible?light?communication enhanced WiFi system [J]. Journal of optical communications & networking, 2015, 7(10): 960?973.
[4] 于翰林,卢泽民,朱咏莉.基于嵌入式Web服务器的pH值检测系统的设计[J].江苏农业科学,2015,43(1):390?393.
[5] PENG C, QIAN K, WANG C. Design and application of a VOC?monitoring system based on a ZigBee wireless sensor network [J]. IEEE sensors journal, 2015, 15(4): 2255?2268.
[6] 朱研,郑琨.多服务器环境下的网络最脆弱攻击区检测[J].计算机仿真,2016,33(1):288?291.
[7] 段小红,潘国峰,杨帆,等.面向智慧社区的云分支服务器设计与实现[J].电视技术,2016,40(1):67?71.
[8] 王新新,梁意文.树突状细胞算法在Web服务器异常检测中的应用[J].计算机工程与应用,2016,52(24):148?152.
摘 要: 随着服务器系统节点数量和用户任务的不断增多,使得风暴节点出现冲突问题。在此背景下,通过分析服务器系统的节点连接架构,将检测器部署在其通信平台上,对用于检测服务器多冲突风暴节点的MooseFS检测器进行设计与实现。当风暴节点中存在较多冲突时,MooseFS检测器采用动态冗余分布策略与硬件平台协同检测,冲突不多时只使用硬件进行检测。动态冗余分布策略选用冗余度度量节点任务开销,给出风暴节点子任务、带宽和中央处理器运行时间的可用度函数,检验冗余度是否可靠。硬件平台通过逻辑门处理器对子任务、带宽、中央处理器运行时间以及存储容量的负载率进行度量。实验结果表明,所设计的MooseFS检测器拥有很强的资源控制能力。
关键词: 服务器; 冲突; 风暴节点; MooseFS; 冗余分布
中图分类号: TN911?34; TP393 文献标识码: A 文章编号: 1004?373X(2017)18?0026?03
Design and implementation of detector for multi?collision storm nodes in servers
SHI Baohui1, LI Yong2
(1. School of Computer & Communication Engineering, Beijing Information Technology College, Beijing 100015, China;
2. People′s Public Security University of China, Beijing 100038, China)
Abstract: As the number of server system nodes and user tasks increases unceasingly, conflict of storm nodes occurs. Under this background, the MooseFS detector used for detecting multi?collision storm nodes in servers was designed and implemented based on the analysis of the node connection architecture of the server system and the deployment of the detector on the communication platform of the server system. When many conflicts exist in storm nodes, the dynamic redundancy distribution strategy and hardware platform are used for the MooseFS detector to execute collaborative detection. When not many conflicts exist, only hardware is used for detection. In the dynamic redundancy distribution strategy, redundancy measurement task node overhead is selected, and the availability functions of storm node subtasks, bandwidth, and CPU running time are given to detect the redundancy reliability. On the hardware platform, the logic gate processor is used to measure subtasks, bandwidth, CPU running time and load rate of storage capacity. The experimental results show that the designed MooseFS detector has strong resource control capability.
Keywords: server; conflict; storm node; MooseFS; redundant distribution
服务器系统是一种提供计算服务的器件,经过长时间的发展,服务器系统节点越来越繁杂,数目也越来越大,如风暴般席卷而来。风暴节点(由海量节点组成的集合)冲突造成服务器系统可靠性不断下降。开放性与容错性是服务器得以持續发展的必经之路,很多学者结合理论与实际的关联性设计出服务器节点检测器,具体分为硬件检测和软件检测。硬件检测的灵活性强、检测效率高、成本低廉,资源开销却不低。软件检测的资源开销低,检测精度却不高。目前,硬件与软件相结合的检测器已经成为服务器节点检测研究的主要分支。
1 服务器多冲突风暴节点的检测器设计与实现
1.1 冗余分布策略
用于检测多冲突风暴节点的MooseFS检测器的冗余分布策略应绝对满足用户局域网的带宽、可读写性、中央处理器性能和存储容量,可以将检测工作看成一个多源优化工作[1]。多源优化工作是指从不同的数据组合结构中选取能够赋予任务最小开销的最优策略,并且要符合最基本的限制要求。
如果用[Xi]表示服务器风暴节点上的冗余分布集合,[Xi]会对节点任务开销造成很大影响,MooseFS检测器选用冗余度度量节点任务开销。冗余度是指从可靠性度量出发,提出一个度量值来保证系统在非常规作业下也可以正常进行任务处理等工作[2]。冗余度越小,风暴节点读子任务使用的用户局域网带宽就越大,此时节点资源消耗降低,只需要占据很小的存储容量就能解决风暴节点的多种冲突问题[3]。为了调节冗余度,静态冗余显然达不到要求,需要使用动态冗余分布策略。
动态冗余分布策略在管理平台和执行平台风暴节点的数据库中进行节点驻留,减少节点开销。设用户任务集合为[Oi],服务器系统中所有节点经过动态冗余分布分配到的子任务集合表示为[Ti={Tn}],集合元素[Tn]的分量用[(TRi,CRi,NRi,TWi,CWi,NWi)]表示,当[Ti×NRi=0]时,[Tn×NRi]的最大值[4]等于0。其中,[T]是任务,[C]是中央处理器运行时间,[N]表示带宽,[Ri],[Wi]分别是节点上的容错器集合和节点子任务权重。
将[Oi]在用户局域网的存储容量、任务可用度[5]分别设为[di],[Ac],[1-n=1N(1-An)Xin≥Ac],子任务的可用度设为[Ai(Xi)]。可用度是MooseFS检测器检测风暴节点子冗余度是否可靠的度量标准。如果将[Ac]平均分配到子任务上得到平均可用度[An],那么[Ai(Xi)]的函数式可表示为:
[Ai(Xi)=1-n=1N(1-An)Xin] (1)
式中:[n]是拥有子任务的节点次序;[Xin]是第[n]个节点上冗余分布的数据量,取值为0或1。
MooseFS检测器对服务器多冲突风暴节点带宽可用度和中央处理器运行时间可用度的检测函数如下:
[Ni(Xi)=n=1NNRnTRn(1-Xin)+NWnTWniN(Xi-Xin)] (2)
[Ci(Xi)=n=1NCRnTRn+CWnTWniNXi] (3)
1.2 检测器硬件平台设计
MooseFS检测器的容错能力强劲,在服务器系统风暴节点冲突数量不多的普通情况下,仅使用检测器硬件平台就能为节点冲突提供解决方案,存在严重冲突的情况下则采用冗余分布策略与硬件平台协同作业的方式[6]。图1是MooseFS检测器硬件平台架构。
图1中所设计的MooseFS检测器硬件平台由数据存储云平台和逻辑门处理器组成,通过用户局域网将二者在线连接于服务器系统通信平台外部[7],对通信平台内流经的节点数据进行存储与检测。逻辑门处理器监督风暴节点运动状态,当风暴节点中存在多冲突,数据存储云平台临时接管节点上的任务数据,再将数据分配到正常节点上,保证任务处理连续性;当风暴节点中的冲突解除,释放节点功能,将节点初始化至正常运行状态。
逻辑门处理器是一种集成逻辑设备,拥有74系列逻辑电路,采用5 V电源供电[8],如图2所示。设置A,B两个输入端是为了防止电路负载过重导致风暴节点不能与MooseFS检测器进行数据沟通。逻辑电路中有4个逻辑门,节点任务数据输入逻辑门处理器后将依次进行风暴节点子任务、带宽、中央处理器运行时间以及存储容量的负载率度量,通过输出端给出检测结果。
2 测试与分析
设定用户局域网带宽为150 Mb/s,在服务器系统数据库中写入2万条原始数据,将2万个节点构成风暴节点测试组,初始可用度设为0.98,当节点可用度下降至0.90以下,视为风暴节点中存在多种冲突。把风暴节点测试组平均分成10个小组,每小组中节点的平均读写任务容量如表1所示。
表1 风暴节点测试组读写任务容量汇总表
由表1可知,风暴节点测试组中读任务和写任务几近负相关。按照以往的经验,表1中给出的节点读写容量不应占用超出45%的资源消耗比例,超出后MooseFS检测器将不会维持长时间的正常工作。
在MooseFS检测器读、写风暴节点子任务的过程中,实验进行MooseFS检测器对服务器多冲突风暴节点资源控制能力的测试与分析。设定此时所有节点的可用度均低于0.90,用户任务集合[Oi]下动态冗余分布策略的资源控制能力如图3、图4所示。
观察图3可知,实验中MooseFS检测器最大读任务资源消耗比例为19.1%,折线斜率最大的点在第一、二小组之间。此后,虽然读容量不断上涨,但读任务资源消耗比例的上升趋势渐缓。观察图4可知,实验中MooseFS检测器写任务消耗的最大资源比例在写容量为1.25 GB(最大容量)时,之后的资源消耗比例不断下降,下降趋势明显,最小资源消耗比例僅为2.6%。从以上实验分析中可以得出:本文设计并实现了MooseFS检测器在进行服务器多冲突节点检测过程中具有很强的资源控制能力,可减少节点冲突产生。
3 结 论
本文采取硬件与软件相结合的检测方式设计MooseFS检测器,用来对服务器系统中风暴节点的冲突进行检测。MooseFS是一种在线分布式数据管理平台,本文使用动态冗余分布策略,融合数据存储云平台和逻辑门处理器的灵活检测性能,对风暴节点内的资源状况进行有效控制,在检测节点冲突的同时减少了冲突的产生几率。
参考文献
[1] 彭玉柱,孟凡超,初佃辉.基于多线程机制的电力数据采集系统设计与实现[J].计算机应用与软件,2015,32(1):78?81.
[2] 吴清秀.基于WSN的网关节点程序设计与实现[J].物联网技术,2016,6(8):35?36.
[3] SHAO S, KHREISHAH A, AYYASH M, et al. Design and analysis of a visible?light?communication enhanced WiFi system [J]. Journal of optical communications & networking, 2015, 7(10): 960?973.
[4] 于翰林,卢泽民,朱咏莉.基于嵌入式Web服务器的pH值检测系统的设计[J].江苏农业科学,2015,43(1):390?393.
[5] PENG C, QIAN K, WANG C. Design and application of a VOC?monitoring system based on a ZigBee wireless sensor network [J]. IEEE sensors journal, 2015, 15(4): 2255?2268.
[6] 朱研,郑琨.多服务器环境下的网络最脆弱攻击区检测[J].计算机仿真,2016,33(1):288?291.
[7] 段小红,潘国峰,杨帆,等.面向智慧社区的云分支服务器设计与实现[J].电视技术,2016,40(1):67?71.
[8] 王新新,梁意文.树突状细胞算法在Web服务器异常检测中的应用[J].计算机工程与应用,2016,52(24):148?152.