标题 | 企业云平台存储资源池设计与实现 |
范文 | 李高云 摘 要:针对某运营商增值业务平台纷繁复杂的现状和新形态下业务平台与合作类业务快速增长的要求,提出通过虚拟化技术将闲置服务器和新购刀片服务器组进行池化整合,同时将多个大容量磁阵的存储资源虚拟化,部署统一的存储资源池,从而构建增值业务统一云平台,实现云平台虚拟机和存储资源的灵活分配或回收。在充分利用计算、网络和存储资源的前提下,不仅满足各类新业务平台的快速部署需求,更有利于业务平台的统一整合和大数据挖掘。 关键词:云平台;虚拟化;资源池 DOIDOI:10.11907/rjdk.1511283 中图分类号:TP319 文献标识码:A 文章编号文章编号:1672-7800(2015)012-0107-02 0 引言 进入云计算时代,IT平台的建设已进入业务需求多元化、建设要求快速化的新形态。传统IT平台的建设周期长、设备利用率低,业务连续性保障机制、容灾机制较弱,而维护复杂性却越来越高[1]。同时各平台基本采用配置独立SAN交换机和磁阵供内部主机使用的方式,使存储自成一体,这种构建方式极不利于新业务平台的及时响应和快速部署。 1 需求分析 经过多年建设,某运营商现有各类业务平台40多套,这些平台分别建设,具有各自独立的服务器、网络设备、存储设备和备份资源。大部分设备的资源利用率很低,存储容量无法在各平台间共享,不能实现统一的调度管理,存储资源整体利用率低,无法实现异构存储平台之间的迁移和复制,复杂 SAN环境中的存储资源无法采用统一的容灾策略。 业务量的不断变化,需要下线部分平台,有些平台需要扩容服务器和存储,而新业务需求又要投资建设新平台,这样的建设需求往往很急迫,需要及时响应、快速部署。同时多业务融合需要平台间共享数据,逐步实现统一数据库管理和用户视图。传统模式下的信息孤岛,已不利于业务平台的统一整合和大数据挖掘分析[2]。云计算时代,将计算资源、存储资源、网络资源虚拟化,构建统一的虚拟资源池,实现按需分配,满足业务平台的快速部署已成为必然。 2 云平台架构 云平台的硬件资源以高性能刀片服务器和大容量存储设备为基础,利用部分性能较好的下电服务器和存储设备。通过VRM (Virtualization-Resource Management)模块和CAN(Computer Node Agent)虚拟化软件对每台物理服务器进行虚拟化处理,将单台服务器虚拟为多台虚拟主机,每台虚拟主机都拥有自己的硬件资源[3]。在云平台中,虚拟机以文件的形式统一存放在存储资源中,每台虚拟机通过物理相连的光纤交换机与统一存储资源池进行数据传输,确保了虚拟机与存储资源池的无障碍交互,其总体架构如图1所示,分为基础设施层、存储资源层和核心应用层。 图1 云平台总体架构 硬件基础层基于华为FusionComputer的虚拟化架构,包括存储、物理服务器和网络设备。每台物理设备通过虚拟化组件实现资源虚拟化,所有设备通过部署VRM软件的节点集中管理、监控与调度。 存储资源层以华为OceanStor S3900和S5900为主,同时通过物理服务器的虚拟化将硬盘也纳入虚拟化存储资源池,提供块状存储能力。资源池中除配置这些存储外,部分已有的空闲存储也纳入资源池共享使用,最大限度发挥存储资产的功效。 核心应用层对云平台中的软硬件进行全面监控和管理,向外提供资源的分配与回收、云主机快速部署、资源监控和统计报表等功能,实现各类资源的自动化发放和基础设施的自动化运维管理。 3 存储资源池实现 3.1 存储资源层规划 云平台的存储配置主要由华为OceanStor S3900、S5900和S6800E磁阵组成,总容量达到53T,采用SAN存储网络方式,磁盘阵列配置等级为RAID5。RAID5能提供良好的传输速度和数据保护,在磁盘阵列的配置中得到广泛使用。存储的主机组、RADI级别、RAID容量、LUN容量等规划如表1所示。 3.2 光纤交换机规划 光纤交换机采用高性能的HP AM866B,配置光电端口、接入多模光纤,并支持网络远程管理,实现对端口状态的监控和交换机的设置,所有端口同时全线速工作,全双工状态。云平台的光纤交换机、存储链接规划如图2所示。 在SAN存储网络中,Zone技术非常重要,设计好Zone能消除许多常见问题,同时还能充分发挥系统性能。光纤交换机上的Zone功能将连接在SAN网络中的设备从逻辑上划到不同的区域,不同区域中的设备不能直接互访,从而实现设备的隔离[4]。 图2 云平台存储网络 3.3 存储性能测试 通过使用IO Meter测试工具,在特定业务模型下测试虚拟主机的虚拟磁盘IO性能情况。 测试场景:S6800E: 7+1 RAID5, 15000SAS,如表2所示。 虚拟机在16K、60%Wirte、100%Random的业务模型下,在队列深度为1和32的情况下,能够获取的IOPS和MBPS均处于正常水平,可以满足虚拟机正常业务的存储性能需求。 队列深度指标主要衡量系统并发处理IO的能力,IO延迟随着队列深度的增加而增加。随着IO数目的增多,存储设备提供的最大IOPS处理能力也会很快达到[5]。因此队列深度为1的情况更多表明,单个虚拟机运行正常业务时能够获取的最大IO能力;队列深度为32的情况更多表明云平台能够获取的单个存储设备(主要指LUN)上的最大存储能力。以上述获取数据为例,LUN采用9+1磁盘RAID5方式组成,单盘为SAS 10000转,按照通用标准,该LUN提供的IOPS能力粗略计算为:150*10=1500 IOPS,这和实际测试的数据基本一致。 通过测试结果可以看到,云平台虚拟机的存储性能正常,完全能满足业务系统的各项要求。 4 结语 本文云平台已承载十多套业务系统运行半年有余,尚未出现故障。构建统一的云平台和存储资源池,可减少相互独立或闲置的平台,简化存储基础架构。统一存储资源池能为SAN内的多个应用提供共享存储服务模式,从而提高存储利用率,具有灵活的可扩展性、良好的性能以及数据可用性,避免了各个业务平台独立建设带来的弊端。该云平台具备全面操作与维护功能,提供了较为完备的基础设施虚拟化能力和大容量的存储资源池,有力支撑了运营商业务的稳定可靠运行。 参考文献参考文献: [1] 石屹嵘,段勇.云计算在电信IT领域的应用探讨[J].电信科学,2009(9):24-28. [2] 石磊,部德清,金海.Xen虚拟化技术[M].武汉:华中科技大学出版社,2009:5-10. [3] 耿昌兴.基于Hadoop的新校区云计算存储服务平台设计与研究[D].天津:天津大学,2012. [4] 梅圣民.云计算存储安全技术研究[D].长春:吉林大学,2014. [5] 谌侃.用户数据融合云计算存储方案研究[D].北京:北京邮电大学,2013. (责任编辑:杜能钢) |
随便看 |
|
科学优质学术资源、百科知识分享平台,免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。