《BOMC系统大数据应用浅析》-工学论文，通信论文-论文范文参考-科学狗论文网

标题

BOMC系统大数据应用浅析

范文

宋代强

【摘要】 BOMC全称为中国移动业务支撑网运营管理系统，主要为业务支撑系统（BOSS，CRM等）提供运维管理和维护支撑。随着云计算，大数据等技术的不断成熟，以及中国移动业务支撑系统架构的变化，BOMC需充分利用新技术，新手段，更好的发挥运维管理作用，让更多的运维数据充分发挥作用，实现更快的故障处理速度，提升客户感知能力，提高客户满意度。

【关键词】 BOMC 大数据客户感知

一、中国移动BOMC系统简介

BOMC是中国移动业务支撑网运营管理系统，定位于为中国移动业务支撑网各系统的管理和运维提供支撑，通过“集中监控、集中维护、集中管理”的方式，实现对业务支撑系统生产运行中的平台设备和应用软件等资源进行统一管理，并在此基础上实现全网运维情况、业务运行质量的分析评估。随着云计算、大数据等技术的日益成熟，业务支撑网各系统的架构发生变化，BOMC也需要进一步的调整和优化，以适应对新架构下被管系统的管理和服务的要求。通过引入大数据，运营管理系统可进一步丰富运维工作的手段，提升运维工作的质量。

二、BOMC大数据架构平台基本架构

在BOMC系统运维的过程中，存在问题如下：告警的设定仅为实时的提醒，缺少预警的功能，缺少根据某类指标设定动态的阀值的功能；对BOSS等业务过程的监控粒度较粗，业务故障定位存在延时等等。大数据的引用，将全量业务和告警数据纳入分析成为可能，在时效性上有了明显的提升，且通过多种手段，实现对业务问题和平台告警的预测。

随着大数据技术迅速发展，其技术框架也日益成熟，BOMC大数据平台亦采用目前成熟的技术框架，概括分为数据采集、数据采集、数据展现三层。数据源主要来自BOSS、CRM、BOMC等系统的业务日志，数据库、中间件日志，告警等运维数据。通过数据采集工具，对半结构化，非结构化数据进行采集，并对各类数据根据需要进行离线或实时处理，通过应用层实现数据的专题分析和应用展现。

三、BOMC大数据应用场景

BOMC前期建设，已经实现对全网业务，运维，探测数据的采集和存储。BOMC系统引入大数据技术，主要目的是挖掘日益剧增的数据价值，并构建适合实际运维的应用场景，解决以往传统运维工作难以解决的问题。通过在预警，故障处理等方面的应用，及时发现系统及业务故障点，在影响客户使用前处理并解决问题有效提高系统运维效率。

以下分别通过大数据应用场景的目标、场景分析方法、场景应用的算法章节，分别介绍BOMC大数据应用场景需要解决的问题，如何解决以及解决时引用的算法思路。

3.1主机内存故障预警

3.1.1场景目标

日常运维中，部分主机故障前会伴随着内存使用率的快速上升，针对主机内存使用率的告警预测，可提前预知主机内存的异动，发现主机运行的异常情况，提前检查并解决问题，避免故障的发生。

传统的文件系统告警需要等相应性能达到阀值后产生告警，这个时候往往留给维护人员处理的时间已经不多。针对这两种情况，我们对其做告警预测，在性能值发生异动时即提醒维护人员重点关注，避免告警的产生和问题的进一步恶化。

3.1.2场景分析方法

通过对历史性能分析，生成v=f（t）性能趋势分析函数，根据趋势分析函数，计算被监控点未来的性能趋势，并结合允许的波动范围生成安全性能区域，将实际监控性能值与预测值相比较，实现告警的准确判定。

3.1.3算法应用

3.1.3.1Kmeans算法简介

K-means算法简称为K值聚类算法，是一种cluster analysis的算法，也是最为经典的基于划分的聚类方法。K-means算法的基本思路是：首先设定空间中的k个点，并以此做为中心进行聚类，对最靠近他们的对象划分归类。然后逐步迭代，逐次更新各聚类区域的中心值，直至得到最好的聚类结果。

K-means算法接受参数k；然后将待聚类数据对象n输入并划分为k个聚类，使得计算所获得的聚类需满足如下条件：

（1）聚类相似度满足，即同一个聚类中的数据对象相似度较高；而不同聚类中的数据对象相似度较较低。

（2）聚类相似度是数据对象的特征属性的相似情况度量，可将数据特征属性标量化，利用距离计算相似度。

假设需将样本集n分为k个类别，算法描述如下：

（1）从n中随机选择k个元素，作为k个簇的初始中心；

（2）对任意一个样本数据，求其到k个簇的各中心的距离，并将该样本数据归类到距离最短的中心所在的簇（持续i次迭代）；

（3）计算并更新该簇的中心值，可通过距离欧式距离或均值等方法；

（4）如果通过（2）（3）的迭代法更新后，所有的k个聚类中心值保持不变，则迭代结束，否则继续迭代。

收敛快速和简洁是K-means算法的最大优势，算法的关键是初始中心k的选择，以及距离公式的选择。

3.1.3.2算法流程

先从数据集合D中随机抽取k个元素，作为k个簇的各自中心，然后分别计算剩下元素到k个簇中心的相似度，并将相似度最高的元素划分为统一个簇；接下来根据聚类的结果，重新计算k个簇的中心值，再将数据集合D中的所有数据根据新的中心值重新聚类，并不断重复聚类和中心的过程，直到聚类的结果不变化。

3.2接口平均耗时

3.2.1场景目标

分析CRM接口调用数据，结合业务量等指标，按接口类型，为每个接口并发耗时建立随时间、业务量的变化而动态变化的阀值，提高告警有效性。

3.2.2场景分析方法

源数据指标包括：

单位时间平均耗时

单位时间并发量

分析过程：

回归算法建立模型

分析运行数据，生成调用并发数与耗时的散点分布

动态生成耗时的合理区域曲线

为耗时指标建立动态阀值

3.3.3算法应用

3.3.3.1回归算法简介

线性回归算法是通过回归分析，计算依赖变量和独立变量之间的线性关系，并生成分析模型，使用该关系进行预测。

此关系以最好的表示一系列数据的形式出现。

每个数据点都有一个与回归线距离相关的误差，回归方程中的系数和回归方程中的系数可以调整回归线的角度和位置，通过调整一个或二次的回归方程，可以得到回归方程的回归方程。

有其他类型的回归，使用多个变量，也有非线性回归的方法，然而，线性回归是一个有用的方法，可对潜在因素的变化进行建模。

线性回归算法是决策树算法的一个变种，当你选择微软线性回归算法时，采用了一种特殊情况下的决策树算法，通过参数约束的行为，并要求一定的输入数据类型，而且，在一个线性回归模型，整个数据集被用于计算关系的初始传递，而一个标准的决策树模型分裂成更小的子集或树的数据。

3.3.3.2算法流程

当准备使用线性回归模型时，应该了解特定算法的需求，这包括需要多少数据，以及如何使用数据：

一个单独的键列，每一个模型必须包含一个数字或文本列，唯一标识每一个记录。

预测列至少需要一个可预测列。可以在一个模型的多个可预测属性，但可预测属性必须是连续的数值数据类型。不能使用datetime数据类型为可预测属性即使对于数据的本地存储是数字。

输入列的输入列必须包含连续的数字数据，并指定适当的数据类型。

模型处理完毕后，结果将以一组统计信息和线性回归公式的形式存储，可以利用这些结果来计算未来趋势。

除了通过选择线性回归算法创建线性回归模型外，还可以在可预测属性为连续数值数据类型时，创建包含回归的决策树模型。在这种情况下，如果找到适当的分离点，该算法会对数据进行拆分；但对于某些数据区域，则会创建回归公式。

3.3影响度分析

3.3.1场景目标

日常的运维工作需要对各类指标进行监控，如应用层指标、逻辑层指标，物理层指标等，可通过综合采集各类指标的预警和告警值，分析其业务的影响度，起到对业务层面的有效预警和关注。

3.3.2场景分析方法

通过对某业务在时间段内的特征属性（监控指标）划分收集，形成训练样本集合，当监控反馈某个监控指标达到预警或告警值时，通过分析此时的与业务关联的特征指标，判断业务受影响的概率。

数据源包括：

平台类指标监控数据

应用类指标监控数据

客户感知类指标监控数据等

分析过程：

训练样本数据收集和确定

样本训练

业务影响度分析应用

3.3.3算法应用

3.3.3.1朴素贝叶斯分类算法简介

朴素贝叶斯分类的思想基础是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，并以最大概率归类此对象归属的类别。

朴素贝叶斯分类定义如下：

3.3.3.2算法流程

朴素贝叶斯分类分为三个阶段：

1.工作准备阶段：本阶段的目的是准备朴素贝叶斯分类的必要数据和分类合集。首先根据具体需要，确定数据的特征属性，并将特征属性进行人工的划分，通过数据分析，形成训练样本。本阶段是需要人工完成的阶段，所以人工完成的质量对整个分类过程具有重要的影响。

2.生成分类器阶段：此阶段的目的是生成分类器。具体的内容包括，计算并记录每个数据类别在训练样本中出现的频率，划分每个类别的特征属性条件概率。这个过程将数据特征属性和样本输入，并输出分类器，此阶段可通过程序机动计算完成。

3、场景数据应用阶段：此阶段的目的是生成待分类项与类别的映射关系。主要包括将待分类数据进行分类，并通过第二阶段生成的分类器计算并输出相应的对应关系。此阶段也由程序完成。

四、小结

本文主要针对中国移动业务支撑网运营管理系统日常运维过程中存在的问题，并结合各省的解决方案，归纳总结几点可通用的应用场景。文中提到的应用，已在省公司的试点实施中得到验证，取得了比较明显的成效，如某省通过项目试点，主机内存阀值告警量相对减少1/3，并较好的减少了误告警的数量，进一步证明了此方法在业务支撑运维管理中的可行性。

大数据在BOMC领域的应用，有助于提升故障处理速度，提高客户感知。同时鉴于运维工作的通用性，此方法也适用于各省份的大数据应用建设。得益于大数据技术的不断成熟和日益发展，未来会有更多的应用场景服务于运维领域，为高效运维提供技术支撑。

参考文献

[1]《中国移动业务支撑网运营管理系统BOMC规范》

[2]《中国移动BOMC系统大数据平台建设方案》

[3] http：//www.cnblogs.com/leoo2sk/archive/2010/09/17/1829190.html

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。