用户感知体系优化的探讨及应用
黄毅华 孙柳益 卢洪涛 魏垚
【摘 要】移动通信服务的竞争日益激烈，用户体验的提升是留住用户的重要手段，为了能够有效地评价用户实际感受，通过对无线参数及核心网信令数据进行研究，提出了可实施的评价算法，通过该算法对用户体验进行量化评分，客观地表达了用户的真实感受。
【关键词】用户感知；感知体系；用户体验质量
Discussion and Application of User Experience System Optimization
HUANG Yihua1，SUN Liuyi2，LU Hongtao1，WEI Yao1
[Abstract] The competition of mobile communication services is increasingly fierce， the improvement of user experience is the important mean to retain customers. In order to effectively evaluate the actual user experience， wireless parameters and signaling data in the core network are investigated. A practical evaluation algorithm is proposed， which can objectively express the true user feelings by quantitatively scoring user experiences.
[Key words]user experience； experience system； quality of experience
1 引言
隨着4G的普及，用户对无线通信网络的依赖程度不断加深。因此，用户的网络体验直接影响用户对运营商网络的选择。
以用户体验提升为目标来优化网络，逐渐替代现有的通过路测进行网络优化，从而达到运营商品牌忠诚度提高的目的，推动用户流量使用量的提升。
2 用户感知体系现状
运营商曾经在3G时代使用端到端优化来改善用户体验，已经设计出一套完整的用户感知打分体系，该体系主要是通过监控网络质量，通过综合打分，来判断用户对无线网络的感知情况。各厂家各制式的感知体系在细节上有些不同，但是总体的思路基本相同。大多都是采用4层模型分解（如图1所示），提出QoE（Quality of Experience，用户体验）目标，分解到KQI（Key Quality Indication，关键质量指标）及KPI（Key Performance Indication，关键业绩指标），再到具体的指标，然后指定各指标权重，最后对网络整体的用户感知状况进行打分。
但是，随着网络从3G升级到4G，用户使用手机的需求和习惯产生了很大的变化，影响网络的因素也有很大的变化，不同的App、不同的手机、不同的网站都可能对用户体验产生重大影响。而用户对网页打开时延的忍受力，聊天应用的顺利与否，视频的卡顿等也都成为用户感知的主要内容。原有的感知体系也需要跟着用户的需求变化而发生变化。因此，需要重新制定一份满足现状的评分体系来评估LTE的用户感知。
3 用户感知体系搭建
3.1 客户体验管理体系概念
用户投诉往往是用户对网络不能忍受的情况下才提出来的，如果能够在投诉前就发现用户问题，及时地跟进解决，那就会在很大程度上提升用户体验。CEM（Customer Experience Management，客户体验管理）就是针对这一体验管理而提出的。CEM体系通过分析用户对各种业务的使用频度、网络和服务质量、对KQIs进行加权汇总，建立起尽可能贴近用户感受的CEM指标体系，进行测量、计算、监控和分析利用，及时发现和定位影响用户感知的问题，并通过各种保障措施确保用户感知。同时通过分析相关数据，对用户感知进行营销，使用户感知保障成为可持续的经营活动。
针对CEM的度量，给出了一个CEI（Customer Experience Indicators，客户管理指标）指标。CEI指标的定义原则如下所示：
（1）QoE指标分为子项感知度和整体感知度。
（2）子项感知度的定义与用户对业务某一方面的应用感受相一致，用户对该业务的应用感受有几个方面，则定义几个相应的子项感知度指标。
（3）每个子项感知度指标都有与之相对应的一个或一组KQI指标。这个或这组KQI指标描述的是某一业务应用在某一方面的性能，而对应的子项感知度则是用户对这一方面性能的主观感受。
（4）整体感知度是用户对某一业务应用的综合体验质量，是该业务对应的所有子项感知度的综合反映，为单独的一个指标，包括用户行为和终端分析。
（5）CEI的指标从网络侧多个接口获取数据，从端到端的角度来分析用户感知。因此，其度量的指标能够较为准确地反映用户的实际情况，如图2所示。
CEI是基于用户感知的总体评价，分为三层，第一层是CEI度量的分值，第二层是KQI指标参数，第三层是KPI指标参数，如图3所示。而KQI又可以由分布在不同网络侧的KPI参数来监控得到。虽然最后都是分解到KPI指标，但是此KPI和传统的KPI还是有很大区别。其具体区别如下：
（1）物理链路
传统KPI关注运营商的网络/网元；KQI关注业务应用的端到端网络性能。
（2）业务类别
传统KPI无法区分业务应用类别；KQI体系重点考察具体业务应用性能。
（3）协议层
底层协议层性能无法完整反映上层协议层性能。
图3 CEI三层指标
3.2 用户感知指标体系指标的选取
为了能够量化用户感知，需要给出一定的量化指标。因此要从客观的角度去找到一些影响用户感知的因素，并对其进行量化，方便客观地评价感知情况。
影响感知的因素有很多，包括：
（1）网络因素：由于网络通信问题，例如通信质量差、速率慢等因素导致用户体验差。
（2）手机因素：由于手机本身问题，例如出现卡死，手机本身CPU处理较慢等因素导致用户体验差。
（3）应用因素：手机App也是影响用户体验的一个重要因素，App本身的界面，操作等因素是否合理对用户体验的影响也很大。
（4）其他因素：例如品牌、价格、客服等其他因素的影响。
通过用户感知发现网络所存在的问题，通过提升网络质量来提升用户感知。
通过大量的用户投诉意见分析，发现无线网络覆盖是用户的基础需求，网络接入性和保持性是保障网络的基本条件，用户感知的最主要部分是用户对业务的体验。而且对于业务体验，可以通过网络侧的一些监控参数来实现。通过专家法给出了三个方面的权重，无线覆盖质量30%，网络接入性和保持性10%，业务体验60%。
（1）无线质量覆盖：用户可以在手机界面上直接看到信号强度，因此，一旦信号强度显示较差，就会影响运营商品牌在用户心中的得分。因此，选取RSRP直接反应了用戶对网络的主观感受。如果手机信号回落到3G或2G，数据业务在用户心中的体验就会明显降低。因此，专家讨论后给了一半的权重。
（2）网络接入性和保持性：通过随机对200位用户的调研发现：电话网络是否能接通，需要多久接通，是否经常掉话，这三个方面在用户主观感受中排在前三位。根据这个调研结果，建议选取RRC连接成功率、RRC连接时延、掉话率三个指标作为感知指标。通过专家法给出了三个指标的权重，RRC连接成功率30%，RRC连接时延40%，掉话率30%。
（3）业务体验：通过用户调研排名，选取了占用户时间较多的即时通讯、视频、应用下载、其他下载。由于不同的用户偏好不同，因此，采用了根据时间来确定动态权重的方式来设定各个应用的权重。基于各个应用体验，也通过专家法选取了KPI指标，并确定其权重，具体如图4所示。
3.3 得分计算方法
对用户的打分，分为单用户得分、单小区感知得分、区域总体感知得分。满分为100分，根据失败情况，进行单项扣分，扣完后加权计算得到感知的最后得分。
用户打分可以根据公式（1）来确定最后的得分。根据异常次数来扣分，每次扣分步长是根据预定的期望分数和异常事件次数代入公式（1）来进行计算的。单用户评分是要把用户数量改成一个，设定合适的期望分数和一定时间的异常总数。期望分数值和期望每日异常次数为人工经验值。扣分步长计算规则如表1所示：
表1 扣分步长计算规则
指标 评分规则
成功类 满分100分，失败一次扣一个步长STEP，扣完为止
时延类 满分100分，超过门限一次扣一个步长STEP，扣完为止
速率类 满分100分，低于门限一次扣一个步长STEP，扣完为止
（1）
其中，STEP表示步长，SubscriberNo表示用户数，Exceptation表示用户评分期望值，Abnormal表示异常话单次数。
（1）单用户打分计算说明
1）一般用户得分
单指标得分计算（扣分方式）=100-每日实际异常次数×扣分步长；扣分步长=（100-期望分数值）/单用户期望每日异常次数 （2）
其中，期望分数值和期望每日异常次数为经验值。
2）异常用户得分
针对一些特定用户，异常次数较少，但是成功率特别低。例如，掉话三次，但是一共发生4次电话。针对这样的用户引入了按成功率计算得分的方式。其计算公式如下：
单指标得分计算（成功率）=100×（总次数-异常次数）/总次数 （3）
单指标实际最后得分：Min[扣分方式得分，成功率得分] （4）
3）最后总分
根据单指标加权汇总得分。
（2）小区用户感知打分计算说明
将小区当做一个用户，打分方式参考单用户打分。
（3）区域感知打分计算
区域感知打分是将区域内的各小区的感知打分进行平均处理。
3.4 实际打分案例
从广东电信某地区获取某一用户得分案例。内容说明如下。
（1）项目：根据指标体系获取可直接打分项目。
（2）得分：100-（问题次数×扣分步长）。
（3）问题次数：问题发生次数是该用户实际的用户问题发生次数。得到上述数据后，得到如表2所示的计算表格。
（4）扣分步长：根据“扣分步长=（100-期望分数值）/单用户期望每日异常次数”计算方法得出扣分步长。
（5）期望每日异常次数：该地区期望每日异常次数得分由该地区的日常统计得出。根据经验值给定80分时对应的每日异常次数。
得到每项的得分后，计算加权分数。其中业务体验的二级权重根据用户使用时间来确定比例。通过加权计算得到最后的总分为86.7分，如表3所示。
4 应用效果分析
4.1 用户得分情况分析
用户感知体系设计完成之后，在某地市进行应用。该地市电信用户总数543 956人，期望值取80分。期望异常数根据各指标不同按照人工经验值给出。
图5是2017年2月某地市的得分情况，从数据上看，80分以上人数占总数的68%，大部分用户感知符合此次评估的预期。但是仍存在很多感知较差的用户。例如低于20分的，可以认为这部分用户感知极差，可能会产生投诉或离网，需要进行主动关怀。
图5 各分数段人数分布图
4.2 小区得分情况分析
通过查看小区的打分，发现问题小区。选取某一感知较差小区，该小区得分为67分。
查看其第一级子项得分，发现覆盖和业务得分较低，体验较差，初步判断是由于覆盖问题导致的业务体验差。详细得分如表4所示：
表4 一级子项得分情况
一级子项 得分
無线覆盖 61
网络接入性和保持性 97
业务体验 65
一级子项雷达图如图6所示：
图6 一级子项雷达图
进一步查看无线覆盖质量下的二级子项得分，RSRP得分只有52分，4G覆盖较差，且3G连接也不是非常好，可能会因流量速率较差，导致用户体验差。二级子项得分情况（天线覆盖）如表5所示：
表5 二级子项得分情况（无线覆盖）
二级子项（无线覆盖） 得分
RSRP 52
3G连接 68
查看业务体验二级子项，发现视频、应用下载和其他下载得分明显偏低，说明在需要高速下载相关的应用都存在较差体验，这个符合我们之前的判断。二级子项得分情况（业务体验）如表6所示。
二级子项（业务体验）雷达图如图7所示。
通过此套体系评估体系，可以认识到该小区覆盖的用户感知情况，初步判断小区存在问题的原因。通过该打分体系对所有小区打分后，可以针对感知得分较差的小区进行专项优化，以提升用户感知。
4.3 与实际投诉用户得分进行对比分析
选取一些实际投诉用户，通过查看他们的得分情况以评判投诉用户的情况。总体来看投诉用户的部分时间得分较低。下面选取了5种投诉用户的情况：
（1）有信号无法上网投诉。当月最差日得分：22.5分。
（2）语音投诉。当月最差日得分：72.7分。
（3）无信号投诉。当月最差日得分：37分。
（4）频繁掉线投诉。当月最差日得分：52分。
（5）网速慢投诉。当月最差日得分：54分。
从上述得分来看，除了语音投诉用户得分较高外，其他用户得分都相对较低。由于系统中不对2G、3G的参数进行感知评分，因此语音问题没能够反应在感知得分中，符合系统预期的设计。
5 结束语
用户感知评估系统能够从一个简单的得分就看出用户感知的好坏，将复杂的网络优化简单化，通过对用户大数据的分析，将更精准地把脉网络。
随着感知系统的逐渐成熟，用大数据进行问题分析的能力也要进一步加入。
（1）问题点细化。感知评分需要根据不同场景进行细化，比如忙时场景，会展场景，校园场景等多个维度场景来区分评分，以便更有效地发现问题。
（2）自动发现问题。通过信令分析，对得分低的小区问题自动定界定位。自动给出问题的经验方案供网优人员参考。
（3）人工智能网优。再到后期通过大数据自动学习，可以让系统自动跟踪用户习惯，调整系统评估参数，发现异常用户，实现网优的人工智能化。
参考文献：
[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.
[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.
[3] 赵训威，林辉，张明，等. 3GPP长期演进（LTE）系统架构与技术规范[M]. 北京： 人民邮电出版社， 2010.
[4] 杨燕. 移动业务QoE量化指标体系的构建与应用[J]. 电讯技术， 2010，50（12）： 101-106.
[5] 金渝，李校林，李雪松. 用户体验质量评估模型及KQI权重计算方法[J]. 计算机工程， 2013（2）： 311-316.
[6] 罗仕鉴，朱上上. 用户体验与产品创新设计[M]. 北京： 机械工业出版社， 2010.
[7] Mike Kuniavsky. 用户体验面面观――方法、工具与实践[M]. 北京： 清华大学出版社， 2010.
[8] Jeff Johnson. 认知与设计——理解UI设计准则[M]. 北京： 人民邮电出版社， 2011.
[9] 寿元泉. LTE轻松进阶[M]. 北京： 电子工业出版社， 2012.
[10] 盛璟，刘洋，许国平. LTE无线网络优化的考量[J]. 邮电设计技术， 2014（12）： 1-5.
【摘 要】移动通信服务的竞争日益激烈，用户体验的提升是留住用户的重要手段，为了能够有效地评价用户实际感受，通过对无线参数及核心网信令数据进行研究，提出了可实施的评价算法，通过该算法对用户体验进行量化评分，客观地表达了用户的真实感受。
【关键词】用户感知；感知体系；用户体验质量
Discussion and Application of User Experience System Optimization
HUANG Yihua1，SUN Liuyi2，LU Hongtao1，WEI Yao1
[Abstract] The competition of mobile communication services is increasingly fierce， the improvement of user experience is the important mean to retain customers. In order to effectively evaluate the actual user experience， wireless parameters and signaling data in the core network are investigated. A practical evaluation algorithm is proposed， which can objectively express the true user feelings by quantitatively scoring user experiences.
[Key words]user experience； experience system； quality of experience
1 引言
隨着4G的普及，用户对无线通信网络的依赖程度不断加深。因此，用户的网络体验直接影响用户对运营商网络的选择。
以用户体验提升为目标来优化网络，逐渐替代现有的通过路测进行网络优化，从而达到运营商品牌忠诚度提高的目的，推动用户流量使用量的提升。
2 用户感知体系现状
运营商曾经在3G时代使用端到端优化来改善用户体验，已经设计出一套完整的用户感知打分体系，该体系主要是通过监控网络质量，通过综合打分，来判断用户对无线网络的感知情况。各厂家各制式的感知体系在细节上有些不同，但是总体的思路基本相同。大多都是采用4层模型分解（如图1所示），提出QoE（Quality of Experience，用户体验）目标，分解到KQI（Key Quality Indication，关键质量指标）及KPI（Key Performance Indication，关键业绩指标），再到具体的指标，然后指定各指标权重，最后对网络整体的用户感知状况进行打分。
但是，随着网络从3G升级到4G，用户使用手机的需求和习惯产生了很大的变化，影响网络的因素也有很大的变化，不同的App、不同的手机、不同的网站都可能对用户体验产生重大影响。而用户对网页打开时延的忍受力，聊天应用的顺利与否，视频的卡顿等也都成为用户感知的主要内容。原有的感知体系也需要跟着用户的需求变化而发生变化。因此，需要重新制定一份满足现状的评分体系来评估LTE的用户感知。
3 用户感知体系搭建
3.1 客户体验管理体系概念
用户投诉往往是用户对网络不能忍受的情况下才提出来的，如果能够在投诉前就发现用户问题，及时地跟进解决，那就会在很大程度上提升用户体验。CEM（Customer Experience Management，客户体验管理）就是针对这一体验管理而提出的。CEM体系通过分析用户对各种业务的使用频度、网络和服务质量、对KQIs进行加权汇总，建立起尽可能贴近用户感受的CEM指标体系，进行测量、计算、监控和分析利用，及时发现和定位影响用户感知的问题，并通过各种保障措施确保用户感知。同时通过分析相关数据，对用户感知进行营销，使用户感知保障成为可持续的经营活动。
针对CEM的度量，给出了一个CEI（Customer Experience Indicators，客户管理指标）指标。CEI指标的定义原则如下所示：
（1）QoE指标分为子项感知度和整体感知度。
（2）子项感知度的定义与用户对业务某一方面的应用感受相一致，用户对该业务的应用感受有几个方面，则定义几个相应的子项感知度指标。
（3）每个子项感知度指标都有与之相对应的一个或一组KQI指标。这个或这组KQI指标描述的是某一业务应用在某一方面的性能，而对应的子项感知度则是用户对这一方面性能的主观感受。
（4）整体感知度是用户对某一业务应用的综合体验质量，是该业务对应的所有子项感知度的综合反映，为单独的一个指标，包括用户行为和终端分析。
（5）CEI的指标从网络侧多个接口获取数据，从端到端的角度来分析用户感知。因此，其度量的指标能够较为准确地反映用户的实际情况，如图2所示。
CEI是基于用户感知的总体评价，分为三层，第一层是CEI度量的分值，第二层是KQI指标参数，第三层是KPI指标参数，如图3所示。而KQI又可以由分布在不同网络侧的KPI参数来监控得到。虽然最后都是分解到KPI指标，但是此KPI和传统的KPI还是有很大区别。其具体区别如下：
（1）物理链路
传统KPI关注运营商的网络/网元；KQI关注业务应用的端到端网络性能。
（2）业务类别
传统KPI无法区分业务应用类别；KQI体系重点考察具体业务应用性能。
（3）协议层
底层协议层性能无法完整反映上层协议层性能。
图3 CEI三层指标
3.2 用户感知指标体系指标的选取
为了能够量化用户感知，需要给出一定的量化指标。因此要从客观的角度去找到一些影响用户感知的因素，并对其进行量化，方便客观地评价感知情况。
影响感知的因素有很多，包括：
（1）网络因素：由于网络通信问题，例如通信质量差、速率慢等因素导致用户体验差。
（2）手机因素：由于手机本身问题，例如出现卡死，手机本身CPU处理较慢等因素导致用户体验差。
（3）应用因素：手机App也是影响用户体验的一个重要因素，App本身的界面，操作等因素是否合理对用户体验的影响也很大。
（4）其他因素：例如品牌、价格、客服等其他因素的影响。
通过用户感知发现网络所存在的问题，通过提升网络质量来提升用户感知。
通过大量的用户投诉意见分析，发现无线网络覆盖是用户的基础需求，网络接入性和保持性是保障网络的基本条件，用户感知的最主要部分是用户对业务的体验。而且对于业务体验，可以通过网络侧的一些监控参数来实现。通过专家法给出了三个方面的权重，无线覆盖质量30%，网络接入性和保持性10%，业务体验60%。
（1）无线质量覆盖：用户可以在手机界面上直接看到信号强度，因此，一旦信号强度显示较差，就会影响运营商品牌在用户心中的得分。因此，选取RSRP直接反应了用戶对网络的主观感受。如果手机信号回落到3G或2G，数据业务在用户心中的体验就会明显降低。因此，专家讨论后给了一半的权重。
（2）网络接入性和保持性：通过随机对200位用户的调研发现：电话网络是否能接通，需要多久接通，是否经常掉话，这三个方面在用户主观感受中排在前三位。根据这个调研结果，建议选取RRC连接成功率、RRC连接时延、掉话率三个指标作为感知指标。通过专家法给出了三个指标的权重，RRC连接成功率30%，RRC连接时延40%，掉话率30%。
（3）业务体验：通过用户调研排名，选取了占用户时间较多的即时通讯、视频、应用下载、其他下载。由于不同的用户偏好不同，因此，采用了根据时间来确定动态权重的方式来设定各个应用的权重。基于各个应用体验，也通过专家法选取了KPI指标，并确定其权重，具体如图4所示。
3.3 得分计算方法
对用户的打分，分为单用户得分、单小区感知得分、区域总体感知得分。满分为100分，根据失败情况，进行单项扣分，扣完后加权计算得到感知的最后得分。
用户打分可以根据公式（1）来确定最后的得分。根据异常次数来扣分，每次扣分步长是根据预定的期望分数和异常事件次数代入公式（1）来进行计算的。单用户评分是要把用户数量改成一个，设定合适的期望分数和一定时间的异常总数。期望分数值和期望每日异常次数为人工经验值。扣分步长计算规则如表1所示：
表1 扣分步长计算规则
指标 评分规则
成功类 满分100分，失败一次扣一个步长STEP，扣完为止
时延类 满分100分，超过门限一次扣一个步长STEP，扣完为止
速率类 满分100分，低于门限一次扣一个步长STEP，扣完为止
（1）
其中，STEP表示步长，SubscriberNo表示用户数，Exceptation表示用户评分期望值，Abnormal表示异常话单次数。
（1）单用户打分计算说明
1）一般用户得分
单指标得分计算（扣分方式）=100-每日实际异常次数×扣分步长；扣分步长=（100-期望分数值）/单用户期望每日异常次数 （2）
其中，期望分数值和期望每日异常次数为经验值。
2）异常用户得分
针对一些特定用户，异常次数较少，但是成功率特别低。例如，掉话三次，但是一共发生4次电话。针对这样的用户引入了按成功率计算得分的方式。其计算公式如下：
单指标得分计算（成功率）=100×（总次数-异常次数）/总次数 （3）
单指标实际最后得分：Min[扣分方式得分，成功率得分] （4）
3）最后总分
根据单指标加权汇总得分。
（2）小区用户感知打分计算说明
将小区当做一个用户，打分方式参考单用户打分。
（3）区域感知打分计算
区域感知打分是将区域内的各小区的感知打分进行平均处理。
3.4 实际打分案例
从广东电信某地区获取某一用户得分案例。内容说明如下。
（1）项目：根据指标体系获取可直接打分项目。
（2）得分：100-（问题次数×扣分步长）。
（3）问题次数：问题发生次数是该用户实际的用户问题发生次数。得到上述数据后，得到如表2所示的计算表格。
（4）扣分步长：根据“扣分步长=（100-期望分数值）/单用户期望每日异常次数”计算方法得出扣分步长。
（5）期望每日异常次数：该地区期望每日异常次数得分由该地区的日常统计得出。根据经验值给定80分时对应的每日异常次数。
得到每项的得分后，计算加权分数。其中业务体验的二级权重根据用户使用时间来确定比例。通过加权计算得到最后的总分为86.7分，如表3所示。
4 应用效果分析
4.1 用户得分情况分析
用户感知体系设计完成之后，在某地市进行应用。该地市电信用户总数543 956人，期望值取80分。期望异常数根据各指标不同按照人工经验值给出。
图5是2017年2月某地市的得分情况，从数据上看，80分以上人数占总数的68%，大部分用户感知符合此次评估的预期。但是仍存在很多感知较差的用户。例如低于20分的，可以认为这部分用户感知极差，可能会产生投诉或离网，需要进行主动关怀。
图5 各分数段人数分布图
4.2 小区得分情况分析
通过查看小区的打分，发现问题小区。选取某一感知较差小区，该小区得分为67分。
查看其第一级子项得分，发现覆盖和业务得分较低，体验较差，初步判断是由于覆盖问题导致的业务体验差。详细得分如表4所示：
表4 一级子项得分情况
一级子项 得分
無线覆盖 61
网络接入性和保持性 97
业务体验 65
一级子项雷达图如图6所示：
图6 一级子项雷达图
进一步查看无线覆盖质量下的二级子项得分，RSRP得分只有52分，4G覆盖较差，且3G连接也不是非常好，可能会因流量速率较差，导致用户体验差。二级子项得分情况（天线覆盖）如表5所示：
表5 二级子项得分情况（无线覆盖）
二级子项（无线覆盖） 得分
RSRP 52
3G连接 68
查看业务体验二级子项，发现视频、应用下载和其他下载得分明显偏低，说明在需要高速下载相关的应用都存在较差体验，这个符合我们之前的判断。二级子项得分情况（业务体验）如表6所示。
二级子项（业务体验）雷达图如图7所示。
通过此套体系评估体系，可以认识到该小区覆盖的用户感知情况，初步判断小区存在问题的原因。通过该打分体系对所有小区打分后，可以针对感知得分较差的小区进行专项优化，以提升用户感知。
4.3 与实际投诉用户得分进行对比分析
选取一些实际投诉用户，通过查看他们的得分情况以评判投诉用户的情况。总体来看投诉用户的部分时间得分较低。下面选取了5种投诉用户的情况：
（1）有信号无法上网投诉。当月最差日得分：22.5分。
（2）语音投诉。当月最差日得分：72.7分。
（3）无信号投诉。当月最差日得分：37分。
（4）频繁掉线投诉。当月最差日得分：52分。
（5）网速慢投诉。当月最差日得分：54分。
从上述得分来看，除了语音投诉用户得分较高外，其他用户得分都相对较低。由于系统中不对2G、3G的参数进行感知评分，因此语音问题没能够反应在感知得分中，符合系统预期的设计。
5 结束语
用户感知评估系统能够从一个简单的得分就看出用户感知的好坏，将复杂的网络优化简单化，通过对用户大数据的分析，将更精准地把脉网络。
随着感知系统的逐渐成熟，用大数据进行问题分析的能力也要进一步加入。
（1）问题点细化。感知评分需要根据不同场景进行细化，比如忙时场景，会展场景，校园场景等多个维度场景来区分评分，以便更有效地发现问题。
（2）自动发现问题。通过信令分析，对得分低的小区问题自动定界定位。自动给出问题的经验方案供网优人员参考。
（3）人工智能网优。再到后期通过大数据自动学习，可以让系统自动跟踪用户习惯，调整系统评估参数，发现异常用户，实现网优的人工智能化。
参考文献：
[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.
[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.
[3] 赵训威，林辉，张明，等. 3GPP长期演进（LTE）系统架构与技术规范[M]. 北京： 人民邮电出版社， 2010.
[4] 杨燕. 移动业务QoE量化指标体系的构建与应用[J]. 电讯技术， 2010，50（12）： 101-106.
[5] 金渝，李校林，李雪松. 用户体验质量评估模型及KQI权重计算方法[J]. 计算机工程， 2013（2）： 311-316.
[6] 罗仕鉴，朱上上. 用户体验与产品创新设计[M]. 北京： 机械工业出版社， 2010.
[7] Mike Kuniavsky. 用户体验面面观――方法、工具与实践[M]. 北京： 清华大学出版社， 2010.
[8] Jeff Johnson. 认知与设计——理解UI设计准则[M]. 北京： 人民邮电出版社， 2011.
[9] 寿元泉. LTE轻松进阶[M]. 北京： 电子工业出版社， 2012.
[10] 盛璟，刘洋，许国平. LTE无线网络优化的考量[J]. 邮电设计技术， 2014（12）： 1-5.
