用户感知体系优化的探讨及应用
黄毅华 孙柳益 卢洪涛 魏垚
【摘 要】移动通信服务的竞争日益激烈，用户体验的提升是留住用户的重要手段，为了能够有效地评价用户实际感受，通过对无线参数及核心网信令数据进行研究，提出了可实施的评价算法，通过该算法对用户体验进行量化评分，客观地表达了用户的真实感受。
【关键词】用户感知；感知体系；用户体验质量
1 引言
随着4G的普及，用户对无线通信网络的依赖程度不断加深。因此，用户的网络体验直接影响用户对运营商网络的选择。
以用户体验提升为目标来优化网络，逐渐替代现有的通过路测进行网络优化，从而达到运营商品牌忠诚度提高的目的，推动用户流量使用量的提升。
2 用户感知体系现状
运营商曾经在3G时代使用端到端优化来改善用户体验，已经设计出一套完整的用户感知打分体系，该体系主要是通过监控网络质量，通过综合打分，来判断用户对无线网络的感知情况。各厂家各制式的感知体系在细节上有些不同，但是总体的思路基本相同。大多都是采用4层模型分解（如图1所示），提出QoE（Quality of Experience，用戶体验）目标，分解到KQI（Key Quality Indication，关键质量指标）及KPI（Key Performance Indication，关键业绩指标），再到具体的指标，然后指定各指标权重，最后对网络整体的用户感知状况进行打分。
但是，随着网络从3G升级到4G，用户使用手机的需求和习惯产生了很大的变化，影响网络的因素也有很大的变化，不同的App、不同的手机、不同的网站都可能对用户体验产生重大影响。而用户对网页打开时延的忍受力，聊天应用的顺利与否，视频的卡顿等也都成为用户感知的主要内容。原有的感知体系也需要跟着用户的需求变化而发生变化。因此，需要重新制定一份满足现状的评分体系来评估LTE的用户感知。
3 用户感知体系搭建
3.1 客户体验管理体系概念
用户投诉往往是用户对网络不能忍受的情况下才提出来的，如果能够在投诉前就发现用户问题，及时地跟进解决，那就会在很大程度上提升用户体验。CEM（Customer Experience Management，客户体验管理）就是针对这一体验管理而提出的。CEM体系通过分析用户对各种业务的使用频度、网络和服务质量、对KQIs进行加权汇总，建立起尽可能贴近用户感受的CEM指标体系，进行测量、计算、监控和分析利用，及时发现和定位影响用户感知的问题，并通过各种保障措施确保用户感知。同时通过分析相关数据，对用户感知进行营销，使用户感知保障成为可持续的经营活动。
针对CEM的度量，给出了一个CEI（Customer Experience Indicators，客户管理指标）指标。CEI指标的定义原则如下所示：
（1）QoE指标分为子项感知度和整体感知度。
（2）子项感知度的定义与用户对业务某一方面的应用感受相一致，用户对该业务的应用感受有几个方面，则定义几个相应的子项感知度指标。
（3）每个子项感知度指标都有与之相对应的一个或一组KQI指标。这个或这组KQI指标描述的是某一业务应用在某一方面的性能，而对应的子项感知度则是用户对这一方面性能的主观感受。
（4）整体感知度是用户对某一业务应用的综合体验质量，是该业务对应的所有子项感知度的综合反映，为单独的一个指标，包括用户行为和终端分析。
（5）CEI的指标从网络侧多个接口获取数据，从端到端的角度来分析用户感知。因此，其度量的指标能够较为准确地反映用户的实际情况，如图2所示。
CEI是基于用户感知的总体评价，分为三层，第一层是CEI度量的分值，第二层是KQI指标参数，第三层是KPI指标参数，如图3所示。而KQI又可以由分布在不同网络侧的KPI参数来监控得到。虽然最后都是分解到KPI指标，但是此KPI和传统的KPI还是有很大区别。其具体区别如下：
（1）物理链路
传统KPI关注运营商的网络/网元；KQI关注业务应用的端到端网络性能。
（2）业务类别
传统KPI无法区分业务应用类别；KQI体系重点考察具体业务应用性能。
（3）协议层
底层协议层性能无法完整反映上层协议层性能。
3.2 用户感知指标体系指标的选取
为了能够量化用户感知，需要给出一定的量化指标。因此要从客观的角度去找到一些影响用户感知的因素，并对其进行量化，方便客观地评价感知情况。
影响感知的因素有很多，包括：
（1）网络因素：由于网络通信问题，例如通信质量差、速率慢等因素导致用户体验差。
（2）手机因素：由于手机本身问题，例如出现卡死，手机本身CPU处理较慢等因素导致用户体验差。
（3）应用因素：手机App也是影响用户体验的一个重要因素，App本身的界面，操作等因素是否合理对用户体验的影响也很大。
（4）其他因素：例如品牌、价格、客服等其他因素的影响。
通过用户感知发现网络所存在的问题，通过提升网络质量来提升用户感知。
通过大量的用户投诉意见分析，发现无线网络覆盖是用户的基础需求，网络接入性和保持性是保障网络的基本条件，用户感知的最主要部分是用户对业务的体验。而且对于业务体验，可以通过网络侧的一些监控参数来实现。通过专家法给出了三个方面的权重，无线覆盖质量30%，网络接入性和保持性10%，业务体验60%。
（1）无线质量覆盖：用户可以在手机界面上直接看到信号强度，因此，一旦信号强度显示较差，就会影响运营商品牌在用户心中的得分。因此，选取RSRP直接反应了用户对网络的主观感受。如果手机信号回落到3G或2G，数据业务在用户心中的体验就会明显降低。因此，专家讨论后给了一半的权重。
（2）网络接入性和保持性：通过随机对200位用户的调研发现：电话网络是否能接通，需要多久接通，是否经常掉话，这三个方面在用户主观感受中排在前三位。根据这个调研结果，建议选取RRC连接成功率、RRC连接时延、掉话率三个指标作为感知指标。通过专家法给出了三个指标的权重，RRC连接成功率30%，RRC连接时延40%，掉话率30%。
（3）业务体验：通过用户调研排名，选取了占用户时间较多的即时通讯、视频、应用下载、其他下载。由于不同的用户偏好不同，因此，采用了根据时间来确定动态权重的方式来设定各个应用的权重。基于各个应用体验，也通过专家法选取了KPI指标，并确定其权重，具体如图4所示。
3.3 得分计算方法
对用户的打分，分为单用户得分、单小区感知得分、区域总体感知得分。满分为100分，根据失败情况，进行单项扣分，扣完后加权计算得到感知的最后得分。
用户打分可以根据公式（1）来确定最后的得分。根据异常次数来扣分，每次扣分步长是根据预定的期望分数和异常事件次數代入公式（1）来进行计算的。单用户评分是要把用户数量改成一个，设定合适的期望分数和一定时间的异常总数。期望分数值和期望每日异常次数为人工经验值。扣分步长计算规则如表1所示：
表1 扣分步长计算规则
指标 评分规则
成功类 满分100分，失败一次扣一个步长STEP，扣完为止
时延类 满分100分，超过门限一次扣一个步长STEP，扣完为止
速率类 满分100分，低于门限一次扣一个步长STEP，扣完为止
（1）
其中，STEP表示步长，SubscriberNo表示用户数，Exceptation表示用户评分期望值，Abnormal表示异常话单次数。
（1）单用户打分计算说明
1）一般用户得分
单指标得分计算（扣分方式）=100-每日实际异常次数×扣分步长；扣分步长=（100-期望分数值）/单用户期望每日异常次数 （2）
其中，期望分数值和期望每日异常次数为经验值。
2）异常用户得分
针对一些特定用户，异常次数较少，但是成功率特别低。例如，掉话三次，但是一共发生4次电话。针对这样的用户引入了按成功率计算得分的方式。其计算公式如下：
单指标得分计算（成功率）=100×（总次数-异常次数）/总次数 （3）
单指标实际最后得分：Min[扣分方式得分，成功率得分] （4）
3）最后总分
根据单指标加权汇总得分。
（2）小区用户感知打分计算说明
将小区当做一个用户，打分方式参考单用户打分。
（3）区域感知打分计算
区域感知打分是将区域内的各小区的感知打分进行平均处理。
3.4 实际打分案例
从广东电信某地区获取某一用户得分案例。内容说明如下。
（1）项目：根据指标体系获取可直接打分项目。
（2）得分：100-（问题次数×扣分步长）。
（3）问题次数：问题发生次数是该用户实际的用户问题发生次数。得到上述数据后，得到如表2所示的计算表格。
（4）扣分步长：根据“扣分步长=（100-期望分数值）/单用户期望每日异常次数”计算方法得出扣分步长。
（5）期望每日异常次数：该地区期望每日异常次数得分由该地区的日常统计得出。根据经验值给定80分时对应的每日异常次数。
得到每项的得分后，计算加权分数。其中业务体验的二级权重根据用户使用时间来确定比例。通过加权计算得到最后的总分为86.7分，如表3所示。
4 应用效果分析
4.1 用户得分情况分析
用户感知体系设计完成之后，在某地市进行应用。该地市电信用户总数543 956人，期望值取80分。期望异常数根据各指标不同按照人工经验值给出。
图5是2017年2月某地市的得分情况，从数据上看，80分以上人数占总数的68%，大部分用户感知符合此次评估的预期。但是仍存在很多感知较差的用户。例如低于20分的，可以认为这部分用户感知极差，可能会产生投诉或离网，需要进行主动关怀。
4.2 小区得分情况分析
通过查看小区的打分，发现问题小区。选取某一感知较差小区，该小区得分为67分。
查看其第一级子项得分，发现覆盖和业务得分较低，体验较差，初步判断是由于覆盖问题导致的业务体验差。详细得分如表4所示：
一级子项雷达图如图6所示：
进一步查看无线覆盖质量下的二级子项得分，RSRP得分只有52分，4G覆盖较差，且3G连接也不是非常好，可能会因流量速率较差，导致用户体验差。二级子项得分情况（天线覆盖）如表5所示：
查看业务体验二级子项，发现视频、应用下载和其他下载得分明显偏低，说明在需要高速下载相关的应用都存在较差体验，这个符合我们之前的判断。二级子项得分情况（业务体验）如表6所示。
二级子项（业务体验）雷达图如图7所示。
通过此套体系评估体系，可以认识到该小区覆盖的用户感知情况，初步判断小区存在问题的原因。通过该打分体系对所有小区打分后，可以针对感知得分较差的小区进行专项优化，以提升用户感知。
4.3 与实际投诉用户得分进行对比分析
选取一些实际投诉用户，通过查看他们的得分情况以评判投诉用户的情况。总体来看投诉用户的部分时间得分较低。下面选取了5种投诉用户的情况：
（1）有信号无法上网投诉。当月最差日得分：22.5分。
（2）语音投诉。当月最差日得分：72.7分。
（3）無信号投诉。当月最差日得分：37分。
（4）频繁掉线投诉。当月最差日得分：52分。
（5）网速慢投诉。当月最差日得分：54分。
从上述得分来看，除了语音投诉用户得分较高外，其他用户得分都相对较低。由于系统中不对2G、3G的参数进行感知评分，因此语音问题没能够反应在感知得分中，符合系统预期的设计。
5 结束语
用户感知评估系统能够从一个简单的得分就看出用户感知的好坏，将复杂的网络优化简单化，通过对用户大数据的分析，将更精准地把脉网络。
随着感知系统的逐渐成熟，用大数据进行问题分析的能力也要进一步加入。
（1）问题点细化。感知评分需要根据不同场景进行细化，比如忙时场景，会展场景，校园场景等多个维度场景来区分评分，以便更有效地发现问题。
（2）自动发现问题。通过信令分析，对得分低的小区问题自动定界定位。自动给出问题的经验方案供网优人员参考。
（3）人工智能网优。再到后期通过大数据自动学习，可以让系统自动跟踪用户习惯，调整系统评估参数，发现异常用户，实现网优的人工智能化。
参考文献：
[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.
[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.
[3] 赵训威，林辉，张明，等. 3GPP长期演进（LTE）系统架构与技术规范[M]. 北京： 人民邮电出版社， 2010.
[4] 杨燕. 移动业务QoE量化指标体系的构建与应用[J]. 电讯技术， 2010，50（12）： 101-106.
[5] 金渝，李校林，李雪松. 用户体验质量评估模型及KQI权重计算方法[J]. 计算机工程， 2013（2）： 311-316.
[6] 罗仕鉴，朱上上. 用户体验与产品创新设计[M]. 北京： 机械工业出版社， 2010.
[7] Mike Kuniavsky. 用户体验面面观――方法、工具与实践[M]. 北京： 清华大学出版社， 2010.
[8] Jeff Johnson. 认知与设计——理解UI设计准则[M]. 北京： 人民邮电出版社， 2011.
[9] 寿元泉. LTE轻松进阶[M]. 北京： 电子工业出版社， 2012.
[10] 盛璟，刘洋，许国平. LTE无线网络优化的考量[J]. 邮电设计技术， 2014（12）： 1-5.
【摘 要】移动通信服务的竞争日益激烈，用户体验的提升是留住用户的重要手段，为了能够有效地评价用户实际感受，通过对无线参数及核心网信令数据进行研究，提出了可实施的评价算法，通过该算法对用户体验进行量化评分，客观地表达了用户的真实感受。
【关键词】用户感知；感知体系；用户体验质量
1 引言
随着4G的普及，用户对无线通信网络的依赖程度不断加深。因此，用户的网络体验直接影响用户对运营商网络的选择。
以用户体验提升为目标来优化网络，逐渐替代现有的通过路测进行网络优化，从而达到运营商品牌忠诚度提高的目的，推动用户流量使用量的提升。
2 用户感知体系现状
运营商曾经在3G时代使用端到端优化来改善用户体验，已经设计出一套完整的用户感知打分体系，该体系主要是通过监控网络质量，通过综合打分，来判断用户对无线网络的感知情况。各厂家各制式的感知体系在细节上有些不同，但是总体的思路基本相同。大多都是采用4层模型分解（如图1所示），提出QoE（Quality of Experience，用戶体验）目标，分解到KQI（Key Quality Indication，关键质量指标）及KPI（Key Performance Indication，关键业绩指标），再到具体的指标，然后指定各指标权重，最后对网络整体的用户感知状况进行打分。
但是，随着网络从3G升级到4G，用户使用手机的需求和习惯产生了很大的变化，影响网络的因素也有很大的变化，不同的App、不同的手机、不同的网站都可能对用户体验产生重大影响。而用户对网页打开时延的忍受力，聊天应用的顺利与否，视频的卡顿等也都成为用户感知的主要内容。原有的感知体系也需要跟着用户的需求变化而发生变化。因此，需要重新制定一份满足现状的评分体系来评估LTE的用户感知。
3 用户感知体系搭建
3.1 客户体验管理体系概念
用户投诉往往是用户对网络不能忍受的情况下才提出来的，如果能够在投诉前就发现用户问题，及时地跟进解决，那就会在很大程度上提升用户体验。CEM（Customer Experience Management，客户体验管理）就是针对这一体验管理而提出的。CEM体系通过分析用户对各种业务的使用频度、网络和服务质量、对KQIs进行加权汇总，建立起尽可能贴近用户感受的CEM指标体系，进行测量、计算、监控和分析利用，及时发现和定位影响用户感知的问题，并通过各种保障措施确保用户感知。同时通过分析相关数据，对用户感知进行营销，使用户感知保障成为可持续的经营活动。
针对CEM的度量，给出了一个CEI（Customer Experience Indicators，客户管理指标）指标。CEI指标的定义原则如下所示：
（1）QoE指标分为子项感知度和整体感知度。
（2）子项感知度的定义与用户对业务某一方面的应用感受相一致，用户对该业务的应用感受有几个方面，则定义几个相应的子项感知度指标。
（3）每个子项感知度指标都有与之相对应的一个或一组KQI指标。这个或这组KQI指标描述的是某一业务应用在某一方面的性能，而对应的子项感知度则是用户对这一方面性能的主观感受。
（4）整体感知度是用户对某一业务应用的综合体验质量，是该业务对应的所有子项感知度的综合反映，为单独的一个指标，包括用户行为和终端分析。
（5）CEI的指标从网络侧多个接口获取数据，从端到端的角度来分析用户感知。因此，其度量的指标能够较为准确地反映用户的实际情况，如图2所示。
CEI是基于用户感知的总体评价，分为三层，第一层是CEI度量的分值，第二层是KQI指标参数，第三层是KPI指标参数，如图3所示。而KQI又可以由分布在不同网络侧的KPI参数来监控得到。虽然最后都是分解到KPI指标，但是此KPI和传统的KPI还是有很大区别。其具体区别如下：
（1）物理链路
传统KPI关注运营商的网络/网元；KQI关注业务应用的端到端网络性能。
（2）业务类别
传统KPI无法区分业务应用类别；KQI体系重点考察具体业务应用性能。
（3）协议层
底层协议层性能无法完整反映上层协议层性能。
3.2 用户感知指标体系指标的选取
为了能够量化用户感知，需要给出一定的量化指标。因此要从客观的角度去找到一些影响用户感知的因素，并对其进行量化，方便客观地评价感知情况。
影响感知的因素有很多，包括：
（1）网络因素：由于网络通信问题，例如通信质量差、速率慢等因素导致用户体验差。
（2）手机因素：由于手机本身问题，例如出现卡死，手机本身CPU处理较慢等因素导致用户体验差。
（3）应用因素：手机App也是影响用户体验的一个重要因素，App本身的界面，操作等因素是否合理对用户体验的影响也很大。
（4）其他因素：例如品牌、价格、客服等其他因素的影响。
通过用户感知发现网络所存在的问题，通过提升网络质量来提升用户感知。
通过大量的用户投诉意见分析，发现无线网络覆盖是用户的基础需求，网络接入性和保持性是保障网络的基本条件，用户感知的最主要部分是用户对业务的体验。而且对于业务体验，可以通过网络侧的一些监控参数来实现。通过专家法给出了三个方面的权重，无线覆盖质量30%，网络接入性和保持性10%，业务体验60%。
（1）无线质量覆盖：用户可以在手机界面上直接看到信号强度，因此，一旦信号强度显示较差，就会影响运营商品牌在用户心中的得分。因此，选取RSRP直接反应了用户对网络的主观感受。如果手机信号回落到3G或2G，数据业务在用户心中的体验就会明显降低。因此，专家讨论后给了一半的权重。
（2）网络接入性和保持性：通过随机对200位用户的调研发现：电话网络是否能接通，需要多久接通，是否经常掉话，这三个方面在用户主观感受中排在前三位。根据这个调研结果，建议选取RRC连接成功率、RRC连接时延、掉话率三个指标作为感知指标。通过专家法给出了三个指标的权重，RRC连接成功率30%，RRC连接时延40%，掉话率30%。
（3）业务体验：通过用户调研排名，选取了占用户时间较多的即时通讯、视频、应用下载、其他下载。由于不同的用户偏好不同，因此，采用了根据时间来确定动态权重的方式来设定各个应用的权重。基于各个应用体验，也通过专家法选取了KPI指标，并确定其权重，具体如图4所示。
3.3 得分计算方法
对用户的打分，分为单用户得分、单小区感知得分、区域总体感知得分。满分为100分，根据失败情况，进行单项扣分，扣完后加权计算得到感知的最后得分。
用户打分可以根据公式（1）来确定最后的得分。根据异常次数来扣分，每次扣分步长是根据预定的期望分数和异常事件次數代入公式（1）来进行计算的。单用户评分是要把用户数量改成一个，设定合适的期望分数和一定时间的异常总数。期望分数值和期望每日异常次数为人工经验值。扣分步长计算规则如表1所示：
表1 扣分步长计算规则
指标 评分规则
成功类 满分100分，失败一次扣一个步长STEP，扣完为止
时延类 满分100分，超过门限一次扣一个步长STEP，扣完为止
速率类 满分100分，低于门限一次扣一个步长STEP，扣完为止
（1）
其中，STEP表示步长，SubscriberNo表示用户数，Exceptation表示用户评分期望值，Abnormal表示异常话单次数。
（1）单用户打分计算说明
1）一般用户得分
单指标得分计算（扣分方式）=100-每日实际异常次数×扣分步长；扣分步长=（100-期望分数值）/单用户期望每日异常次数 （2）
其中，期望分数值和期望每日异常次数为经验值。
2）异常用户得分
针对一些特定用户，异常次数较少，但是成功率特别低。例如，掉话三次，但是一共发生4次电话。针对这样的用户引入了按成功率计算得分的方式。其计算公式如下：
单指标得分计算（成功率）=100×（总次数-异常次数）/总次数 （3）
单指标实际最后得分：Min[扣分方式得分，成功率得分] （4）
3）最后总分
根据单指标加权汇总得分。
（2）小区用户感知打分计算说明
将小区当做一个用户，打分方式参考单用户打分。
（3）区域感知打分计算
区域感知打分是将区域内的各小区的感知打分进行平均处理。
3.4 实际打分案例
从广东电信某地区获取某一用户得分案例。内容说明如下。
（1）项目：根据指标体系获取可直接打分项目。
（2）得分：100-（问题次数×扣分步长）。
（3）问题次数：问题发生次数是该用户实际的用户问题发生次数。得到上述数据后，得到如表2所示的计算表格。
（4）扣分步长：根据“扣分步长=（100-期望分数值）/单用户期望每日异常次数”计算方法得出扣分步长。
（5）期望每日异常次数：该地区期望每日异常次数得分由该地区的日常统计得出。根据经验值给定80分时对应的每日异常次数。
得到每项的得分后，计算加权分数。其中业务体验的二级权重根据用户使用时间来确定比例。通过加权计算得到最后的总分为86.7分，如表3所示。
4 应用效果分析
4.1 用户得分情况分析
用户感知体系设计完成之后，在某地市进行应用。该地市电信用户总数543 956人，期望值取80分。期望异常数根据各指标不同按照人工经验值给出。
图5是2017年2月某地市的得分情况，从数据上看，80分以上人数占总数的68%，大部分用户感知符合此次评估的预期。但是仍存在很多感知较差的用户。例如低于20分的，可以认为这部分用户感知极差，可能会产生投诉或离网，需要进行主动关怀。
4.2 小区得分情况分析
通过查看小区的打分，发现问题小区。选取某一感知较差小区，该小区得分为67分。
查看其第一级子项得分，发现覆盖和业务得分较低，体验较差，初步判断是由于覆盖问题导致的业务体验差。详细得分如表4所示：
一级子项雷达图如图6所示：
进一步查看无线覆盖质量下的二级子项得分，RSRP得分只有52分，4G覆盖较差，且3G连接也不是非常好，可能会因流量速率较差，导致用户体验差。二级子项得分情况（天线覆盖）如表5所示：
查看业务体验二级子项，发现视频、应用下载和其他下载得分明显偏低，说明在需要高速下载相关的应用都存在较差体验，这个符合我们之前的判断。二级子项得分情况（业务体验）如表6所示。
二级子项（业务体验）雷达图如图7所示。
通过此套体系评估体系，可以认识到该小区覆盖的用户感知情况，初步判断小区存在问题的原因。通过该打分体系对所有小区打分后，可以针对感知得分较差的小区进行专项优化，以提升用户感知。
4.3 与实际投诉用户得分进行对比分析
选取一些实际投诉用户，通过查看他们的得分情况以评判投诉用户的情况。总体来看投诉用户的部分时间得分较低。下面选取了5种投诉用户的情况：
（1）有信号无法上网投诉。当月最差日得分：22.5分。
（2）语音投诉。当月最差日得分：72.7分。
（3）無信号投诉。当月最差日得分：37分。
（4）频繁掉线投诉。当月最差日得分：52分。
（5）网速慢投诉。当月最差日得分：54分。
从上述得分来看，除了语音投诉用户得分较高外，其他用户得分都相对较低。由于系统中不对2G、3G的参数进行感知评分，因此语音问题没能够反应在感知得分中，符合系统预期的设计。
5 结束语
用户感知评估系统能够从一个简单的得分就看出用户感知的好坏，将复杂的网络优化简单化，通过对用户大数据的分析，将更精准地把脉网络。
随着感知系统的逐渐成熟，用大数据进行问题分析的能力也要进一步加入。
（1）问题点细化。感知评分需要根据不同场景进行细化，比如忙时场景，会展场景，校园场景等多个维度场景来区分评分，以便更有效地发现问题。
（2）自动发现问题。通过信令分析，对得分低的小区问题自动定界定位。自动给出问题的经验方案供网优人员参考。
（3）人工智能网优。再到后期通过大数据自动学习，可以让系统自动跟踪用户习惯，调整系统评估参数，发现异常用户，实现网优的人工智能化。
参考文献：
[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.
[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.
[3] 赵训威，林辉，张明，等. 3GPP长期演进（LTE）系统架构与技术规范[M]. 北京： 人民邮电出版社， 2010.
[4] 杨燕. 移动业务QoE量化指标体系的构建与应用[J]. 电讯技术， 2010，50（12）： 101-106.
[5] 金渝，李校林，李雪松. 用户体验质量评估模型及KQI权重计算方法[J]. 计算机工程， 2013（2）： 311-316.
[6] 罗仕鉴，朱上上. 用户体验与产品创新设计[M]. 北京： 机械工业出版社， 2010.
[7] Mike Kuniavsky. 用户体验面面观――方法、工具与实践[M]. 北京： 清华大学出版社， 2010.
[8] Jeff Johnson. 认知与设计——理解UI设计准则[M]. 北京： 人民邮电出版社， 2011.
[9] 寿元泉. LTE轻松进阶[M]. 北京： 电子工业出版社， 2012.
[10] 盛璟，刘洋，许国平. LTE无线网络优化的考量[J]. 邮电设计技术， 2014（12）： 1-5.
