SDN在ChinaNet骨干网流量优化的应用实践
何晓明 邢亮 卢泉 邹洁
【摘 要】ChinaNet骨干网流量疏导与优化是一项长期的、复杂的系统工程。从ChinaNet骨干网网络结构现状出发，深入分析了中国电信ChinaNet骨干网流量疏导和优化所面临的问题和挑战，阐述了SDN具有流量疏导和优化的天然适应性。结合现网实际情况，自主研发了一套基于SDN的智能路由反射器的流量调优系统，并成功应用于ChinaNet骨干网多个场景的流量疏导与优化实践，取得了预期效果。
【关键词】SDN；ChinaNet骨干网；流量疏导与优化；智能RR
Application of SDN to Traffic Optimization in ChinaNet Backbone Networks
HE Xiaoming1， XING Liang2， LU Quan1， ZOU Jie1
[Abstract] Traffic optimization of ChinaNet backbone networks is a long-term， complex system engineering. From the status quo of ChinaNet backbone network structure， the problems and challenges faced by traffic optimization in China Telecoms ChinaNet backbone networks are analyzed in depth. The natural adaptability of SDN to optimizing network traffic is elaborated. Combined with the actual situation of existing networks， a set of traffic optimization system based on intelligent route reflector has been developed independently and successfully applied to multiple traffic optimization scenarios of ChinaNet backbone networks with the expected results.
[Key words]SDN； ChinaNet backbone networks； traffic optimization； intelligent route reflector
1 引言
ChinaNet骨干网作为中国电信固定和移动宽带互联网业务的主要承载网络，已发展成为全球规模最大的互联网流量承载网。近几年来，随着移动互联、云计算、大数据的飞速发展，ChinaNet网络流量一直保持40%的年增长速度，网络容量每隔两年增长一倍，目前中国电信ChinaNet骨干网流量已超过80 Tb/s。面对不断增长的互联网流量，网络扩容固然是缓解骨干网流量压力的主要手段，但是，骨干网流量疏导和优化作为提升网络资源利用效率，保障互联网业务服务质量不可或缺的辅助手段，已成为网络运行和维护的一个重要方面。随着骨干网流量的不断增长以及网络持续扩容，骨干网流量优化正面临日益凸显的问题和挑战。
首先从ChinaNet骨干网网络结构现状出发，深入分析中国电信ChinaNet骨干网流量疏导和优化所面临的问题和挑战，阐述了SDN在骨干网流量疏导和优化方面所具有的天然适应性。最后介绍中国电信自主研发的基于智能RR的流量优化系统，并成功应用于ChinaNet骨干网多个场景的流量疏导与优化实践。
2 ChinaNet骨干网流量优化面临的问题
和挑战
当前ChinaNet骨干网主要包括核心层和汇接层这两层。ChinaNet骨干网使用ISIS作为IGP路由协议，具有独立的自治域，与CN2、城域网、IDC以及其他运营商网络间采用BGP进行路由交换。采用路由反射器（RR）技术解决骨干网内路由器间IBGP全连接的扩展性问题。骨干网内IGP Metric的设置完全依据节点间的拓扑位置，符合“最短路径”原则，与链路带宽无关。这种IGP Metric設计原则带来的最大好处是方便了网络扩容，节点间的链路扩容仅仅只是本地的局部行为，对全网的流量流向不会产生任何影响。只要Metric值保持不变，网络流量流向就具有确定性，跟节点间中继带宽无关。由于省汇接节点间的Metric值最小，汇接节点上联片区内大区的普核节点间的Metric值次之，汇接节点上联片区内超核节点间Metric值最大，导致省间互访流量优先使用省间直达电路疏导。若省间直达路由不可得，依次使用第一迂回路由（由普核疏导）和第二迂回路由（由超核疏导）进行省间互访流量疏导。
2.1 ChinaNet骨干网流量优化需求分析
ChinaNet骨干网基于拓扑的路由机制，理论上可最大程度地减少流量的迂回，最大化网络资源利用率，同时也能提升互联网业务的服务质量。这依赖于对全网流量流向的精确预测和网络资源的合理规划，使得节点间链路扩容与流量增长相匹配，进而达到全网负载均衡的理想化状态。然而，现实情况是网络规划建设通常以1年为时间周期，这种相对漫长的规划时间难以适配互联网流量的突发性和易变性，凸显出常规方式下网络规划和扩容的滞后性。因此，骨干网上流量不均衡现象几乎成为一种常态，表现为一些中继电路处于拥塞状态，而另一些中继电路利用率却严重不足。骨干网上流量疏导和优化也就成为近年来的一项繁重的日常维护工作。
当前ChinaNet骨干网存在几种典型的流量疏导和优化需求场景。
（1）城域网/IDC跨域多归属上联骨干网的负载均衡
中等规模以上的城域网/IDC一般通过2台以上出口路由器上联骨干网汇接层或核心层的多台路由器。在出口路由器容量、局向、上联链速率均相同的情况下，利用现有技术，如等价多径（ECMP）等，基本可以达到流量在链路各个方向的负载均衡。实际情况是各出口路由器在容量、上联链路速率均存在差异性，在10G、40G、100G多种非等速链路共存的环境下，传统技术难以实现流量在非等速链路间的均衡调配，需要借助于新的手段和方法。某些大型城域网，如上海和重庆，存在与多个省份的大量互访流量，要求城域网跨省上联，由此产生了一种新型的“EBGP方式多归属跨省上联”组网模式，这种组网模式对城域网流量在多个方向负载均衡提出了更高要求。总之，实现多归属链路的负载均衡是一项复杂的运维任务，需要借助创新的思维和方法来减少维护的工作量。
（2）骨干网互联互通流量在多个互联点的负载均衡
为提升互联网互联互通服务质量，根据工信部要求，互联互通直联点由原来的京沪穗三个扩容到现在的十三个，网络调优和维护工作量也成倍增加。目前，由于路由策略或路由发布的不尽合理，仍存在大量流量绕转的非最优路径，广州和上海的长途及本地互联链路流量不均衡现象突出。同时，互联互通流量需要在新增十个直联点与京沪穗互联点实现再平衡。人工优化调度方式耗时费力，急需借助于一套自动化流量疏导和优化系统来实现流量的动态优化调度。
（3）国际互联网出口层与超核节点间的负载均衡
京沪穗国际互联网出口层节点（I）分别上联ChinaNet骨干网核心层的京沪穗超核节点（C），由于各片区互联网业务发展的不平衡导致京沪穗C-I间负载分担不均。如北京C-I链路利用率相对偏低，而上海C-I链路持续拥塞，需要实现京沪穗C-I链路流量均衡的灵活配置，提升承载效率，改善国际互联网访问体验。另一方面，也需要为有高质量要求的VIP客户提供优于普通客户的业务体验，为这些客户选择更佳的国际互联网访问路径（较小的传输延时和丢包）。一套灵活可定制化的流量调度系统可大幅提高运维的工作效率。
（4）骨干中继链路的流量均衡
当前ChinaNet骨干网核心到核心（C-C）及汇接到核心（C-D）中继链路均存在流量不均现象，部分中继链路拥塞，部分中继链路的利用不足。理论上，这种流量不均衡可以通过适时的链路扩容来解决。由于网络扩容的滞后性，需要一套灵活的流量疏导和优化系统快速调整网络流量，实现全网流量在各中继链路的动态均衡。
2.2 传统流量优化技术的局限性
由于互联网流量的突发性和动态变化的特征，所有的流量统计数据只能反映互联网流量历史变化，难以精确预测未来较长一段时间的流量变化趋势。因此，基于流量预测数据模型的网络规划和扩容难以匹配真实的网络流量。从这个意义上来讲，ChinaNet骨干网内流量本质上是不均衡的，这就决定了网络优化是一项持续性的日常工作。
IGP Metric确定了网络流量流向，而网络拓扑位置决定了Metric值的大小。因此，若在全网拓扑未发生变化的前提下轻易修改IGP Metric值，可能造成全网流量流向失控，进而严重影响网络业务的服务质量。
ChinaNet骨干网核心功能是疏导城域网与城域网之间以及城域网与IDC之间的业务流量，骨干网本省并不产生流量。而城域网/IDC的用户路由和业务路由完全通过BGP来传递，因此，互联网流量疏导主要取决于BGP选路策略。在存在路由反射器（RR）的大规模网络环境下，根据标准BGP选路原则，RR在收到同一目的地网络的具有相同路由优先级属性多条路由时，优选距离发送通告路由的最近路由器作为该路由的下一跳，并向全网路由器反射，而不是把数据源路由器到发送路由通告的路由器中具有最短距离的那个路由器作为该路由的下一跳，这种依据RR到通过路由器的最短IGP度量的局部选路观容易产生次优路径。BGP虚拟下一跳技术虽然能够弥补RR选路的不足，但是却增加了网络配置和运维的复杂度。
3 SDN具有流量疏导与优化的天然适应性
传统IP网络基于分布式路由计算的网络架构，每台路由器运行统一标准的路由协议，根据收集到的全网拓扑信息形成全局一致的拓扑数据库，然后以自身作为根节点，基于全网一致的路径最短算法计算全网各个节点到根节点的最短距离，标准路由协议确保了路径选择的一致性和环路避免。这种基于“最短路径优先”的算法导致最优路径过度使用而发生拥塞，而次优路径因得不到充分利用被闲置。SDN可望解决路由协议的局限性。
SDN秉承“集中控制”的思想理念，目标是实现网络设备控制功能与数据转发功能完全分离，由集中控制器实现全网拓扑的自动发现，并为每一跳节点计算路径。同时，具备开放接口及网络可编程能力使得网络能更快速地感知业务，根据业务需求实现网络可定制化服务。这种全新的网络架构带来的最大好处是集中控制器具有全局流量观及全网的资源利用视图，能实时发现各链路的带宽利用情况，因此能基于每个业务流的源、宿端位置以及QoS需求（包括带宽、时延、丢包），并结合各链路负载情况来确定合适的路径。因此，SDN技术在实现流量工程和负载均衡方面具有天然优势，目前基于SDN的应用案例主要聚焦在网络流量优化，提高资源利用率等方面。
SDN实现流量疏导和优化可以概括为以下三个基本特点。
（1）业务流路径选择的可编程性
集中控制器可以根据自定义策略规则为不同业务流选择不同路径，提升网络服务的差异化水平。比如，为时延敏感的业务选择最短路徑，为丢包敏感的业务选择链路利用率低的路径，为地域敏感的业务选择指定路径，避开某些存在安全隐患的节点和链路。极大地提高了路径选择的灵活性。
（2）流量优化调整的动态性和实时性
由于互联网流量本身具有的突发性和难以预测性特征，以及像体育赛事或热点视频节目等突发事件，导致业务流量在特定局向的大爆发。之前该局向的规划带宽无法承载这种突如其来的洪流，集中控制器可以很好地应对这种突发性事件，及时把部分流量迁移到相对轻载的链路上，大大提高了传统人工优化方式的时效性。
（3）流量优化的自动化和精细化
集中控制器依据全网流量流向的可视化以及链路带宽利用率的可视化数据，并基于多目标优化算法自动平衡全网流量，可实现流量的精细化调度，避免了人工优化方式的低效和盲目性。
4 智能RR在ChianNet骨干网络流量优化的
应用实践
4.1 基于SDN的智能RR流量调优系统
尽管涌现出多种SDN技术流派，但目前还尚未有可运用于运营商大规模网络的商用案例。一方面需要利旧现有的网络设备，另一方面需要寻求可平滑演进的SDN技术。ChinaNet骨干互联网流量疏导主要取决于BGP选路策略，由于RR拥有全网用户和业务路由，如果再辅以全局拓扑和流量视图，那么对于同一个目的地网络多条路由，根据自定义策略为不同路由器反射不同的下一跳，同样可以达到SDN灵活选路的效果，克服基于标准BGP选路的不足。基于这个思路，研发了基于SDN的智能RR流量调优系统。
智能RR流量调优系统是对现有中国电信IP骨干网网管系统的改造和升级。在原有系统的基础上增加了流量分析管理模块、策略管理模块、智能路由控制模块、流量仿真模块以及人机友好应用界面等五个核心部件。图1是智能RR流量调优系统的示意图。
（1）流量分析管理模块
基于SNMP收集全网链路的流量数据，实现流量历史曲线的可视化。基于NetFlow收集全网流量流向数据，实现各省份、各城域网以及各IDC等多个维度的流量流向可视化。提供全网各中继链路、各局向的流量TOP N数据。
（2）策略管理模块
制定多种流量疏导和优化策略，比如为特定业务流指定优选路径，根据业务流的QoS需求选择路径，基于多种约束条件的路径优化算法，流量自动优化调节的触发条件（如链路利用率门限、链路利用率偏差、时延和丢包的容忍度等）。
（3）智能路由控制模块
收集全网拓扑及路由信息，根据流量分析数据及策略信息进行路径优化选择，按需向相关路由器反射优选路由，支持人工或自动方式实现全网流量工程和负载均衡。
（4）流量仿真模块
智能路由控制模块对被疏导的流量选择路径后，这部分流量将迁移到新的中继链路上，受影响的链路是否有足够的空余带宽来承载这部分新增流量而不会导致链路拥塞，还需要流量仿真模块进行仿真确认，只有通过仿真确认的优化路径才能够由智能RR向相关路由器反射。
（5）人机友好应用界面
提供流量流向可视化及策略定制界面，方便维护人员制定路径优化策略，为有需要的业务流选择优化的路径，对自动优化的路径进行人工确认。
4.2 案例分析
智能RR流量调优系统已在ChinaNet骨干网开展现网试点，主要用于国际互联网出口层与超核节点间的负载均衡、部分骨干中继链路的流量均衡、骨干网互联互通流量在多个互联点的负载均衡等多个流量优化场景，达到了预期效果。限于篇幅，本文仅以骨干网互联互通流量优化场景为例进行介绍和分析。
目前在七个新增互联节点与原京沪穗互联节点的互联链路存在流量不均衡，需要在遵循中国电信和其他运营商所签订的互联互通协议的条件下，提出流量均衡调整策略，实现入方向流量在七个互联节点的负载均衡。
本方案基本实现原理是精细化控制不同地址前缀在多个互联点向外网通告达到入方向流量的均衡分配。智能RR把收集到的全网路由按省份、城域网进行分类。流量分析管理模块统计到各省份和城域网访问其他运营商网络的入方向流量历史和实时数据，并对各省份和各城域网的流量大小进行排序，流量分析管理模块同时还统计到互联互通链路的利用情况。策略管理模块给出流量疏导和优化的触发条件：如链路利用率上限小于80%，链路利用率偏差小于20%。当满足流量优化条件时，系统基于各省份/城域网的流量大小，挑选合适的省份/城域网的地址前缀，更改它们向外网通告的互联点。这样便达到了流量调整的目的。
图2中，智能RR仅与七个互联互通路由器（E）建立BGP连接，智能RR向E路由器反射携带特定团体属性（Community）标记的待调整路由，并为这些待调整路由设置比普通RR更高的本地优先级属性（Local Preference），在E路由器上预配置Community匹配命令（如if match community1，set MED=小值；if match community2，set MED=大值）。当E路由器接收到来自智能RR的路由与预配置命令相匹配时，通过修改对应的多出口鉴别属性（MED）来影响入方向流量路径。没有匹配上的路由（普通RR反射的路由）仍然依照原来的规划路径疏导流量。图2中，实线代表调整前的城域网流量路径，虚线代表调整后的流量路径。表1给出了互联互通流量调整前后的互联节点链路利用率对比情况（表中流标识代表某个城域网）。
5 结束语
ChinaNet骨干网流量疏导与优化是一项长期的、复杂的系统工程，科学而富有前瞻性的网络规划和流量预测固然能减轻骨干网流量疏导和优化的繁重任务，但不能以单纯网络扩容来代替网络优化这项日常运维工作。好的网络优化方法和手段不仅要求能达到良好的流量优化效果，而且能简化网络运维，减少人力成本。SDN具有业务流路径选择的可编程性、流量优化调整的动态性和实时性、流量优化的自动化和精细化的这些特点，这决定了它具有流量疏导和优化的天然适应性。由于当前SDN技术和产品仍处于快速发展中，没有可以遵循的标准和规范，全球运营商正在积极探索和实践可应用于运营商大规模网络的SDN技术。秉持务实创新的精神，中国电信自主研发的基于智能RR的流量优化系统成功应用于ChinaNet骨干网多个场景的流量疏导与优化实践，取得了预期效果，这是中国电信依托现网开展自主研发的一次有益尝试。在后续的实践和研发工作中，将进一步完善流量优化系统的软件框架、接口规范、功能性能以及扩展性等各个方面，使之成为真正应用于运营商大规模网络可商用化的流量优化系统。
参考文献：
[1] 中国电信. 中国电信ChinaNet组网与策略规范（2013版）[Z]. 2013.
[2] BGP Link Bandwidth[EB/OL]. [2017-10-10]. http：//www.cisco.com/c/en/us/td/docs/ios/12_2s/feature/.
[3] Y Rekhter. A Border Gateway Protocol 4 （BGP-4）[S]. 2006.
[4] T Bates. BGP Route Reflection： An Alternative to Full Mesh Internal BGP （IBGP）[S]. 2006.
[5] ONF. OpenFlow Switch Specification[S]. 2014.
[6] ONF White Paper. Software-Defined Networking： the New Norm for Networks[R]. 2012.
[7] 何曉明，冀晖，毛东峰，等. 电信IP网向SDN演进的探讨[J]. 电信科学， 2014（6）： 131-137.
[8] K Patel. Use Cases for an Interface to BGP Protocol[S]. 2015.
[9] B Claise. Cisco Systems NetFlow Services Export Version 9[S]. 2004.
[10] 何晓明. 一种基于路由反射器的路径优选方法和系统[P]. 中国专利： CN106850422A， 2015-12-04.
【摘 要】ChinaNet骨干网流量疏导与优化是一项长期的、复杂的系统工程。从ChinaNet骨干网网络结构现状出发，深入分析了中国电信ChinaNet骨干网流量疏导和优化所面临的问题和挑战，阐述了SDN具有流量疏导和优化的天然适应性。结合现网实际情况，自主研发了一套基于SDN的智能路由反射器的流量调优系统，并成功应用于ChinaNet骨干网多个场景的流量疏导与优化实践，取得了预期效果。
【关键词】SDN；ChinaNet骨干网；流量疏导与优化；智能RR
Application of SDN to Traffic Optimization in ChinaNet Backbone Networks
HE Xiaoming1， XING Liang2， LU Quan1， ZOU Jie1
[Abstract] Traffic optimization of ChinaNet backbone networks is a long-term， complex system engineering. From the status quo of ChinaNet backbone network structure， the problems and challenges faced by traffic optimization in China Telecoms ChinaNet backbone networks are analyzed in depth. The natural adaptability of SDN to optimizing network traffic is elaborated. Combined with the actual situation of existing networks， a set of traffic optimization system based on intelligent route reflector has been developed independently and successfully applied to multiple traffic optimization scenarios of ChinaNet backbone networks with the expected results.
[Key words]SDN； ChinaNet backbone networks； traffic optimization； intelligent route reflector
1 引言
ChinaNet骨干网作为中国电信固定和移动宽带互联网业务的主要承载网络，已发展成为全球规模最大的互联网流量承载网。近几年来，随着移动互联、云计算、大数据的飞速发展，ChinaNet网络流量一直保持40%的年增长速度，网络容量每隔两年增长一倍，目前中国电信ChinaNet骨干网流量已超过80 Tb/s。面对不断增长的互联网流量，网络扩容固然是缓解骨干网流量压力的主要手段，但是，骨干网流量疏导和优化作为提升网络资源利用效率，保障互联网业务服务质量不可或缺的辅助手段，已成为网络运行和维护的一个重要方面。随着骨干网流量的不断增长以及网络持续扩容，骨干网流量优化正面临日益凸显的问题和挑战。
首先从ChinaNet骨干网网络结构现状出发，深入分析中国电信ChinaNet骨干网流量疏导和优化所面临的问题和挑战，阐述了SDN在骨干网流量疏导和优化方面所具有的天然适应性。最后介绍中国电信自主研发的基于智能RR的流量优化系统，并成功应用于ChinaNet骨干网多个场景的流量疏导与优化实践。
2 ChinaNet骨干网流量优化面临的问题
和挑战
当前ChinaNet骨干网主要包括核心层和汇接层这两层。ChinaNet骨干网使用ISIS作为IGP路由协议，具有独立的自治域，与CN2、城域网、IDC以及其他运营商网络间采用BGP进行路由交换。采用路由反射器（RR）技术解决骨干网内路由器间IBGP全连接的扩展性问题。骨干网内IGP Metric的设置完全依据节点间的拓扑位置，符合“最短路径”原则，与链路带宽无关。这种IGP Metric設计原则带来的最大好处是方便了网络扩容，节点间的链路扩容仅仅只是本地的局部行为，对全网的流量流向不会产生任何影响。只要Metric值保持不变，网络流量流向就具有确定性，跟节点间中继带宽无关。由于省汇接节点间的Metric值最小，汇接节点上联片区内大区的普核节点间的Metric值次之，汇接节点上联片区内超核节点间Metric值最大，导致省间互访流量优先使用省间直达电路疏导。若省间直达路由不可得，依次使用第一迂回路由（由普核疏导）和第二迂回路由（由超核疏导）进行省间互访流量疏导。
2.1 ChinaNet骨干网流量优化需求分析
ChinaNet骨干网基于拓扑的路由机制，理论上可最大程度地减少流量的迂回，最大化网络资源利用率，同时也能提升互联网业务的服务质量。这依赖于对全网流量流向的精确预测和网络资源的合理规划，使得节点间链路扩容与流量增长相匹配，进而达到全网负载均衡的理想化状态。然而，现实情况是网络规划建设通常以1年为时间周期，这种相对漫长的规划时间难以适配互联网流量的突发性和易变性，凸显出常规方式下网络规划和扩容的滞后性。因此，骨干网上流量不均衡现象几乎成为一种常态，表现为一些中继电路处于拥塞状态，而另一些中继电路利用率却严重不足。骨干网上流量疏导和优化也就成为近年来的一项繁重的日常维护工作。
当前ChinaNet骨干网存在几种典型的流量疏导和优化需求场景。
（1）城域网/IDC跨域多归属上联骨干网的负载均衡
中等规模以上的城域网/IDC一般通过2台以上出口路由器上联骨干网汇接层或核心层的多台路由器。在出口路由器容量、局向、上联链速率均相同的情况下，利用现有技术，如等价多径（ECMP）等，基本可以达到流量在链路各个方向的负载均衡。实际情况是各出口路由器在容量、上联链路速率均存在差异性，在10G、40G、100G多种非等速链路共存的环境下，传统技术难以实现流量在非等速链路间的均衡调配，需要借助于新的手段和方法。某些大型城域网，如上海和重庆，存在与多个省份的大量互访流量，要求城域网跨省上联，由此产生了一种新型的“EBGP方式多归属跨省上联”组网模式，这种组网模式对城域网流量在多个方向负载均衡提出了更高要求。总之，实现多归属链路的负载均衡是一项复杂的运维任务，需要借助创新的思维和方法来减少维护的工作量。
（2）骨干网互联互通流量在多个互联点的负载均衡
为提升互联网互联互通服务质量，根据工信部要求，互联互通直联点由原来的京沪穗三个扩容到现在的十三个，网络调优和维护工作量也成倍增加。目前，由于路由策略或路由发布的不尽合理，仍存在大量流量绕转的非最优路径，广州和上海的长途及本地互联链路流量不均衡现象突出。同时，互联互通流量需要在新增十个直联点与京沪穗互联点实现再平衡。人工优化调度方式耗时费力，急需借助于一套自动化流量疏导和优化系统来实现流量的动态优化调度。
（3）国际互联网出口层与超核节点间的负载均衡
京沪穗国际互联网出口层节点（I）分别上联ChinaNet骨干网核心层的京沪穗超核节点（C），由于各片区互联网业务发展的不平衡导致京沪穗C-I间负载分担不均。如北京C-I链路利用率相对偏低，而上海C-I链路持续拥塞，需要实现京沪穗C-I链路流量均衡的灵活配置，提升承载效率，改善国际互联网访问体验。另一方面，也需要为有高质量要求的VIP客户提供优于普通客户的业务体验，为这些客户选择更佳的国际互联网访问路径（较小的传输延时和丢包）。一套灵活可定制化的流量调度系统可大幅提高运维的工作效率。
（4）骨干中继链路的流量均衡
当前ChinaNet骨干网核心到核心（C-C）及汇接到核心（C-D）中继链路均存在流量不均现象，部分中继链路拥塞，部分中继链路的利用不足。理论上，这种流量不均衡可以通过适时的链路扩容来解决。由于网络扩容的滞后性，需要一套灵活的流量疏导和优化系统快速调整网络流量，实现全网流量在各中继链路的动态均衡。
2.2 传统流量优化技术的局限性
由于互联网流量的突发性和动态变化的特征，所有的流量统计数据只能反映互联网流量历史变化，难以精确预测未来较长一段时间的流量变化趋势。因此，基于流量预测数据模型的网络规划和扩容难以匹配真实的网络流量。从这个意义上来讲，ChinaNet骨干网内流量本质上是不均衡的，这就决定了网络优化是一项持续性的日常工作。
IGP Metric确定了网络流量流向，而网络拓扑位置决定了Metric值的大小。因此，若在全网拓扑未发生变化的前提下轻易修改IGP Metric值，可能造成全网流量流向失控，进而严重影响网络业务的服务质量。
ChinaNet骨干网核心功能是疏导城域网与城域网之间以及城域网与IDC之间的业务流量，骨干网本省并不产生流量。而城域网/IDC的用户路由和业务路由完全通过BGP来传递，因此，互联网流量疏导主要取决于BGP选路策略。在存在路由反射器（RR）的大规模网络环境下，根据标准BGP选路原则，RR在收到同一目的地网络的具有相同路由优先级属性多条路由时，优选距离发送通告路由的最近路由器作为该路由的下一跳，并向全网路由器反射，而不是把数据源路由器到发送路由通告的路由器中具有最短距离的那个路由器作为该路由的下一跳，这种依据RR到通过路由器的最短IGP度量的局部选路观容易产生次优路径。BGP虚拟下一跳技术虽然能够弥补RR选路的不足，但是却增加了网络配置和运维的复杂度。
3 SDN具有流量疏导与优化的天然适应性
传统IP网络基于分布式路由计算的网络架构，每台路由器运行统一标准的路由协议，根据收集到的全网拓扑信息形成全局一致的拓扑数据库，然后以自身作为根节点，基于全网一致的路径最短算法计算全网各个节点到根节点的最短距离，标准路由协议确保了路径选择的一致性和环路避免。这种基于“最短路径优先”的算法导致最优路径过度使用而发生拥塞，而次优路径因得不到充分利用被闲置。SDN可望解决路由协议的局限性。
SDN秉承“集中控制”的思想理念，目标是实现网络设备控制功能与数据转发功能完全分离，由集中控制器实现全网拓扑的自动发现，并为每一跳节点计算路径。同时，具备开放接口及网络可编程能力使得网络能更快速地感知业务，根据业务需求实现网络可定制化服务。这种全新的网络架构带来的最大好处是集中控制器具有全局流量观及全网的资源利用视图，能实时发现各链路的带宽利用情况，因此能基于每个业务流的源、宿端位置以及QoS需求（包括带宽、时延、丢包），并结合各链路负载情况来确定合适的路径。因此，SDN技术在实现流量工程和负载均衡方面具有天然优势，目前基于SDN的应用案例主要聚焦在网络流量优化，提高资源利用率等方面。
SDN实现流量疏导和优化可以概括为以下三个基本特点。
（1）业务流路径选择的可编程性
集中控制器可以根据自定义策略规则为不同业务流选择不同路径，提升网络服务的差异化水平。比如，为时延敏感的业务选择最短路徑，为丢包敏感的业务选择链路利用率低的路径，为地域敏感的业务选择指定路径，避开某些存在安全隐患的节点和链路。极大地提高了路径选择的灵活性。
（2）流量优化调整的动态性和实时性
由于互联网流量本身具有的突发性和难以预测性特征，以及像体育赛事或热点视频节目等突发事件，导致业务流量在特定局向的大爆发。之前该局向的规划带宽无法承载这种突如其来的洪流，集中控制器可以很好地应对这种突发性事件，及时把部分流量迁移到相对轻载的链路上，大大提高了传统人工优化方式的时效性。
（3）流量优化的自动化和精细化
集中控制器依据全网流量流向的可视化以及链路带宽利用率的可视化数据，并基于多目标优化算法自动平衡全网流量，可实现流量的精细化调度，避免了人工优化方式的低效和盲目性。
4 智能RR在ChianNet骨干网络流量优化的
应用实践
4.1 基于SDN的智能RR流量调优系统
尽管涌现出多种SDN技术流派，但目前还尚未有可运用于运营商大规模网络的商用案例。一方面需要利旧现有的网络设备，另一方面需要寻求可平滑演进的SDN技术。ChinaNet骨干互联网流量疏导主要取决于BGP选路策略，由于RR拥有全网用户和业务路由，如果再辅以全局拓扑和流量视图，那么对于同一个目的地网络多条路由，根据自定义策略为不同路由器反射不同的下一跳，同样可以达到SDN灵活选路的效果，克服基于标准BGP选路的不足。基于这个思路，研发了基于SDN的智能RR流量调优系统。
智能RR流量调优系统是对现有中国电信IP骨干网网管系统的改造和升级。在原有系统的基础上增加了流量分析管理模块、策略管理模块、智能路由控制模块、流量仿真模块以及人机友好应用界面等五个核心部件。图1是智能RR流量调优系统的示意图。
（1）流量分析管理模块
基于SNMP收集全网链路的流量数据，实现流量历史曲线的可视化。基于NetFlow收集全网流量流向数据，实现各省份、各城域网以及各IDC等多个维度的流量流向可视化。提供全网各中继链路、各局向的流量TOP N数据。
（2）策略管理模块
制定多种流量疏导和优化策略，比如为特定业务流指定优选路径，根据业务流的QoS需求选择路径，基于多种约束条件的路径优化算法，流量自动优化调节的触发条件（如链路利用率门限、链路利用率偏差、时延和丢包的容忍度等）。
（3）智能路由控制模块
收集全网拓扑及路由信息，根据流量分析数据及策略信息进行路径优化选择，按需向相关路由器反射优选路由，支持人工或自动方式实现全网流量工程和负载均衡。
（4）流量仿真模块
智能路由控制模块对被疏导的流量选择路径后，这部分流量将迁移到新的中继链路上，受影响的链路是否有足够的空余带宽来承载这部分新增流量而不会导致链路拥塞，还需要流量仿真模块进行仿真确认，只有通过仿真确认的优化路径才能够由智能RR向相关路由器反射。
（5）人机友好应用界面
提供流量流向可视化及策略定制界面，方便维护人员制定路径优化策略，为有需要的业务流选择优化的路径，对自动优化的路径进行人工确认。
4.2 案例分析
智能RR流量调优系统已在ChinaNet骨干网开展现网试点，主要用于国际互联网出口层与超核节点间的负载均衡、部分骨干中继链路的流量均衡、骨干网互联互通流量在多个互联点的负载均衡等多个流量优化场景，达到了预期效果。限于篇幅，本文仅以骨干网互联互通流量优化场景为例进行介绍和分析。
目前在七个新增互联节点与原京沪穗互联节点的互联链路存在流量不均衡，需要在遵循中国电信和其他运营商所签订的互联互通协议的条件下，提出流量均衡调整策略，实现入方向流量在七个互联节点的负载均衡。
本方案基本实现原理是精细化控制不同地址前缀在多个互联点向外网通告达到入方向流量的均衡分配。智能RR把收集到的全网路由按省份、城域网进行分类。流量分析管理模块统计到各省份和城域网访问其他运营商网络的入方向流量历史和实时数据，并对各省份和各城域网的流量大小进行排序，流量分析管理模块同时还统计到互联互通链路的利用情况。策略管理模块给出流量疏导和优化的触发条件：如链路利用率上限小于80%，链路利用率偏差小于20%。当满足流量优化条件时，系统基于各省份/城域网的流量大小，挑选合适的省份/城域网的地址前缀，更改它们向外网通告的互联点。这样便达到了流量调整的目的。
图2中，智能RR仅与七个互联互通路由器（E）建立BGP连接，智能RR向E路由器反射携带特定团体属性（Community）标记的待调整路由，并为这些待调整路由设置比普通RR更高的本地优先级属性（Local Preference），在E路由器上预配置Community匹配命令（如if match community1，set MED=小值；if match community2，set MED=大值）。当E路由器接收到来自智能RR的路由与预配置命令相匹配时，通过修改对应的多出口鉴别属性（MED）来影响入方向流量路径。没有匹配上的路由（普通RR反射的路由）仍然依照原来的规划路径疏导流量。图2中，实线代表调整前的城域网流量路径，虚线代表调整后的流量路径。表1给出了互联互通流量调整前后的互联节点链路利用率对比情况（表中流标识代表某个城域网）。
5 结束语
ChinaNet骨干网流量疏导与优化是一项长期的、复杂的系统工程，科学而富有前瞻性的网络规划和流量预测固然能减轻骨干网流量疏导和优化的繁重任务，但不能以单纯网络扩容来代替网络优化这项日常运维工作。好的网络优化方法和手段不仅要求能达到良好的流量优化效果，而且能简化网络运维，减少人力成本。SDN具有业务流路径选择的可编程性、流量优化调整的动态性和实时性、流量优化的自动化和精细化的这些特点，这决定了它具有流量疏导和优化的天然适应性。由于当前SDN技术和产品仍处于快速发展中，没有可以遵循的标准和规范，全球运营商正在积极探索和实践可应用于运营商大规模网络的SDN技术。秉持务实创新的精神，中国电信自主研发的基于智能RR的流量优化系统成功应用于ChinaNet骨干网多个场景的流量疏导与优化实践，取得了预期效果，这是中国电信依托现网开展自主研发的一次有益尝试。在后续的实践和研发工作中，将进一步完善流量优化系统的软件框架、接口规范、功能性能以及扩展性等各个方面，使之成为真正应用于运营商大规模网络可商用化的流量优化系统。
参考文献：
[1] 中国电信. 中国电信ChinaNet组网与策略规范（2013版）[Z]. 2013.
[2] BGP Link Bandwidth[EB/OL]. [2017-10-10]. http：//www.cisco.com/c/en/us/td/docs/ios/12_2s/feature/.
[3] Y Rekhter. A Border Gateway Protocol 4 （BGP-4）[S]. 2006.
[4] T Bates. BGP Route Reflection： An Alternative to Full Mesh Internal BGP （IBGP）[S]. 2006.
[5] ONF. OpenFlow Switch Specification[S]. 2014.
[6] ONF White Paper. Software-Defined Networking： the New Norm for Networks[R]. 2012.
[7] 何曉明，冀晖，毛东峰，等. 电信IP网向SDN演进的探讨[J]. 电信科学， 2014（6）： 131-137.
[8] K Patel. Use Cases for an Interface to BGP Protocol[S]. 2015.
[9] B Claise. Cisco Systems NetFlow Services Export Version 9[S]. 2004.
[10] 何晓明. 一种基于路由反射器的路径优选方法和系统[P]. 中国专利： CN106850422A， 2015-12-04.
