网络流量管理控制技术在校园网的应用研究
胡 俊 程 瑾
摘要:以p2p为代表的网络应用已经给当前校园网络出口带宽带来了前所未有的拥塞和安全问题,而这些问题产生的内在原因在于当前的网络流量管理缺乏应用识别控制能力。因此,有必要在网络流量管理中引入流量应用识别控制技术。本文介绍了两种网络流量应用识别技术DPI和DFI,并对两者进行了比较;然后对网络流量管理控制技术在校园网中进行了实施和初步的研究;最后提出了在实际应用中需要思考的问题。
关键词:网络流量识别 网络流量管理 网络流量控制 深度报文检测 深度流行为检测
中图分类号:TP393.06 文献标识码:B 文章编号:1673-8454(2009)21-0028-03
一、前言
随着互联网的迅猛发展,宽带网络用户急剧增加;新型网络应用大量出现。上述情况导致网络流量呈几何数增长。从网络应用的特点来看,除了传统的网页浏览、收发电子邮件等数据应用之外,出现了网络电话、网络视频、网络游戏等对网络实时性有较高要求的应用,出现了P2P(Peer to Peer)下载等对网络带宽抢占能力极强的应用。除此之外,网络里面还充斥了大量的病毒等垃圾流量。对于校园网用户而言,网络带宽资源是有限的。如果不能很好地管理、控制好网络流量,一方面将导致P2P等应用流量和网络攻击病毒等垃圾流量大量抢占有限的网络出口带宽,从而无法保证网络用户关键业务的服务质量,另一方面,带宽的无谓消耗,将大大增加网络费用的支出。
因此通过适当的网络流量管理控制技术,针对不同业务制定和实施相应策略是解决带宽增长与业务收益、网络扩容与用户体验之间矛盾的关键所在。
二、校园网出口流量分析
我校校园网未做任何网络流量管理控制的出口带宽状况,如图1所示。
根据对我校校园网出口流量的详细分析,目前网络出口流量具有如下特点:
1.P2P应用占据大量带宽
P2P技术是计算机网络的一次重大突破,它打破了C/S的流量模型,采用“无集中服务器”的模式,消除了服务器的瓶颈问题。因此,当P2P软件出现,文件下载、流媒体、VoIP 语音等应用受到网络用户的追捧和青睐。由于P2P技术的特点,P2P应用对网络带宽具有极强的抢占能力。P2P技术在互联网上的应用超过了Web而成为在流量上占据统治地位的新型应用。根据图1的统计分析,我们可以看出,目前网络流量的60%以上都是P2P的应用。主要的P2P应用包括:Thunder(迅雷)、BitTorrent(BT)、eDonkey(电驴)等。
2.关键业务的服务质量无法保证
Web浏览是校园网用户的关键业务之一,Web浏览已经成为网络用户获取外部信息和进行科研工作的重要手段和内容。由于P2P应用对带宽的抢占,导致Web浏览速度大幅下降,进而引起用户强烈不满。另外网络游戏、网络电话、网络视频、流媒体等业务对网络质量要求较高。传输过程中任何一个环节出现瓶颈,都会影响应用的服务质量。例如,网络带宽不足将导致网络电话、网络视频等应用出现信号时断时续的现象,让用户无法忍受。
3.网络安全受到威胁
在过去的一年中,针对网络安全的攻击数量是前一年的两倍还多。黑客攻击手段越来越复杂,破坏程度越来越大。同时,加入黑客组织的门槛却越来越低,因为黑客工具越来越先进,操作越来越简单。随着黑客与病毒技术的发展,加上计算机性能的大幅度提升,攻击变得越来越难以控制。病毒等带来的垃圾流量导致了网络带宽的浪费同时也给网络管理员带来前所未有的挑战。
三、网络流量应用识别技术
为了对校园网络出口流量进行管理控制,首先必须能够识别网络流量的应用类型。一般情况下,我们可以通过IP包头中的“五元组”信息来确定当前流量的基本信息,如源地址、目标地址、协议类型、源端口号、目标端口号。在传统的网络中,IP路由器也正是通过这一系列信息来实现一定程度的流量识别和QoS。但随着网上应用类型的不断丰富,仅通过第四层端口信息已经不能真正判断流量中的应用类型,基于开放端口、随机端口甚至采用加密方式进行传输的应用类型在目前的网络中比比皆是。在这种情况下,传统的流量识别和QoS控制技术显得捉襟见肘。通过加大对网络流量的监控力度,可以在一定程度上比较准确地识别流量中的应用类型。目前这一领域主要有深度报文检测(Deep Packet Inspection,DPI)和深度流行为检测(Deep Flow Inspection,DFI)两大技术体系。
1.深度报文检测(Deep Packet Inspection,DPI)
DPI是深度报文检测(Deep Packet Inspection)的简称,是一种典型的应用识别技术。DPI技术之所以称为“深度” 的检测技术,是相对于传统的检测技术而言的。传统的流量检测技术仅获取那些寄存在数据包网络层和传输层协议头中的基本信息,通过这些参数很难获得足够多的业务应用信息。对于当前P2P应用、VoIP应用、IPTV应用被广泛开展的情况,传统的流量检测技术已经不能满足网络流量管理的需要了。
DPI技术对传统的流量检测技术进行了“ 深度”扩展,在获取数据包基本信息的同时,对多个相关数据包的应用层协议头和协议负荷进行扫描,获取寄存在应用层中的特征信息,对网络流量进行精细的检查、监控和分析。
DPI技术通常采用如下的数据包分析方法:
(1)传输层端口分析。许多应用使用默认的传输层端口号,例如HTTP协议使用80端口。
(2)特征字段匹配分析。一些应用在应用层协议头,或者应用层负荷中的特定位置中包含特征字段,通过特征字段的识别实现数据包检查、监控和分析。
(3)通信交互过程分析。对多个会话的事务交互过程进行监控分析,包括包长度、发送的包数目等,实现对网络业务的检查、监控和分析。
2.深度流行为检测
DFI是深度流行为检测(Deep Flow Inspection)的简称,也是一种典型应用识别技术。DFI技术是相对于DPI技术提出的,为了解决DPI 技术的执行效率、加密流量识别和频繁升级等问题而出现的。DFI 更关注于网络流量特征的通用性,因此,DFI技术并不对网络流量进行深度的报文检测,而仅通过对网络流量的状态、网络层和传输层信息、业务流持续时间、平均流速率、字节长度分布等参数的统计分析,来获取应用类型、应用状态。
3.两种识别技术的比较
两种技术的设计基本目标都是为了实现应用识别,但两者在实现原理和技术细节方面都存在较大区别,下面我们从技术原理、技术成熟度、识别准确度、识别精细程度、加密流量识别、系统处理能力等方面对两种技术进行比较,比较结果如表1所示。
从表1中我们可以看出,两种技术互有优势,也互有缺陷,DPI技术适用于需要精细和准确识别、精细管理的环境,而DFI技术适用于需要高效识别,粗放管理的应用环境。
四、网络流量管理控制技术及其在校园网的应用
通过网络流量应用识别技术区分出网络流量里面各种不同的应用类型,进而可以采用QoS控制方法。根据应用类型按策略转发,为其提供不同的服务质量。流量控制技术可以分成两个大的流派:一种是结合协议本身的设计机制,巧妙利用协议本身提供的一些机制,实现流量控制;一种是采取缓冲、队列控制的办法,强制性的实现流量控制。对于TCP/IP协议来说,TCP是面向连接的协议,提供了很多反馈控制的机制,能够端到端的控制业务的速率。而UDP只是一种尽力而为的协议,没有端到端的反馈控制能力,因此,结合协议进行流量控制将局限于TCP。对于UDP只能采取缓冲队列控制进行流量控制。
目前市场上主流的控制技术有三种:第一,以Packeteer为代表的基于TCP窗口整形的流控技术;第二,以Allot和Cisco为代表的基于队列的流控技术;第三,以华为和GreenNet为代表的基于干扰的流控技术。这些技术和产品各有优缺点,但都可以实现对应用流量的最大、最小带宽保障或阻断等控制效果。
根据前面我们对校园网络出口流量的分析,我们针对不同的应用对网络流量进行了分类,然后制定和执行相应的策略。因为策略是根据实际情况而制定的,因此也要根据不同需求进行调整。根据我们的经验,我们对策略的制定建议如下:
(1)对P2P应用流量进行分时段限制。我们知道P2P应用是网络带宽的“暴力杀手”,因此,我们必须对P2P应用流量进行限制。在网络应用高峰期间,应使P2P应用流量占用带宽不超过总带宽的30%,在网络空闲时间则放开对P2P应用的限制。
(2)保障Web浏览(HTTP)等关键应用带宽。Web浏览是校园网络用户的关键业务之一,也是网络用户网速体验最直接的应用。我们建议为其保障40%的出口带宽,以保证用户Web浏览的效果。
(3)过滤病毒和网络攻击流量。网络攻击、病毒等带来的垃圾流量不仅危害我们的网络安全,也浪费了我们宝贵的网络带宽。根据病毒和网络攻击流量的应用特征,过滤掉病毒和网络攻击造成的垃圾流量。
我校校园网络在网络流量管理控制技术应用后的出口带宽的现状,如图2所示。
从图2中我们可以看出,通过执行以上流量管理策略,各类应用都能够得到较为合理的带宽和保证,出口带宽资源得到了高效利用。在网络不是很繁忙的时段,放开P2P应用;同时Web浏览等关键应用的网络带宽也都得到专门保证。在网络繁忙时段,则把P2P应用限制在一定范围之内,优先保证关键应用的带宽。另外,过滤了病毒和网络攻击流量,既节约了带宽又提高了网络安全性。
五、小结和思考
流量管理控制技术目前的使用领域主要在于优化带宽使用,解决带宽不合理占用,网络拥塞、安全隐患等问题,以保障关键业务的服务质量和提高用户上网体验。将来,流量管理控制技术将渗透到网络的每一个环节,使未来网络成为一个可以快速、高效、准确识别网络中业务流、提供区分服务的智能网络。
在实际应用中,技术发展、用户满意度和法律法规等诸多因素都会影响流量管理控制技术在校园网的应用。因此,对一些问题必须认真思考。
1.技术缺陷。技术从来都不是完美的,都有自身较为适用的环境,都需要不断地发展完善。比如对未知P2P、加密P2P业务、隐藏在Web流量中的迅雷、私有业务的智能识别的研究目前都是流量管理控制技术的热点研究领域。因此,在实际使用中选择何种应用识别技术,以及如何保证紧跟应用技术发展的步伐,是每个网络管理员必须面对的问题。流量管理控制技术的应用势必会对网络造成一定的冲击,那么如何更好地保证网络的稳定性和业务的连续性也是网络管理员必须考虑的问题。
2.用户满意度。流量管理控制技术的应用必将影响到用户对网络资源的使用,高优先级的用户能够得到较好的网络应用服务质量保障,而对于普通用户,网络应用流量的管理势必影响到用户随意使用网络资源的行为,这将会使得大多数普通用户对校园网认可度、满意度下降,投诉率上升等负面影响。因此,在具体应用中,需要认真考虑实施策略、实施粒度等问题,及时把握用户网络使用感受。
3.政策风险。由于流量管理控制技术需要对网络中的数据流量进行深度的报文解析和数据挖掘,可能会涉及个人隐私等法律法规问题,因此,网络管理员在获得网络数据流特征信息的方式、用户数据和用户行为的挖掘深度,以及多维分析数据的合理利用方面都需要认真仔细地加以思考,尽可能规避政策法规的风险。
参考文献:
[1]马科.业务识别与管理系统和网络流量的管理[J].现代电信科技,2008(4).
[2]王超.IP网络带宽管理[J].电信技术,2007(5).
[3]杨天路.P2P网络技术原理与系统开发案例[M].北京:人民邮电出版社,2007.
(编辑:杨馥红)
摘要:以p2p为代表的网络应用已经给当前校园网络出口带宽带来了前所未有的拥塞和安全问题,而这些问题产生的内在原因在于当前的网络流量管理缺乏应用识别控制能力。因此,有必要在网络流量管理中引入流量应用识别控制技术。本文介绍了两种网络流量应用识别技术DPI和DFI,并对两者进行了比较;然后对网络流量管理控制技术在校园网中进行了实施和初步的研究;最后提出了在实际应用中需要思考的问题。
关键词:网络流量识别 网络流量管理 网络流量控制 深度报文检测 深度流行为检测
中图分类号:TP393.06 文献标识码:B 文章编号:1673-8454(2009)21-0028-03
一、前言
随着互联网的迅猛发展,宽带网络用户急剧增加;新型网络应用大量出现。上述情况导致网络流量呈几何数增长。从网络应用的特点来看,除了传统的网页浏览、收发电子邮件等数据应用之外,出现了网络电话、网络视频、网络游戏等对网络实时性有较高要求的应用,出现了P2P(Peer to Peer)下载等对网络带宽抢占能力极强的应用。除此之外,网络里面还充斥了大量的病毒等垃圾流量。对于校园网用户而言,网络带宽资源是有限的。如果不能很好地管理、控制好网络流量,一方面将导致P2P等应用流量和网络攻击病毒等垃圾流量大量抢占有限的网络出口带宽,从而无法保证网络用户关键业务的服务质量,另一方面,带宽的无谓消耗,将大大增加网络费用的支出。
因此通过适当的网络流量管理控制技术,针对不同业务制定和实施相应策略是解决带宽增长与业务收益、网络扩容与用户体验之间矛盾的关键所在。
二、校园网出口流量分析
我校校园网未做任何网络流量管理控制的出口带宽状况,如图1所示。
根据对我校校园网出口流量的详细分析,目前网络出口流量具有如下特点:
1.P2P应用占据大量带宽
P2P技术是计算机网络的一次重大突破,它打破了C/S的流量模型,采用“无集中服务器”的模式,消除了服务器的瓶颈问题。因此,当P2P软件出现,文件下载、流媒体、VoIP 语音等应用受到网络用户的追捧和青睐。由于P2P技术的特点,P2P应用对网络带宽具有极强的抢占能力。P2P技术在互联网上的应用超过了Web而成为在流量上占据统治地位的新型应用。根据图1的统计分析,我们可以看出,目前网络流量的60%以上都是P2P的应用。主要的P2P应用包括:Thunder(迅雷)、BitTorrent(BT)、eDonkey(电驴)等。
2.关键业务的服务质量无法保证
Web浏览是校园网用户的关键业务之一,Web浏览已经成为网络用户获取外部信息和进行科研工作的重要手段和内容。由于P2P应用对带宽的抢占,导致Web浏览速度大幅下降,进而引起用户强烈不满。另外网络游戏、网络电话、网络视频、流媒体等业务对网络质量要求较高。传输过程中任何一个环节出现瓶颈,都会影响应用的服务质量。例如,网络带宽不足将导致网络电话、网络视频等应用出现信号时断时续的现象,让用户无法忍受。
3.网络安全受到威胁
在过去的一年中,针对网络安全的攻击数量是前一年的两倍还多。黑客攻击手段越来越复杂,破坏程度越来越大。同时,加入黑客组织的门槛却越来越低,因为黑客工具越来越先进,操作越来越简单。随着黑客与病毒技术的发展,加上计算机性能的大幅度提升,攻击变得越来越难以控制。病毒等带来的垃圾流量导致了网络带宽的浪费同时也给网络管理员带来前所未有的挑战。
三、网络流量应用识别技术
为了对校园网络出口流量进行管理控制,首先必须能够识别网络流量的应用类型。一般情况下,我们可以通过IP包头中的“五元组”信息来确定当前流量的基本信息,如源地址、目标地址、协议类型、源端口号、目标端口号。在传统的网络中,IP路由器也正是通过这一系列信息来实现一定程度的流量识别和QoS。但随着网上应用类型的不断丰富,仅通过第四层端口信息已经不能真正判断流量中的应用类型,基于开放端口、随机端口甚至采用加密方式进行传输的应用类型在目前的网络中比比皆是。在这种情况下,传统的流量识别和QoS控制技术显得捉襟见肘。通过加大对网络流量的监控力度,可以在一定程度上比较准确地识别流量中的应用类型。目前这一领域主要有深度报文检测(Deep Packet Inspection,DPI)和深度流行为检测(Deep Flow Inspection,DFI)两大技术体系。
1.深度报文检测(Deep Packet Inspection,DPI)
DPI是深度报文检测(Deep Packet Inspection)的简称,是一种典型的应用识别技术。DPI技术之所以称为“深度” 的检测技术,是相对于传统的检测技术而言的。传统的流量检测技术仅获取那些寄存在数据包网络层和传输层协议头中的基本信息,通过这些参数很难获得足够多的业务应用信息。对于当前P2P应用、VoIP应用、IPTV应用被广泛开展的情况,传统的流量检测技术已经不能满足网络流量管理的需要了。
DPI技术对传统的流量检测技术进行了“ 深度”扩展,在获取数据包基本信息的同时,对多个相关数据包的应用层协议头和协议负荷进行扫描,获取寄存在应用层中的特征信息,对网络流量进行精细的检查、监控和分析。
DPI技术通常采用如下的数据包分析方法:
(1)传输层端口分析。许多应用使用默认的传输层端口号,例如HTTP协议使用80端口。
(2)特征字段匹配分析。一些应用在应用层协议头,或者应用层负荷中的特定位置中包含特征字段,通过特征字段的识别实现数据包检查、监控和分析。
(3)通信交互过程分析。对多个会话的事务交互过程进行监控分析,包括包长度、发送的包数目等,实现对网络业务的检查、监控和分析。
2.深度流行为检测
DFI是深度流行为检测(Deep Flow Inspection)的简称,也是一种典型应用识别技术。DFI技术是相对于DPI技术提出的,为了解决DPI 技术的执行效率、加密流量识别和频繁升级等问题而出现的。DFI 更关注于网络流量特征的通用性,因此,DFI技术并不对网络流量进行深度的报文检测,而仅通过对网络流量的状态、网络层和传输层信息、业务流持续时间、平均流速率、字节长度分布等参数的统计分析,来获取应用类型、应用状态。
3.两种识别技术的比较
两种技术的设计基本目标都是为了实现应用识别,但两者在实现原理和技术细节方面都存在较大区别,下面我们从技术原理、技术成熟度、识别准确度、识别精细程度、加密流量识别、系统处理能力等方面对两种技术进行比较,比较结果如表1所示。
从表1中我们可以看出,两种技术互有优势,也互有缺陷,DPI技术适用于需要精细和准确识别、精细管理的环境,而DFI技术适用于需要高效识别,粗放管理的应用环境。
四、网络流量管理控制技术及其在校园网的应用
通过网络流量应用识别技术区分出网络流量里面各种不同的应用类型,进而可以采用QoS控制方法。根据应用类型按策略转发,为其提供不同的服务质量。流量控制技术可以分成两个大的流派:一种是结合协议本身的设计机制,巧妙利用协议本身提供的一些机制,实现流量控制;一种是采取缓冲、队列控制的办法,强制性的实现流量控制。对于TCP/IP协议来说,TCP是面向连接的协议,提供了很多反馈控制的机制,能够端到端的控制业务的速率。而UDP只是一种尽力而为的协议,没有端到端的反馈控制能力,因此,结合协议进行流量控制将局限于TCP。对于UDP只能采取缓冲队列控制进行流量控制。
目前市场上主流的控制技术有三种:第一,以Packeteer为代表的基于TCP窗口整形的流控技术;第二,以Allot和Cisco为代表的基于队列的流控技术;第三,以华为和GreenNet为代表的基于干扰的流控技术。这些技术和产品各有优缺点,但都可以实现对应用流量的最大、最小带宽保障或阻断等控制效果。
根据前面我们对校园网络出口流量的分析,我们针对不同的应用对网络流量进行了分类,然后制定和执行相应的策略。因为策略是根据实际情况而制定的,因此也要根据不同需求进行调整。根据我们的经验,我们对策略的制定建议如下:
(1)对P2P应用流量进行分时段限制。我们知道P2P应用是网络带宽的“暴力杀手”,因此,我们必须对P2P应用流量进行限制。在网络应用高峰期间,应使P2P应用流量占用带宽不超过总带宽的30%,在网络空闲时间则放开对P2P应用的限制。
(2)保障Web浏览(HTTP)等关键应用带宽。Web浏览是校园网络用户的关键业务之一,也是网络用户网速体验最直接的应用。我们建议为其保障40%的出口带宽,以保证用户Web浏览的效果。
(3)过滤病毒和网络攻击流量。网络攻击、病毒等带来的垃圾流量不仅危害我们的网络安全,也浪费了我们宝贵的网络带宽。根据病毒和网络攻击流量的应用特征,过滤掉病毒和网络攻击造成的垃圾流量。
我校校园网络在网络流量管理控制技术应用后的出口带宽的现状,如图2所示。
从图2中我们可以看出,通过执行以上流量管理策略,各类应用都能够得到较为合理的带宽和保证,出口带宽资源得到了高效利用。在网络不是很繁忙的时段,放开P2P应用;同时Web浏览等关键应用的网络带宽也都得到专门保证。在网络繁忙时段,则把P2P应用限制在一定范围之内,优先保证关键应用的带宽。另外,过滤了病毒和网络攻击流量,既节约了带宽又提高了网络安全性。
五、小结和思考
流量管理控制技术目前的使用领域主要在于优化带宽使用,解决带宽不合理占用,网络拥塞、安全隐患等问题,以保障关键业务的服务质量和提高用户上网体验。将来,流量管理控制技术将渗透到网络的每一个环节,使未来网络成为一个可以快速、高效、准确识别网络中业务流、提供区分服务的智能网络。
在实际应用中,技术发展、用户满意度和法律法规等诸多因素都会影响流量管理控制技术在校园网的应用。因此,对一些问题必须认真思考。
1.技术缺陷。技术从来都不是完美的,都有自身较为适用的环境,都需要不断地发展完善。比如对未知P2P、加密P2P业务、隐藏在Web流量中的迅雷、私有业务的智能识别的研究目前都是流量管理控制技术的热点研究领域。因此,在实际使用中选择何种应用识别技术,以及如何保证紧跟应用技术发展的步伐,是每个网络管理员必须面对的问题。流量管理控制技术的应用势必会对网络造成一定的冲击,那么如何更好地保证网络的稳定性和业务的连续性也是网络管理员必须考虑的问题。
2.用户满意度。流量管理控制技术的应用必将影响到用户对网络资源的使用,高优先级的用户能够得到较好的网络应用服务质量保障,而对于普通用户,网络应用流量的管理势必影响到用户随意使用网络资源的行为,这将会使得大多数普通用户对校园网认可度、满意度下降,投诉率上升等负面影响。因此,在具体应用中,需要认真考虑实施策略、实施粒度等问题,及时把握用户网络使用感受。
3.政策风险。由于流量管理控制技术需要对网络中的数据流量进行深度的报文解析和数据挖掘,可能会涉及个人隐私等法律法规问题,因此,网络管理员在获得网络数据流特征信息的方式、用户数据和用户行为的挖掘深度,以及多维分析数据的合理利用方面都需要认真仔细地加以思考,尽可能规避政策法规的风险。
参考文献:
[1]马科.业务识别与管理系统和网络流量的管理[J].现代电信科技,2008(4).
[2]王超.IP网络带宽管理[J].电信技术,2007(5).
[3]杨天路.P2P网络技术原理与系统开发案例[M].北京:人民邮电出版社,2007.
(编辑:杨馥红)
