网络流量统计模块及实验结果分析范文

本站小编为你精心准备了网络流量统计模块及实验结果分析参考范文，愿这些范文能点燃您思维的火花，激发您的写作灵感。欢迎深入阅读并收藏。

摘要:路由器是接人网络的关键设备，为了防止网络流量过大而造成网络拥塞的状况，设计了一种在路由器上的网络流量控制系统。DD-WRT是一种开源的路由器固件，对DD-WRT重新定制开发，可以实现用户自己想要的一些功能。介绍了一种基于DD-WRT实现的网络流量统计和控制系统，介绍了系统捕包、流量统计和流量控制的一般流程，同时着重介绍了针对网络应用的流量统计和控制方法。系统采用嵌人式Linux编程，实现了在开源路由器中对网络流量进行控制的功能，并有效地防止了网络拥塞。

关键词:开源路由器流量统计流量控制网络应用网络拥塞

目前，在局域网接人互联网的方式中，接人路由器是其中的一种关键设备，所以在接人路由器中实现对局域网访问外网的流量进行控制是一种较为有效的方法。虽然商业路由器能够实现流量控制的基本功能，但固件的更新慢，可扩展性差，不能适应因网络应用不断丰富而对流量控制个性化实现的要求。而且，商业路由器源代码不公开，因此不能由第三方软件开发者开发特定软件。而目前出现了多种开源的路由器软件，可以运行在某些特定型号的路由器上。因此可以在开源路由器软件的基础上，根据需求实现流量控制功能的定制开发。

DD一WRT，就是其中一种开放性的路由器固件，它其实就是一个供无线路由器使用的嵌人版Linux，它可以采用Broadcom公司CPU的小型无线路由器实现数千元的商用无线路由器功能，而且人们甚至可以自行编译程序，自由扩展无线路由器功能。

本系统在DD一WRT原有功能的基础上扩展开发了流量统计和控制的功能，通过查看网络流量状态，并对带宽进行分配来控制网络流量，从而有效地解决了网络拥塞的问题。

1、总体方案设计

现在一些小区、楼层、小的企事业单位，由于人们大量的下载上传以及P2P的普遍使用，并且缺乏一种规范的管理机制，所以经常导致网络流量激增，甚至拥塞。因此针对这种情况，设计一种能查看网络流量状态，并对其进行有效控制的基于开源路由器的流量控制系统。

系统主要分成三个部分设计:数据包捕包模块、流量统计模块和流量控制模块。为了有效捕获数据包，捕包模块采用pf_ring的环形缓冲区捕包机制。流量统计功能可按IP地址、端口号和应用协议三种方案进行统计。当网络发生拥塞时，在流量控制模块中动态地调用TC(TrafficControl)来对网络流量进行控制。系统的基本流程如图1所示。

2、关键技术

2.1pf_ring捕包机制

针对传统libpcap}捕包处理时间长、效率低的缺点，采用了一种新的基于环形缓冲区的套接字模型pf_ring。它的主要工作原理如下所述:

采用PF_RING技术，操作系统将包采用DMA方式拷贝到内核缓冲区的环形队列中，再把网卡缓冲区中收到的这些包丢弃，不把它们传人内核协议栈缓存区中进行排队。环形缓存区在每个套接字被建立时分配，直到套接字关闭时，环形缓存区才被释放。每次由网卡缓存区拷人内核环形缓存区时，不会进行分配和去配的操作，而是新到的包按环形的方式，将原有的包覆盖。PF_RING技术还提供了对MMAP技术的支持。该技术将用户应用程序空间映射到内核缓存区，从而省略了将数据从内核缓存区向用户缓存区的拷贝操作。这样可以节省一次拷贝所占用的系统资源和缩短包处理的时间，从而提高了捕包的效率。

2.2流量统计方案

(1)按照IP地址汇聚。

系统对源和目的IP地址进行流量汇聚，统计出各IP地址单位时间内的上行流量和下行流量。这种统计方式能反映出本地各主机、各网段的网络负载情况，系统可以此为依据，进行路由调整及流量控制。

(2)按照端口号汇聚。

TCPiLJDF''''的端口号代表网络上的不同应用(HTTP,F"IP,P2P等，按照单位时间内访问的TCP/UDI〕端口来统计流量，可以查看各端口的流量分布情况，当网络出现异常时，可按照端口号来进行流量控制。

(3)按照网络应用汇聚。

常规的网络应用一般通过常用的端口就可以识别，并进行流量统计，然而P2P技术不断地发展演进，其拓扑结构从最初的集中式发展到纯分布式再到目前的混和式架构，其端口特性也由最初的固定端口发展到随机动态端口再到伪装端口。所以，系统对应用进行统计，主要是对P2P应用的解析统计。

对P2P应用的解析，首先是经过以太网解析，获取IP数据包，然后再通过网络层和传输层解析，得到源目的IP地址、源目的端口、传输层协议类型和完整的payload信息。由于P2P协议一般动态使用非知名端口进行通信，因此仅仅根据端口来检测P2P流是不准确的，必须进行应用层协议识别。在应用层识别过程中，根据协议格式以及消息里的特征字符串，采用深度包检测(DPI)方法来识别P2P业务。深度包检测时采用模式匹配方法查找特征字符串。例如，可以根据特征字符串“0x13BitTorrentprotocol”检测出Bit-Torrent协议数据包，根据特征字符串“Oxe319010000"检测出eDonkey2000协议数据包。根据网络应用统计流量就是要按照这些特征字符串来进行流量汇聚。同时，解析P2P协议，也为按应用进行流量控制提供了一种可靠的手段。

2.3带宽分配机制

Linux内核提供了强大的带宽管理代码，它主要使用规则过滤工具netfilter/ipbrs和路由工具包的流量控制命令TC相结合的方式来进行带宽控制。

netfilter/ipbrsIP信息包过滤系统实际上是由两个组件netfilter和ipbrs组成的。netfilter组件被称为内核空间(Kernel印ace)，是内核的一部分，主要由一些信息包过滤表组成，这些表中包含内核用来控制信息包过滤处理的规则集。ipbrs组件则是一种规则过滤工具，它称为用户空间(UserSpace)，主要用于插人、修改和除去信息包过滤表中的规则。

TC是Linux环境下一种功能强大的网络流量控制软件，它可以分为三个部分:队列策略((,lueueDisci-pline)、分类器(Classifier)和过滤器(Filter)。队列策略实质是一些算法，控制如何处理进入队列的报文。队列策略算法主要有FIFO(先进先出),RED(随机早期探测)、CBQ(类基队列)和HTB层次令牌桶)等。过滤器按照过滤条件，将数据报进行分类处理。一般来说，数据报的处理步骤如下:队列策略对数据报文进行调度，过滤器根据报文信息来决定把它放人到哪一个类中。在不同的类中，每个类也包含一个队列策略，同样进行调度、分类，将报文按照既定的规则排序发送出去。

3、系统实现

3.1捕包模块

模块采用pf_ring套接字的方式，用户层通过调用socket(PF_RING,SOCK一RAW,tons(ETH_P_ALL))建立一个PF_RING类型的、ket，并返回一个套接字描述符。接着调用bind(fd,(structsockaddr*)&sa,sizeof(sa))将。cket绑定到本地IP和端口。sock-et和bind实际上分别调用了ring_create和ring_bind,而这两个函数的作用就是为套接字创建一个环形缓冲区，然后将其绑定到一个设备上。通过建立的PF_RING套接字就可以进行数据传输了。由于用户空间采用了直接访问内核空间的环形缓冲区的方式，所以效率比原来的libpcap有了明显提高。之所以称之为环形缓冲区是因为在连续的内存中有一个F1owSlotIn-fo结构，该结构中包含了描述环状缓存的基本信息，插人删除都是循环操作的。当有数据包被网卡接收时，通过add_skb_t。一ring来实现将sk_buff插人到环形缓冲区，从skb一>data中读取一个数据包头结构，然后使用~cpy直接将insert_slot处内存覆盖。

3.2流量统计模块

通过捕包模块获取数据包及其信息。通过IP地址，统计出各IP以及各IP网段的网络数据流量，并统计出总的上行和下行流量。通过端口，统计出TCP/UDP源和目的端口的流量。通过应用层payload字段的字符串特征符来统计相应网络应用的流量。当总体流量超过一定的限定值，而引起网络拥塞时，根据具体情况，选择以上流量统计中的一种作为依据，动态地调用TC，对网络流量进行控制。

3.3流量控制模块

流量控制的基本步骤为:(1)针对网卡建立一个队列;(2)取出数据包源/目的地址、源/目的端口、协议类型五元组信息;(3)通过DPI对到达的数据包进行识别;(4)根据用户要求，使用netfilter/ipbrs匹配功能，为匹配到的数据包打上mark值;(5)在这个建立的队列上再建立分类;(6)设置过滤器为每一分类建立选路，使数据流进人相应队列，并分配带宽;(7)数据包调度。

以下是对BT流量控制〔12]进行设置的一个例子。

ipbrs设置:

ipbrs一APREROUTING一tmangle一ptcp一mBT一J一set一mark1//''''"}BT连接标记为“1"

TC设置:

tcqdiscadddeveth0handle1:0roothtb//创建HTB的根队列策略

tcclassadddeveth0parent1:0classid1:1htbrate95000kbpscell95000kbps//设置主类带宽

tcclassadddeveth0parent1:1classid1:2htbratelOkbpsceil80kbpsprio3//建立一个BT子类，设置带宽在l0k到80k之间

tcqdiscadddeveth0parent1:2handle1:2:1pfifo//对BT、子类建立FIFO队列策略

tcfilteradddeveth0parent1:0protocolipprio100handle1fwclassid1:2//设置过滤器，将标记为“1”的BT包送到1:2这个类中

采用HTB规则为以太网卡绑定一个主队列，并创建根分类，然后可以选择通过IP地址、端口号或网络应用分出子类，之后结合ipbrs的mark值进行过滤，数据流进人相应分类的队列。但是为了保证网络用户的基本使用，系统对一些常规的业务直接输出，而不作控制。流量控制流程图如图2所示

4、DD一wRT的流量控制功能定制

定制步骤如下:

1）下载固件解压和压缩工具的源代码fimiware_moc}一tools.tar.gz，解压并编译这个工具;

2)下载固件dd一wrt.v24_std_generic.bin，使用firmware_tools解压，生成目录dd-wrt;mod

$/extract_firmware.shdd一wrt.v24_std-generic.bindd一wrt/

3)修改dd一wrt固件，将流量控制程序添加进dd一wrt目录中;

在目录dd-wrt中有两个目录文件，一个是im-age_parts，一个是~tfs。其中image_parts中保存的是固件的引导内核，rootfs中保存的是固件中的文件。直接在roots中添加流量控制程序。

4)重新打包dd一wrt固件，将其保存到new_ddwrt中;

$./build_firmware.shnew_ddwrt/dd一wrt/

5)将定制好的DD一WRT固件下载到路由器中，刷新路由器固件;

6)重新启动路由器就可以实现路由器的新功能了。

5、实验结果分析

在实验中，根据流量统计数据，分别画出控制前和控制后的总体流量、P2P流量和HTTP流量曲线图。

根据控制前后图像对比，系统有效地控制了网络数据流量，并且保证了常规数据流的通信。

6、结束语

本系统通过对DD一WRT的重新定制，添加了流量统计和流量控制功能。系统的主要创新点在于:添加了对网络应用流量进行统计和控制的功能，这在一定程度上有效地控制了异常流量的发生，并且保证了常规流量的正常通信。