查看: 2524|回复: 0

高速骨干网流量采集与分流实现方案

[复制链接]
发表于 2014-10-21 11:38:30 | 显示全部楼层 |阅读模式
关键词: 流量采集 , 多核 , 交换 , FPGA , 流量分流
高速骨干网流量采集与分流实现方案
1      流量采集
所谓流量采集,就是将网络流量通过物理层、数据链路层的信号解析和解帧,实现IP原始报文的获取。骨干网流量采集系统是一种对骨干网进行流量获取并分析的系统,主要应用于政府网络管理、运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、公安网监、大数据分析等领域。
2      高速网络流量采集系统
随着以太网技术和光纤通信技术的应用,骨干网带宽的增长及规模的扩大,大规模的网络流量采集面临着数据规模庞大和流量日益复杂的挑战,传统的基于软件的流量采集技术的性能已然无法满足要求。现有的高速骨干网流量采集方案主要分为三类:基于多核处理器的流量采集方案,基于交换芯片的流量采集方案,和基于FPGA的网络流量采集方案。
每种方案各有特色,下文将一一进行说明。
a)       基于多核处理器的高速网络流量采集系统
多核处理器能够提供强大的并行计算能力,应用于流量采集系统的主要型号有Broadcom的XLP、XLR、XLS,Cavium的CN6880、CN5880,以及Tilera的TILE-GX36等。采用此方案的系统可编程实现流量采集,还可对报文进行修改,具有非常高的灵活性。但系统CPU的处理能力有限,无法真正实现线速处理,整体性能不会很高,但是由于有处理器的参与,比较复杂的处理,如流表的管理、应用层协议识别、Radius上线与报文绑定等功能比较容易实现。
图1.png
1 一种基于CaviumCN6880的流量采集器CDP2000
b)      基于交换芯片的高速网络流量采集系统
交换芯片的价格较便宜,且有成熟的套片解决方案可供参考。但其过滤功能非常弱,只支持非常简单的精确多元组过滤,无法做深度报文检测(DPI: Deep PackageInspection),且无法支持POS和WAN等以太网接口,这也使得基于交换芯片的流量采集方案在实际使用的范围受到限制。
c)       基于FPGA的高速网络流量采集系统
基于FPGA的解决方案目前较少,主要原因是FPGA芯片价格较贵,且需自行设计所有高速电路和过滤算法,技术门槛较高,需要深厚的研发能力。但其兼有多核系统的高灵活性和交换系统的高性能,优势也是非常明显的。
图2.png
2基于FPGA100G网络流量采集系统HFC602
1  三种流量采集方案的比较
        
      
基于多核处理器
   
基于交换芯片
   
基于FPGA
  
   
芯片价格
  
一般
  
较低
  
较高

   
硬件设计难易度
  
一般
  
较容易
  
较难

   
软件开发难易度
  
一般
  
较容易
  
较难

   
常见网络接口的兼容性
  
  
  

   
流量采集的灵活性
  
  
  
一般

   
是否实现线速处理
  
  
  
基于多核处理器+交换芯片的流量采集方案是目前应用最为普遍的方案,虽然系统整体价格略贵,但软硬件发开难度不大,入门门槛较低。
但随着FPGA的发展,其内部资源日益丰富,特别是内部嵌入了大量IP核,在处理速率、逻辑容量等方面不断提升,基于FPGA的方案受到了越来越多的关注,国内外许多研究机构及公司先后推出了基于FPGA的网络流量采集系统。
图2所示是常见基于FPGA的流量采集系统的结构图,流量采集及预处理平台获取网络端口送来的网络数据包,并对数据包进行流量统计和分析,最终根据流量分析的结果将网络数据包进行分流重新转发回网络中。系统采用硬件和软件协同实现设计思路,对于数据包的协议解析、数据预处理都由硬件电路实现;后端服务器进行流量的具体分析处理。通过预处理平台对流量进行分类归并和低负载数据传输,有效减少了后端服务器的工作量;服务器对预处理后的数据进行处理,可以有效降低流量处理过程的负载开销。
3      小结
戎腾网络科技有限公司推出的100G采集设备(采用ATCA-NTW6401机箱和HFC602业务处理板卡)是目前市面上唯一经过了实网验证的设备,10G独立机箱设备(PET160/320)是目前最大密度的协转设备,3G/LTE产品(ATCA-NTW6402)由于采用软硬结合方案(FPGA+NPU),单板处理能力达到40G bps 3G GRE/ 160G LTE,具有最高性价比。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们  -  服务条款  -  使用指南  -  站点地图  -  友情链接  -  联系我们
电子工程网 © 版权所有   京ICP备16069177号 | 京公网安备11010502021702
快速回复 返回顶部 返回列表