田立勤, 林闯[1]2003年在《报文分类技术的研究及其应用》文中认为Internet网络应用的发展要求路由器支持诸如服务质量 (QoS)、网络入侵检测、传输测量与记账、负载平衡、拥塞控制等多种不同的技术 ,虽然实现这些不同技术的细节变化可能很大 ,但一个公共的要求是路由器能够基于报文的头的某些字段对报文进行分类 从已有的研究表明 ,实现高速多维报文分类算法是非常困难的 ,它已成为路由器的新的瓶颈 ,因此吸引了许多研究人员的注意 系统论述了报文分类的相关技术 ,包括分类的模型、可能分类的字段 ,评价分类的基本标准等 ,通过对现有报文分类算法的比较和性能分析并结合分类规则所具有的特性 ,提出了设计报文分类算法所应遵循的原则和思路 ,同时还讨论了报文分类在网络技术领域中的应用和还需解决的一些相关问题
李勇[2]2007年在《园区网络流量监测系统研究与设计》文中研究指明随着网络速度的不断提高，规模的扩大，以及应用需求的多样化，网络上的数据流变得复杂而多变。这都给网络管理和维护以及网络安全提出了更新、更高的要求。网络管理软件、防火墙软件、网络监控系统等都要求能够对网络数据包进行高速采集和分类，再根据不同的包进行不同的处理。实现网络数据采集和分类的方法，从实现形态上大致可以分为硬件实现和软件实现。对于中小型中低速网络上的应用来说，硬件的实现代价一般较高，设计周期长，而软件实现则可以避免这些不足。本课题深入研究了如何用软件来实现一个功能完善的流量监测系统。本文首先分析了从事网络流量监测研究的现实意义，并仔细研究了RTFM实时网络流量监测模型，在此基础上，归结出了实现一个高性能的测量器将遇到的两个关键问题，即高速报文捕获技术与快速多维报文分类算法。然后，本文重点就集中于在研究己有实现技术的基础上，形成我们对这两个问题的解决方案。该方案包括以WinPcap技术进行报文捕获，以改进的Tuple Space Search算法NCHTSS(Non-Collision Hash Tuple Space search)为报文分类算法。在研究和实现了这些关键功能之后，本文给出了流量监测系统的总体设计与实现。
马腾[3]2013年在《面向存储优化的多域报文分类算法研究》文中研究指明随着互联网规模的日益扩大，各种新的网络应用不断涌现、网络带宽持续增长，要求路由、交换等网络核心设备提供更强的数据分类处理能力。作为防火墙、入侵检测、QoS、虚拟专用网等网络应用的关键技术，报文分类算法面临巨大挑战。规则复杂性不断增加，使得基于硬件的多域报文分类算法内存消耗量急剧上升。目前基于硬件TCAM或RAM的报文分类算法大多可以线速处理报文，但受限于高速存储器的容量，高速网络、大容量规则集环境下的多域报文分类算法必须解决内存消耗量大的问题。本文结合国家863项目“面向叁网融合的统一安全管控网络”的要求，对报文分类领域的成果进行了全面的总结，着重研究面向存储优化的多域报文分类算法，主要研究内容和创新点如下：针对复杂规则集，提出了一种基于决策树的改进的HyperSplit报文分类算法。通过分析现有多域报文分类算法内存使用量大的根本原因，修正和设计了选择切分维度与切分点、去除决策树中冗余结构的启发式方法，最大限度减少决策树中的复制规则数量，消除决策树中存在的冗余规则和冗余节点，优化决策树结构。仿真结果表明，该算法与现有多域报文分类算法相比，不依赖于规则集类型、特征，在保证内存访问次数不增加、报文得到线速处理的情况下，算法的内存使用量降低到HyperSplit的70%-80%。针对大容量规则集，提出了一种基于规则集划分的多决策树报文分类算法。在保证规则子集数量可控的前提下，采用启发式方法划分规则集，最大程度分离交迭规则；提出两级级联决策树结构，降低决策树深度以减少规则查找时间。理论分析表明，最优情况下该算法空间复杂度较传统单决策树算法降低了数倍。仿真结果表明，算法的内存使用量相比目前空间性能最好的EffiCuts算法，在规则集为FW型时，降低到不到EffiCuts内存使用量的70%，而维度可扩展性更好，而算法预处理时间有小幅增长。在基于规则集划分的多决策树报文分类算法基础上，提出了并行多流水线系统架构和一种高效的决策树到流水线级别映射算法，在保证每个时钟周期处理一个报文的基础上，实现了流水线各级别包含的节点数量和内存占用量的均衡，提高了系统内存利用率。在此基础上，充分利用FPGA并行性，设计了单片FPGA上的多引擎报文分类系统结构，从理论上分析了该系统可以达到的吞吐率和支持的规则容量，说明其可以满足目前报文分类问题的现实需求。
梁涤青[4]2008年在《校园网流量监测技术与应用研究》文中指出网络流量监测是获得网络与业务行为特征的直接手段,大量应用于协议设计、网络规划、异常监测、流量工程与性能提升等方面。随着校园网规模的不断扩大,流量监测在校园网有效管理与提高网络性能中起到了十分重要的作用。伴随网络流量监测技术的飞速发展,许多网络公司开发出一些商用流量监测工具与平台。但大多数商业产品针对Internet开发且费用昂贵;网络发展日新月异,对网络流量监测技术提出一系列新的挑战;商业产品需要根据实际情况进行具体配置,不能直接运行于校园网。因此,校园网络管理者迫切需要一种经济实用的流量监测工具,从而保障学校正常教学与科研工作的展开。本文在对流量监测相关技术进行深入研究的基础上,借鉴当前一些成熟流量监测系统的设计思想,设计了一种实用的校园网流量监测系统。主要所做的工作如下:根据校园网主要特征确定数据包采集方案,在分析现有数据包捕获技术的基础上提出一种基于NDIS的数据包捕获方法,该方法可用于100M以上校园网。选取合理的数据存储方式,并将捕获的数据包进行有效的存储;对比分析几种数据报文分类算法,将HyperCuts分类算法与ABV算法融合,形成一种新的算法AHyperCuts数据报文分类算法,利用该数据报文分类算法对数据报文进行快速高效分流;针对我校校园网特点设计出一个具有层次性的网络流量监测系统。该系统采用.Net组件编程技术将监测与管理统一集成于Web平台。引入时兴的WBM技术,方便网络管理员用任意一种Web浏览器在网络节点上对校园网进行监管。
韩伟涛[5]2014年在《多维报文分类算法研究》文中研究表明随着社会信息化程度的逐渐提高,互联网已广泛渗透到社会生活的各个领域。报文分类作为互联网的支撑技术之一,在网络测量、防火墙访问列表控制、负载均衡和网络入侵检测系统等诸多领域发挥着重要的作用。互联网规模的急剧增长给报文分类技术带来了严峻的挑战,为了解决当前报文分类算法吞吐率不足、内存使用较大和更新性能难以满足网络需求的问题,本文依托国家863计划课题“面向叁网融合的统一安全管控网络”,提出了叁种报文分类算法并设计了一种多维报文分类子系统。主要研究内容和创新点如下:1、传统的报文分类算法存在较多规则冗余,导致时间性能无法满足网络需求。针对此问题,提出一种基于动态点切分的报文分类算法(GroupCuts)。首先在分析规则集特征的基础上,通过聚类具有相似空间交叉关系的规则,划分规则集为若干子集;然后在每个子集中动态的选取规则投影点完成空间分解;最后建立多决策树查找结构。仿真结果表明,在保证算法的空间性能前提下,GroupCuts算法的内存访问较代表算法减少了约61%。2、当前报文分类算法在处理大规模复杂规则集时,空间性能不够理想,为了提高算法的空间性能,提出一种采用混合切分法的报文分类算法(HIC,Hybrid Intelligent Cuttings)。该算法首先按照IP地址前缀长度将规则集分组;然后在每个分组中根据当前切分域的特点,分别对IP域和端口域采用比特位切分法和精确投影点切分法实现空间分解;最后构建混合切分结构的决策树。仿真结果表明,HIC算法具有较好的规则集适应性,其内存使用比代表算法减少了约74%。3、针对当前报文分类算法增量更新性能不足问题,提出一种基于前缀划分的报文分类算法(PreCuts)。该算法根据规则IP域的特点,依次采用叁种启发式方法建立具有叁层查找结构的决策树。在第一层中,按照规则IP地址的最高Byte分组规则。在第二层中,将具有相同IP前缀长度的规则划分到同一个分组。第叁层决策树采用前缀比特位划分法,选取相应的划分比特将规则集划分为不同的子集。PreCuts算法所采用的启发式方法不会引入规则复制,算法查找结构中不存在冗余规则,因此增量更新不会降低算法的时间和空间性能。仿真结果表明,与代表算法相比,Pre Cuts不仅在时间和空间性能上有所提升,并且增量更新性能提升了50%以上。4、针对当前报文分类系统对网络中大容量、复杂规则集适应性不足的问题,结合本单位叁网融合业务安全管控的要求,设计了一种基于FPGA的多维报文分类子系统。该系统采用二维流水线架构,提高了系统的运算性能,使其可以处理网络中大容量、复杂规则集。测试结果表明,该系统能够达到60Gbps的报文分类速率,很好的满足了当前叁网融合网络管控的需求。
黄腾[6]2016年在《高性能报文分类算法的研究与实现》文中研究指明报文分类作为实现网络安全和QoS路由的核心技术,在近几年有着很高的关注度。虽然目前已有很多基于软件的报文分类算法,但他们或是需要很长的预处理时间,或是有着令人无法接受的内存占用,因此这些算法并没有太大的实用性。基于硬件的解决方案如TCAM,较于这些软件算法来说有着更高的效率,但TCAM经常达到自身的容量限制。因此,在大带宽环境下为海量规则集设计一个实用的报文分类算法仍然是一个十分具有挑战性的工作。在这篇文章中,为了应对这个挑战,我们提出了一个新的报文分类算法来处理海量规则集,这个算法叫做公共掩码树(CMT)。和目前存在的算法不同,我们提出的CMT同时具有理想的预处理时间,查找时间和内存占用。此外,CMT还支持不连续掩码的规则和任意维度(如100维)的规则集。我们在一个具有60Gbps最大吞吐率的平台上全面测试了 CMT的性能,结果显示CMT可以在2分钟内预处理一千万条由ClassBench生成的规则,同时具有2.7GB的内存占用和40Gbps的查询速率。
王艳秋[7]2007年在《IP报文分类技术研究》文中认为IP报文分类技术能够根据事先设定的规则将IP报文分成不同的数据流,是对各业务IP报文进行不同处理的基础,在为用户提供QoS保证、维护网络安全或截获非法用户信息等方面均有重要研究价值。结合国家863重大课题“军用IPv6试验网(MNGI)”,本文深入研究了IP报文分类技术,针对IP报头的固定位置关键词过滤和IP负载的浮动位置关键词过滤,提出了基于范围映射和定值映射的五维报文分类算法以及快速跳跃的Wu-Manber多模式精确字符串匹配算法,并初步设计了一种可硬件实现的IP报文截获方案。本文的主要工作如下;1.在分析了经典多域报文分类算法的基础上,通过融合近年出现的等级空间映射算法和无冲突哈希算法的思想,针对需要消耗较大内存的递归流分类(RFC)算法进行了改进,提出了基于范围映射和定值映射(MRGP)的五维报文分类算法。实验结果表明,在附加了一个可接受的查找时间增长之后,MRGP算法减少了RFC算法在实现过程中对空间的较大需求,平衡了时间和空间性能。2.在分析了经典字符串匹配算法的基础上,通过融合近年相关研究人员的思想,讨论了Wu-Manber(WM)算法中可能提高查找速度的关键点,在模式集合规模较小的情况下对WM算法进行了改进,提出了快速跳跃的Wu-Manber(FSWM)多模式精确字符串匹配算法。实验结果表明,与WM算法相比,当模式集合的规模较小(不超过1500个模式)时,FSWM算法提高了SHIFT表的查找效率,加快了算法匹配速度。3.在分析了当前报文分类实现技术优缺点的基础上,初步设计了一种可硬件实现的IP报文截获方案,用于实现对IP报头的五维过滤和对IP负载的多关键词过滤。鉴于“MNGI”项目着重解决对IP报文的初级过滤问题,本文对该方案的初级过滤进行了功能验证。结果表明,该方案能够准确截获IP报文,实现对IP报头的初级过滤。
李林[8]2008年在《防火墙规则集关键技术研究》文中研究指明随着互联网的迅速发展，防火墙包含的规则数目变得越来越多。这种情况，通常会带来两方面的问题。第一，规则数目的增多，对规则匹配的效率提出了挑战，规则匹配已经成为防火墙的一个性能瓶颈点。第二，由于规则集中冲突规则的存在，规则数目的增多，使得有效管理防火墙规则集变得越来越困难。要解决这两方面的问题，通常需使用以下几项关键技术：规则匹配技术、规则冲突检测技术、规则冲突消除技术、规则正确性配置技术。研究人员针对以上技术，提出了相应的算法。这些算法在提高防火墙吞吐率、降低规则集管理难度等方面，取得了一定效果，但仍然存在不少缺陷，有待于进一步改进和完善。因此，目前仍有必要对防火墙规则集关键技术进行研究。本文深入细致地研究了规则数目增多所带来的问题，全面地分析和总结了防火墙规则集关键技术的研究现状，以及未来的发展趋势，取得了若干创新和成果。本文的主要创新点如下：第一，提出了一种快速的高维报文分类算法。在规则匹配技术，即报文分类技术方面，在BSOL(Binary Search On Leaves)算法基础之上，本文提出了一种快速的高维报文分类算法MCBF(Multi Cuttingsand Bloom Filters)。与BSOL算法不同，MCBF算法在对规则空间进行分解时，同时切割所有维，并将叶子规则空间存储在相关的哈希表中；MCBF算法为每个哈希表构建一个Bloom Filter，而这些Bloom Filter被存储在片内SRAM中。当分类数据包时，MCBF算法并行地访问Bloom Filter，并根据其结果决定如何访问哈希表。理论分析和仿真实验表明：MCBF算法能正确地分类数据包；当分类一个数据包时，MCBF算法的哈希表平均查询次数为1，远小于BSOL算法；最坏情况下，MCBF算法的哈希表查询次数为O(log(w_(max))+1)，其中w_(max)是最长维的域长。对于常见的规则集类型和高维环境而言，该值通常小于等于BSOL算法在最坏情况下的哈希表查询次数。第二，提出了一种基于位向量交集运算的规则冲突检测算法。在规则冲突检测技术方面，针对现有冲突检测算法效率不高这一情况，本文在ASBV(Aggregated S Bit Vectors)算法基础之上，提出了一种基于位向量交集运算的规则冲突检测算法DBBV(Double Binary Bit Vectors)。同ASBV算法类似，DBBV算法也采用了分治思想和位向量技术。但与ASBV算法不同，在每一维规则分量的处理过程中，DBBV算法只需要进行一次位向量交集运算，而ASBV算法需要进行多次位向量并集运算；DBBV算法支持以范围形式表示的规则集，而ASBV算法只支持以前缀形式表示的规则集。理论分析和仿真实验表明：DBBV算法的冲突检测性能优于ASBV算法。第叁，提出了一种基于切割映射的冲突消除算法。在规则冲突消除技术方面，针对现有规则冲突消除算法不能彻底消除冲突这一问题，本文提出了一种基于切割映射的冲突消除算法RCBCM(ResolvingConflicts Based on Cutting Mapping)。RCBCM算法对不同的冲突类型，采取不同的处理方法；并以两条冲突规则为基本处理对象，在其冲突消除过程中，顺序切割优先级较低的规则的每一维分量。理论分析和仿真实验表明：在增加少量规则的代价下，RCBCM算法能彻底消除冲突。第四，提出了一种基于规则交集运算的规则集比较算法。在规则正确性配置技术方面，针对应用于Diverse Firewall Design环境的现有规则集比较算法，效率不高这一情况，本文提出了一种基于规则交集运算的规则集比较算法RSCBRI(Rule Sets Comparing Based on Rules Intersection)。RSCBRI算法首先使用RCBCM算法对规则集进行预处理，将规则集比较问题，转换成多维空间中的图形比较问题：然后利用规则交集运算，判断图形所占区域和颜色是否一致，进而确定规则集是否等价。理论分析和仿真实验表明：RSCBRI算法能检测出规则集之间的不同点，且时空效率优于现有算法。
孙毅, 刘彤, 蔡一兵, 胡金龙, 石晶林[9]2007年在《报文分类算法研究》文中认为阐述了互联网络中报文分类问题的定义、几何意义和最新研究进展。从报文分类算法的实现特征出发,对报文分类问题的各种经典算法进行了分类并逐类地详细介绍。通过对几种典型算法在虚拟环境下进行评测,总结了各种报文分类算法的优缺点和适用环境,并就报文分类问题的研究方向作出展望。
王进博[10]2006年在《业务选择网关中IP分类算法研究与设计》文中指出随着Internet在世界范围内的迅速发展和成熟，网络服务进一步细分并向个性化服务的方向发展，在日趋多样的服务和对客户提供个性化服务的需求背景下，业务选择网关应运而生。本文的选题来自于业务选择网关研究项目，在业务选择网关的设计中，IP分类算法是影响整个业务选择网关系统性能的关键因素之一。本文对业务选择网关的总体设计进行介绍，分析研究前人经典算法，针对业务选择网关对IP分类的具体要求和业务选择网关的应用环境特点，在对其规则库进行分析和化简以及对流入业务选择网关的数据包特点进行分析的基础上，分别对入口分类模块和出口分类模块设计了两种以哈希查找算法为核心的分阶段查找算法，对这两种算法分别进行理论上的性能分析，并提出分类模块在Linux系统下的实现方案，对实现时的主要技术难点进行介绍，在Linux环境下对两种分类算法进行仿真测试。
参考文献：
[1]. 报文分类技术的研究及其应用[J]. 田立勤, 林闯. 计算机研究与发展. 2003
[2]. 园区网络流量监测系统研究与设计[D]. 李勇. 合肥工业大学. 2007
[3]. 面向存储优化的多域报文分类算法研究[D]. 马腾. 解放军信息工程大学. 2013
[4]. 校园网流量监测技术与应用研究[D]. 梁涤青. 长沙理工大学. 2008
[5]. 多维报文分类算法研究[D]. 韩伟涛. 解放军信息工程大学. 2014
[6]. 高性能报文分类算法的研究与实现[D]. 黄腾. 国防科学技术大学. 2016
[7]. IP报文分类技术研究[D]. 王艳秋. 解放军信息工程大学. 2007
[8]. 防火墙规则集关键技术研究[D]. 李林. 电子科技大学. 2008
[9]. 报文分类算法研究[J]. 孙毅, 刘彤, 蔡一兵, 胡金龙, 石晶林. 计算机应用研究. 2007
[10]. 业务选择网关中IP分类算法研究与设计[D]. 王进博. 西安电子科技大学. 2006