姜彩萍[1]2004年在《互联网高速缓存系统构建和性能分析》文中进行了进一步梳理在网络技术飞速发展的今天，Internet已经成为信息社会的基础载体。统计资料表明基于HTTP的Web流量已经占Internet总流量的75～80％，而且这个比例还在继续上升。然而HTTP业务是基于客户/服务器模式的，本质上是不可扩展的。对同一个Web服务器大量访问的结果是使主干网络和服务器所在的网络都变得拥挤，使用户等待时间过长，甚至导致服务器过载而不可访问。互联网的内容分发网络CDN(Content Delivery Network)采用缓存、复制、负载均衡、先进路由和请求重定向等技术，将信息资源推向网络边缘，使用户可以从“最近最好”的服务器上快速访问到所请求的数据，从而节省主干带宽，减轻源服务器负载，使终端用户的访问速度和服务质量得到极大提高。CDN是一个比较新的概念，其目的是通过在现有网络层次结构上，增加一层新的网络构架，构筑一个地理上分布的内容分发网络，专门用于加速网络访问。CDN的实现需要依赖多种网络技术的支持，其中主要的有缓存技术、动态内容分发与复制技术、负载均衡技术等。可见，Web缓存技术是CDN的基本技术和主要技术之一，研究Web缓存技术、构建缓存系统并分析研究缓存系统的性能是实现互联网上的CDN必不可少的重要技术环节。本文对CDN技术、Web缓存技术原理及当前流行的Web缓存协议——ICP（Internet Cache Protocol）进行了深入的理解和研究，从体系结构的角度出发，讨论了构建缓存系统的由简单到复杂的实现方法：单服务器高速缓存系统、分布式高速缓存系统、层次式高速缓存系统和高速缓存网络，并讨论了各种实现方法的优缺点。在讨论了评价高速缓存系统的性能指标后，设计实现了一种集中管本课题获得国家自然科学基金“基于Internet的高速缓存系统”（基金号：60103005）资助
邓世权[2]2012年在《基于Memcached的高速缓存功能扩展研究》文中提出随着计算机技术的不断发展,缓存技术已经得到了广泛应用。近年来,互联网的普及,导致了互联网用户剧增,高速缓存技术更是成为了研究的热点。高速缓存技术的应用,可以有效提高系统的响应速度,降低网络带宽消耗,减少网络阻塞,从而解决数据量大、信息更新频繁所导致的问题。良好的缓存架构方案是大型互联网应用系统实现海量数据处理、多用户并发访问以及提供良好用户体验的关键。本文分析了当前常用的缓存技术及其产品的特点,深入分析了高速缓存系统Memcached的架构方案、工作原理以及内部实现机制,并在此基础上,针对Memcached存在的缺陷和不足,对其功能进行了扩展和改进。通过Memcaced源码分析,进一步扩展了缓存数据遍历、数据持久化以及系统日志等功能。在扩展功能实现的过程中,使用了工厂设计模式,降低了持久化模块接口之间的耦合度；同时,通过引入批量数据保存策略,有效地减少了磁盘I/O开销,并采用多种数据保存接口触发机制来增加系统数据的可靠性、安全性。在缓存数据遍历设计中,采用了数据分批发送的方式来降低内存开销。最后,本文采用黑盒测试技术,以人工测试和自动化测试相结合的方式对系统扩展的相关功能进行了验证性测试,并分析了其性能。测试结果表明,扩展功能不仅有效的弥补了Memcached在功能设计方面的的不足,丰富了其应用,同时,新增功能并不会增加太多额外的开销,完全能够和以前的功能融合在一起协同工作。
赵鲲[3]2008年在《基于异步驱动的双机TCP代理的研究与实现》文中指出随着互联网技术的迅猛发展,计算机网络在人们社会生活中的各个领域发挥着越来越重要的作用。特别是互联网的不断推广应用,计算机网络技术成为人们所关注的全球性热点问题之一。在各种网络技术应用中,传输代理技术因为其在网络安全、链路优化以及网络性能加速的作用,成为了一个重要的网络研究分支。论文首先介绍了课题研究背景、目的及研究内容,在研究和比较单机TCP代理系统的基础上,设计了一个基于异步驱动的双机TCP代理结构模型,并为该结构模型提出了一个异步驱动双机TCP代理有限状态机,使得该结构可以运用到诸如安全隔离控制、基于传输代理的内容缓存以及特定链路传输优化等多个应用场景。异步驱动双机TCP代理结构模型由两大部分组成:双机TCP代理模块和异步I/O驱动模块。以该模型为基础,采用异步I/O驱动机制,对双机TCP代理的实现进行了深入研究,并结合一个网络隔离系统的实际需求,实现了一个支持双机网络隔离系统透明TCP代理原型系统。根据模型设计测试案例对原型系统进行测试和分析,测试结果验证了本文提出的双机TCP代理模型的可行性及正确性,同时测试结果表明该模型具有良好的性能表现。虽然本文主要在网络隔离系统中实现并验证了本文所提出的异步驱动双机TCP代理模型,但是该代理模型具有一定的通用性,在网络安全和网络性能优化等多种场景中,通过适当调整模型结构,都可以作为一种代理模式的基础得到应用。
祝幸辉[4]2017年在《云物联平台的数据汇聚与存储方法研究》文中认为物联网与云计算相结合形成云物联平台,云计算为物联网应用提供虚拟化、存储、计算等支撑服务。数据是云物联平台应用的基础与核心,海量多源异构物联网数据汇聚和存储具有实时性、安全性、可扩展性等基本需求。本文聚焦在海量异构云物联数据的汇聚与存储方法,解决因协议不一致而导致的多源数据汇聚问题,因数据类型不一致而导致的异构数据存储问题。针对协议不一致而导致的多源数据汇聚问题,提出一种异构网络协议适配及数据汇聚方法。在物联网虚拟网关设置协议适配层,实现对多种类型数据汇聚协议的兼容性,保证了不同类型物联网节点的自适应接入,在此基础上,通过统一的接口将数据传输到云物联平台,屏蔽了物联网传感设备的差异性。针对数据汇聚过程中存在设备伪造、恶意篡改等问题,提出了基于“Apikey”的物联网设备的快速认证及数据存储方法,将设备认证密钥Apikey植入虚拟网关的协议适配层,实现了物联网节点的源认证,保证了数据的真实性。针对数据类型不一致而导致的异构数据存储问题,利用关系型数据库、NoSQL数据库以及分布式文件存储系统的优势,提出一种海量物联网数据混合存储体系结构和异构数据分类存储方法。混合存储体系结构具有可扩展性,同时保持了传统数据存储系统的可操作性、NoSQL数据库的灵活性、云存储的容错性,异构数据分类存储方法综合考虑多种存储技术的优点,利用分布式缓存、负载均衡等技术,提升了云物联数据存储效率,保证了物联网应用要求的实时性。分布式高速缓存系统命中率达90%以上,物联网传感数据存储响应时间降低到毫秒级,比传统的方法快3倍,汇聚存储系统能够满足百万级传感设备的接入和存储需求。基于所研究的技术与方法,设计并实现了一套云物联平台多源数据汇聚和异构数据存储系统,通过系统测试,验证了所研究方法的可行性。开发的平台应用于智能家居、停车管理、智慧照明、设备管理等云物联应用系统,验证了所研究技术和方法的实用性。
祁晖[5]2015年在《动态车载导航系统关键技术研究》文中研究指明移动互联网的发展使得车载导航系统从静态自主式转向动态协作式。原有封闭独立的体系结构被打破，取而代之的是一种更加开放的体系结构。同时，大量便携式智能终端设备的涌现使得导航系统不仅能运行在车载终端上，也能运行在智能手机、平板电脑等支持互联网接入的智能终端上。导航系统正逐渐演变成一种用户可以随时随地使用的服务。这些变化将给导航系统带来更多的技术挑战，从系统架构设计到一些关键技术实现以及应用模式，都需要做出适当调整以解决新的问题。本文首先分析了动态车载导航系统的核心需求：地图显示、导航和路线规划，然后运用Event-B形式化建模方法对系统进行建模分析。在模型精化过程中，论述了相关数据结构及流程的建模方法。模型经过4次精化，实现了所有的核心需求。将每个精化模型导入Rodin平台，所生成的证明义务全部证明成功，表明该模型在理论上是正确的。之后以模型为参考，设计了导航系统的软件架构，从逻辑视图和过程视图两个角度对系统进行非形式化描述，系统开发人员可在该架构的基础上设计并开发出正确的系统。接下来，本文重点研究了动态车载导航系统的地图缓存技术、地图匹配技术和智能信息处理技术。关于地图缓存技术，本文为动态车载导航系统设计并实现了一种基于二级地图分块的缓存系统。该系统包含索引文件、数据文件及相关程序。对缓存系统的索引文件结构、数据文件结构以及专门针对稀疏矩阵的高速缓存结构进行了详细设计，并在这些数据结构的基础上形成了管理缓存的有效策略。实验结果表明该缓存系统对于加快动态车载导航系统的响应速度，减少网络传输数据量具有良好作用。本文还研究了缓存预取策略，该策略通过分析车辆行驶前方的路网和路口模式来预测车辆的行驶轨迹，将此预测结果与启发式预取策略的预测结果相结合，从而得到更准确的预测结果。实验表明，该缓存预取策略进一步改善了启发式预取策略的性能，有效减少了系统所需的地图分块数量。关于地图匹配技术，本文分析了各种地图匹配算法，确定了影响地图匹配性能的关键是路口匹配，并对路口匹配问题做了深入研究，提出了路口决策域模型。该模型主要参考与路口相连的路段宽度、路段夹角、车载GPS精度以及路网数据精度等信息。本文利用此模型对基于隐马尔科夫模型（HMM）的地图匹配算法做了改进。实验结果表明，改进后的匹配算法能够有效降低路口匹配错误率，提高导航系统导航的稳定性。此外，为了解决延迟匹配问题，本文分析了车辆的转向特征，设计了车辆转向识别方法，并利用该方法改进了基于路口决策域模型的地图匹配算法，缩短了匹配点停止于路口的时间。关于智能信息处理技术，本文应用机器学习技术对车辆转向识别方法做了改进。探索了两种建立车辆转向识别模型的学习方法：第一种方法首先应用改进的K-means算法对训练数据进行快速聚类，然后应用SVM算法建立识别模型，最后应用F-measure方法评价模型的识别性能并选择最优的模型；第二种方法应用基于多维高斯分布的异常检测算法建立识别模型，之后应用F-measure方法确定模型参数。实验结果表明应用这两种方法构建的车辆转向识别模型均具备较好的泛化能力。基于以上研究成果，本文设计并实现了基于动态导航系统的车辆转向识别学习系统，并将此系统应用于基于路口决策域模型的地图匹配算法，在一定程度上解决了延迟匹配问题。
涂冬明[6]2019年在《高速铁路接触网在线监测系统实时数据库关键技术研究》文中研究表明在高铁接触网安全评估体系和科学维护体系的建设过程中,铁路行业中使用的传统实时数据库系统已经不能满足接触网状态在线监测中海量实时数据的处理需求。为解决存在的问题,本文对接触网在线监测系统的应用场景和需求进行了详细的分析,结合分布式系统和实时数据库的相关理论和技术,设计了适用于接触网在线监测的分布式实时数据库系统架构和服务模型。通过研究分布式缓存、分布式消息队列、分布式历史数据存储等机制提高了系统的扩展性、实时性和可靠性。具体研究结果如下:(1)分析现有铁路行业传统实时数据库的问题和接触网在线监测系统的实际需求设计了系统的架构和服务模型,提出基于Raft带负载评估的主从节点选举策略在负载不均衡情况下选举出可靠的节点。(2)针对分布式实时数据库系统的实时性特点,设计了本地高速缓存队列和分布式消息队列,提高系统的高并发、大数据场景下的处理能力和数据容灾能力。提出了基于Redis的分布式数据缓存系统满足了海量实时数据的即时查询需求。(3)针对海量历史数据存储和快速查询的需求,设计了基于OpenTSDB的海量历史数据存储服务。通过引入Elasticsearch搜索引擎解决OpenTSDB在多条件组合查询效率低下的问题。在实验室环境下的一系列测试显示本文设计的接触网在线监测实时数据库系统达到了预定的目标,并通过实际案例验证了其功能。
余鑫宇[7]2012年在《重庆联通P2P缓存系统的研究与实践》文中研究说明随着BitTorrent(以下简称BT)等一系列P2P应用的兴起,网络流量犹如洪水到来,互联网服务提供商(Internet Service Provider,以下简称ISP)正在面临巨大的网络带宽压力。据统计,目前我国互联网P2P流量已占总流量的70%左右,而以BT为主的P2P下载流量已占P2P总流量的50%。P2P流量流量的增长不但造成了运营商的出口带宽拥塞,影响了其他应用的流量,造成运营商扩容成本居高不下,而且P2P流量中含有一些损害运营商自己的PSTN和移动电话收入的非法VOIP业务(比如SKYPE等),这些业务将飞速替代传统的语音业务,导致运营商话务业务出现低迷现象。值得注意的是,P2P技术导致版权的保护变得十分困难,对传统的通信行业和文化传媒行业(版权)带来了巨大冲击。因此为了解决BT等应用带来一系列问题,ISP通过充分挖掘基础网络设备功能来达到最基本的效果。本论文主张采取正确引导P2P流量的策略的方法,借鉴Web Caching技术与CDN内容分发网络技术的基本原理,提出设置P2P内容缓存服务器的方法和关键技术。首先将用户请求的内容转移到P2P内容缓存服务器中,然后再通知用户到P2P内容缓存服务器中下载,尽量将P2P流量控制在ISP网络内部,从而有效控制ISP出口网络带宽拥挤的状况。同时,实现了网络运营商对P2P内容的监管,为P2P技术推动互联网健康快速的发展起到了重要的作用。经过P2P缓存系统的研究和实践,重庆联通的P2P流量引导控制取得了一定的成果。骨干出口流量压力方面：在应用P2P缓存系统前,重庆联通公司骨干出口的P2P流量在总流量的占比为75%左右；应用P2P缓存系统后,骨干出口的P2P流量在总流量的占比为40%左右。该系统缓解了骨干出口扩容压力,提高了骨干流量的利用率。用户体验方面：在应用P2P缓存系统前,用户外网视频缓冲较慢和下载速率偏低。应用P2P缓存系统后,用户外网视频缓冲较快和下载速率非常快。该系统优化了宽带用户的视频、下载等P2P应用的极速体验,提高公司宽带产品的市场竞争力,为提升公司效益、巩固市场占有率和自身可持续发展提供了保证。
谢才炳[8]2007年在《基于iSCSI协议的IP SAN技术研究》文中提出随着企业级的数据呈指数增长，传统的集中式存储方案已无法满足其存储的要求，存储区域网(Storage Area Network，SAN)由此走上了历史舞台，但是传统的SAN具有距离短、价格贵和构建复杂的缺点。基于iSCSI协议的IP存储技术是一种新兴的网络存储技术，它将IP网络技术集成到存储I／O之中，在构建异构的存储网络方面具有其它数据访问协议无法比拟的优势。因此，基于iSCSI协议的IP存储技术已经成为当前网络存储技术研究的热点。本文首先介绍了当前主流的网络存储技术，然后对iSCSI协议及基于iSCSI协议的IP存储技术进行了深入的研究，其中重点分析了影响iSCSI协议性能的主要因素。其次，针对iSCSI协议的数据校验算法的低效率问题，提出了以下优化措施：引入了并行校验算法，提出了相应的改进方案；给出了一种新的数据缓存策略，以缩短命令的响应时间；在Linux内核中，使用避免拷贝技术减少数据的冗余拷贝，以减少存储系统的响应延迟。最后，参考国内外的相关研究工作，设计和实现了一个iSCSI存储系统。该系统运行于Linux内核空间，采用层次化的模块结构，保证了系统的设备无关性，便于向嵌入式平台移植，并对系统的CPU占用率和命令的响应时间进行了测试，测试结果表明改进的系统降低了CPU的占用率，缩短了命令响应时间。
何俊峰[9]2012年在《面向边缘网络的流媒体分发技术研究》文中提出大规模流媒体应用是Internet中极为重要一类应用，但由于当前的互联网的网络层只提供“尽力转发”的报文服务，而应用层的解决方案又存在与底层网络信息不相匹配的问题，导致大规模流媒体系统设计仍然是一项充满挑战性的研究。与此同时，当前互联网技术的发展呈现出一些新的动向，如数据传输和内容协商相分离、性能日益增强的用户边缘网络、统一网内存储的网络层功能、以内容为中心的网络设计等。这些新动向，为新一代大规模流媒体网络技术研究提供了许多机遇和挑战。通过对现有解决方案的分析，以及对互联网现有网络基础设施演变过程的思考，我们认为大规模的流媒体内容分发技术研究，应该从参与内容分发的边缘网络和网络利益群体需求分析着手，重点研究对边缘网络资源的有效合理利用。因此，本文的研究创新和贡献包括以下几个方面：（1）充分利用边缘网络用户流媒体需求的聚集效应和边缘网络潜在的存储资源，提出了边缘到边缘的流媒体服务模型（E2EMSM）边缘网络用户通常具有相似的网络利益和流媒体服务需求，可形成流媒体分发的聚集点。因此，本文的基本思想是将整个互联网络空间划分为核心传输网络空间和边缘服务网络空间，实现“核心高效传输，边缘多样服务”的设计理念。通过在边缘网络的流媒体分发聚集点部署相应的网络基础设施，如具备内容存储功能的新型网络交换设备（NCR），我们提出了边缘到边缘的流媒体服务模型（E2EMSM）。基于该模型设计的流媒体内容分发方案，可以充分利用边缘网络流媒体分发的聚集效应，优化流媒体分发过程，减少边缘网络流媒体分发的流量需求，提高边缘网络流媒体分发质量。（2）构建边缘网络存储资源模型（ESRM），并在此基础上提出边缘网络流媒体内容分发模型（Put/Get模型）和启发式流媒体内容部署算法（HEA算法）边缘网络中存在一系列的存储资源，如服务器上的存储资源，用户终端上的存储资源，新型网络交换设备（NCR）上的缓存资源。对这些潜在的可用存储资源进行描述，我们构建了边缘网络存储资源模型（ESRM）。在此基础上，就如何使用NCR上的存储资源，我们提出面向流媒体应用的边缘网络内容分发模型，即Put/Get模型。该模型通过将网络交换设备中的缓存资源作为数据分发的枢纽，能够将数据分发路径与底层网络拓扑结构进行较好地匹配，从而实现网络资源的最大化利用，提高流媒体分发的效率。随后，我们提出了一种面向Put/Get模型的启发式流媒体内容部署算法（HEA）。该算法基于对用户请求概率的假设，实现边缘网络范围内的流媒体内容部署优化，能够有效降低服务器工作负载，减少边缘网络流媒体分发的整体网络代价。（3）为了集中高效使用边缘网络用户终端的空闲存储资源，我们提出了一种流媒体分布存储系统框架（BufferBank）BufferBank系统主要由叁个部分组成，即应用客户端（BBA）、缓存控制管理服务器（BBM）、缓存银行系统储户（BBD）。该系统采取类似于现实生活中的银行系统的激励机制，鼓励BBD将他们的空闲存储资源充分利用起来，存入BufferBank系统之中，由BBM将这些存储资源集中进行管理，并把它们借贷给上传的应用，从而在改善这些应用的客户体验的同时，增加网络运营商的收入。BBD用户能够通过将存储资源存入BufferBank的形式获得相应的奖励。该系统能够有效提高总体缓存服务带宽，降低数据访问延时，提高数据读写效率。（4）为了在边缘网络实现以内容为中心的网络设计思想，利用NetMagic硬件平台设计了具有双转发引擎的路由器NCR原型系统NCR基本原理是在支持常规的IP路由的基础上，增加内容转发处理，使得边缘网络能够更好地适应以内容的访问和获取为中心的应用模式。在常规NDN设计的基础上，增加NCR上的用户共享内容索引，即通过构造末端域索引表EDIT来减轻路由器上的内容存储和检索压力，从而提高NCR的报文处理速度。基于NetMagic网络实验平台详细的讨论了NCR转发引擎的设计与实现。
李松林[10]2017年在《基于缓存技术的互联网内容平台研究与实现》文中进行了进一步梳理目前,四川铁通互联网宽带运营主要由叁部分组成,即容器(宽带端口速率和承载通道),包装(营销策划-价值、精品宽带等)和内容(互联网流量)。其中,互联网流量是用户得到的实质,也是四川铁通销售宽带产品给用户的核心实质。在互联网流量方面,基于缓存的互联网内容平台建设是新兴课题,是ISP互联网优化工作的重要内容,往往涉及到较大投资和工作量。在当前的用户满意度提升活动中,对于提高用户满意度而言,业务的价格折扣和商业宣传已不是决定因素,而感知质量的体验越来越重要。掌握了互联网内容就掌握了用户的需要。本研究主要目的在于提升互联网内容的供出和服务。在分析国内外主流缓存技术发展趋势的基础上,结合四川铁通公司实际网络和投资情况,研究了基于缓存的互联网内容平台在四川铁通网内的部署,主要内容包括:1.研究了基于缓存技术的各类主流平台的内容发布方式,并根据对各类平台特性的研究,针对后期不同类型应用场景,提出了相适应的解决方案,以适应公司平台建设及业务发展的需求。2.研究了主流缓存内容平台的发布、检测、监控、管理四种主流技术。现代缓存技术通过对P2P Peer种子的重排和对P2P资源的缓存,能实现对P2P流量的高度本地化。通过对热点应用视频及文件的实时动态搜索与发现,从技术上减轻网络承载用户对网络之间的不同流量需求。在减少对Internet互联网出口流量需要的同时,通过缓存于不同地域之间的更多内容源,大幅提升用户感知质量。3.分析了目前四川铁通核心网的现状和问题,提出了相适应的改造和优化方案,以确保基于缓存的互联网平台能顺利实施。针对四川铁通现有网络情况,对网络结构进行相关调整和重构,以10G大颗粒带宽替换原有小颗粒传输单元。使集中的流量监控设备能100%全覆盖监控网络的应用情况。选择有优势的承载路由协议,提高了核心网承载能力和转发效率。4.提出了不同构架方式的缓存技术方案,在确保网络拓扑不受影响的同时,实现了灵活的网络建设。通过服务器、服务器群之间的松连接架构,保证了四川铁通能在现有网络流量增长模型下,可进行灵活的网络扩容,而不影响在网运行的所有业务。于此同时,又可以对Internet互联网网络内容平台的管理控制、缓存工作、流量疏导以及综合管理和运营实现中央集中化管理。
参考文献：
[1]. 互联网高速缓存系统构建和性能分析[D]. 姜彩萍. 吉林大学. 2004
[2]. 基于Memcached的高速缓存功能扩展研究[D]. 邓世权. 西南交通大学. 2012
[3]. 基于异步驱动的双机TCP代理的研究与实现[D]. 赵鲲. 国防科学技术大学. 2008
[4]. 云物联平台的数据汇聚与存储方法研究[D]. 祝幸辉. 西安电子科技大学. 2017
[5]. 动态车载导航系统关键技术研究[D]. 祁晖. 吉林大学. 2015
[6]. 高速铁路接触网在线监测系统实时数据库关键技术研究[D]. 涂冬明. 浙江科技学院. 2019
[7]. 重庆联通P2P缓存系统的研究与实践[D]. 余鑫宇. 北京邮电大学. 2012
[8]. 基于iSCSI协议的IP SAN技术研究[D]. 谢才炳. 南昌大学. 2007
[9]. 面向边缘网络的流媒体分发技术研究[D]. 何俊峰. 国防科学技术大学. 2012
[10]. 基于缓存技术的互联网内容平台研究与实现[D]. 李松林. 电子科技大学. 2017
标签：互联网技术论文; 高速缓存论文; 缓存服务器论文; 内容分发网络论文; web技术论文; 网络模型论文; 内容分发论文; 测试模型论文; 用户研究论文; web代理论文; 流量平台论文; 云计算论文; 代理模式论文; 用户分析论文; 地图应用论文; 功能分析论文; 动态模型论文; p2p论文; 缓存论文;