基于P-Grid的网络信息共享技术的研究

基于P-Grid的网络信息共享技术的研究

胡敏[1]2003年在《基于P-Grid的网络信息共享技术的研究》文中认为Client/Server结构是近几年非常流行的一种分布式计算模式,它的优势在于广泛地采用了网络技术,将系统中的各部分任务分配给网络中担任不同角色的计算机。然而在分布式环境下,类似C/S结构的集中式系统的局限性越来越明显。信息资源集中在一小部分节点(服务器)上,随着应用规模的扩大,由于集中而引起的网络带宽瓶颈、性能瓶颈越来越明显,服务器必须通过非常复杂的负载平衡和容错算法来提供持续可靠的资源访问。同时,服务器存储容量的有限性也导致资源共享数量的有限性,随着我国宽带网络建设的迅速发展,拥有大部分信息数据的用户被排斥在网络的边缘,宽带网的应用将面临有路无车的窘境。随着Napster、Gnutella等P2P信息共享应用程序的流行,使得P2P计算技术重新受到人们的广泛关注。 近年来,P2P技术在信息共享中被广泛采用,该技术提供了一种点对点的信息共享方式,受到了互联网用户的极大欢迎。P2P技术在信息共享应用中的潜力是有目共睹的。但国内P2P应用还存在着比较大的局限性,很多应用还是基于Napster这样的中央服务器体系结构,缺少技术上的突破和创新。华东师范大学计算机系多媒体技术研究室在近年内开始对P-Grid技术进行研究,并试图将其应用于P2P信息共享服务平台中。为了将P-Grid技术应用到现有环境中来,作者对P-Grid技术进行了深入研究。研究的重点是基于P-Grid技术的信息搜索和系统构建的基本思想和实现算法,目标是实现在没有中央控制的前提下,通过局部范围的节点交互建立节点间的联系。根据P-Grid基本思想,节点间每次相遇就交换双方的信息,对搜索空间不断进行分割,使每个节点负责管理某一区间上数据信息并负责响应针对这些数据的查询请求,最终搜索空间的划分状态在逻辑上可以用一棵二进制搜索树表示。在此基础上,信息的搜索就可描述为二进制搜索树的查找过程。由于P-Grid采用定向查找技术,每次都将查询请求转发给更有可能响应该请求的节点,因此将大大加快数据搜索速度。同时,系统中允许存在数据的复制,进一步提高了系统的健壮性,使P-Grid技术能应用于网络连接和节点在线状态十分不可靠的环境中。在理论分析的基础上,作者尝试建立P-Grid信息共享系统的简单实现模型,将P-Grid系统分为Client模块、Server模块、P-Grid模块和通信模块,定义了各个模块的功能和通信模型,并为P-Grid系华东师范大学硕士学位论文基于P-Grid的网络信息共享技术的研究统的节点通信定义了基于XML技术的消息格式和通信过程。在文章最后,作者对P一Gr id技术的搜索算法和构建算法进行了性能分析,从而验证了P一Grid技术在信息共享应用中有着极大的优势和前景。

陶中平[2]2007年在《基于邻近度的P2P路由算法的设计与实现》文中研究说明P2P(peer-to-peer)网络是近年来网络研究的一个热点。目前绝大多数的P2P网络系统都是以覆盖网络方式构建的。在覆盖网络中相邻的节点在底层网络中可能并不相邻甚至相隔很远,这样导致覆盖网络中两个节点间会有很大的路由延迟。只有节点路由表项的内容正确地反映节点之间在底层网络中的拓扑关系,才能最终减少应用层的路由延迟,提高网络应用的性能。论文首先介绍了几种结构化P2P路由机制:Chord,CAN,Plaxton,Tapestry,Pastry和PGrid;以及几种非结构化P2P路由机制:Napster,BitTorrent,Gnutella和FreeNet。重点分析了PGrid路由算法。针对PGrid路由算法的路由表维护的盲目性和优化周期长等缺点,本文提出了一种新的基于邻近度选择技术的路由表维护算法PNS-PGrid(proximity neighbor selection PGrid)。PNS-PGrid是在节点转发一个查询请求后,触发路由表维护任务,并对本次转发使用的路由表项进行优化,且优化周期根据路由表项是否达到或接近最优值而进行调整。PNS-PGrid算法中还加入了对未报告的节点失效和异常退出的处理机制来对路由表进行维护。最后在开源软件PGrid中实现了PNS-PGrid算法。测试表明,PNS-PGrid算法在较少的开销下使路由表项能动态的有针对性的进行调整,并且快速地达到最优值,最终减少路由延迟,提高网络性能。

侯孟书[3]2005年在《基于P2P的分布式存储及其相关技术研究》文中研究表明随着Internet技术的飞速发展,互联网上日益增加的用户和分布广阔的数据,给分布式存储技术带来了新的挑战。另一方面,随着P2P计算模式的兴起、网络带宽的大幅增加和Internet端系统计算能力的迅速增强,原先被忽视的端系统成为一种宝贵的资源。如何充分利用这些端系统,在动态的P2P网络环境中构建大规模、高可扩展、高可靠、高性能的分布式存储系统,是近年来研究的热点之一。 本文在对P2P技术和分布式存储技术的最新研究成果进行了系统、全面的学习和总结的基础上,就P2P分布式存储技术展开了深入细致的研究,取得了若干创新和成果。 本文研究的主要创新点包括: 1.设计了一个基于P2P的分布式存储系统—PeerStore。PeerStore采用高可扩展的P2P体系结构,将大量分散的节点组织成一个逻辑网络,充分利用原先被忽视的端系统资源,构建大规模分布式存储系统。PeerStore采用高效的结构化P2P路由机制、动态自适应的副本管理、信任机制和激励机制为用户提供高效、可靠的分布式存储服务。 2.提出了一种新的分布式结构化P2P路由算法PNS-PGrid。最近的研究表明邻近度路由技术对P2P网络的路由性能影响很大,因此,PNS-PGrid路由算法采用邻近度路由技术,节点在构造路由表时,选择距离自己近的节点作为邻居节点,克服了P-Grid路由算法选择邻居的盲目性,使P2P逻辑拓扑结构尽量反映节点在底层的物理拓扑结构,以减小搜索和定位的路由延迟,提高系统的整体性能。 3.提出了一种新的动态副本管理机制DynRM。DynRM根据文件受欢迎的程度,增加受欢迎程度高的文件副本数量,选择高性能节点存放文件副本,从而使系统自动调整文件副本数量以及副本存放位置,平衡节点负载,提高文件的可用性。 4.提出了一种基于确定性理论的P2P存储系统信任模型。该模型运用确定

罗浩[4]2011年在《基于P2P的分布式存储研究与实现》文中指出随着IT技术的不断发展,互联网中日益增加的用户和分布广阔的数据,给分布式存储技术带来了新的挑战。然而,在基于客户端/服务器(C/S)体系结构的存储系统中,如果服务器出现故障,那么系统中所有的服务都将停止。为了改善这种情况,P2P网络(Peer-to-Peer)的体系结构应运而生。在对等网络体系结构中,节点(peer)扮演了服务器和客户端的角色。P2P网络实现了对等节点之间资源的传输和共享。P2P技术最大的意义在于仅依靠网络边缘节点自组织对等协作的资源发现(Discovery Lookup)形式。P2P技术具有非中心化、可扩展性、健壮性、高性价比等特点,具有广阔的应用前景,目前该技术已应用到军事领域、商业领域、政府信息等领域。另外,各大IT公司如SUN、Google、Microsoft,目前都在对该技术进行大力的研究。本文首先介绍了P2P技术的历史和发展过程,简析了传统计算模型和P2P计算模型的本质和区别;通过分析P2P网络拓扑结构和找出适合系统使用的结构了类型;通过对系统信任机制的分析,找到适合P2P系统特性的独特的信誉系统,使系统的可靠性得到提高;通过对LHPeerStore系统构架的分析、各个功能模块和逻辑层的简析,了解了LHPeerStore系统的实现机制,在一定程度上说明了P2P网络的运行机制。经过编程实现和对实验数据的分析,进一步证明LHPeerStore系统的正确性和可靠性。

熊曾刚[5]2008年在《集成P2P模式的网格资源发现模型、算法与任务调度研究》文中提出网格计算和P2P计算都是作为解决大规模地理分布资源共享而新兴起来的下一代计算技术,都是目前研究的热点领域。当前大多数网格系统是中等规模的,他们一般采用集中式和分层式管理方式,虽然基础设施比较完善,但是资源管理缺乏有效地扩展;而P2P系统主要应用于互联网边缘资源的共享,如PC机的文件共享。虽然P2P系统缺乏严格的基础设施,但是P2P采用完全分布式的资源管理模式,资源可更动态地加入和退出。正因为如此,网格计算和P2P计算有越来越多的共同点,将P2P技术的一些优点应用到网格系统中,可以改进传统网格的可扩展性和动态性。然而,将P2P技术集成到的网格环境中,带来了一些新的问题和挑战,主要面临集成P2P模式的网格资源管理体系结构、资源的组织定位机制、任务调度机制以及资源管理的安全性等研究难题。针对上述问题,本文基于进程代数、Agent、Petri网等理论与技术,重点研究了集成P2P模式的网格资源发现模型、资源发现算法以及任务调度机制等问题,主要研究成果如下:1)提出了一种集成P2P模式的网格资源管理体系结构,并针对此体系结构提出了一种集成Agent技术和语义的网格资源发现模型。该模型克服了传统的集中式资源发现机制的弊端,用语义的方法进行资源匹配,能够提高资源匹配的准确性,优化网格资源发现。2)结合集成P2P模式的网格系统特征,利用Pi-演算建立起形式化模型,并借助Pi-演算工具MWB,对提出的P2PGrid服务系统实例进行行为推演及验证。结果表明,基于Pi-演算的集成P2P模式的网格系统具有活性和安全性,同时能够有效满足网格节点的服务需求。3)针对集成P2P模式的网格资源管理模型,提出了一种集成遗传和蚁群算法的混合算法来解决集成P2P模式的网格资源发现问题。混合算法利用了遗传算法和蚁群算法的优点,首先用遗传算法找到P2PGrid的资源粗集,然后再用蚁群算法求资源的精确解,并与传统的洪泛算法进行了比较,证明其性能更好。4)根据集成P2P模式的网格任务调度的特性,首先利用层次颜色Petri网来描述集成P2P模式的网格任务调度模型,并根据此模型提出了一种两阶段的网格任务调度算法。然后使用层次颜色时延Petri网来描述两阶段网格任务调度,利用Petri网的可达任务图构造算法,对Petri网的性能进行了分析。最后,通过一个简单的实例进行了分析,得到网格任务的最佳调度方案。最后在ChinaGrid的CGSP基础上构建了一个P2P模块,初步实现了一个集成P2P模式的网格环境。然后利用所设计的网格资源监控与分析系统(Grid Resrouce Vision andAnalysis System,GVAS)对本文提出的遗传蚁群混合算法进行了验证,取得了较好效果。

唐先萍[6]2012年在《基于P2P分布式存储的OLAP查询技术研究与实现》文中研究表明联机分析处理(Online Analytical Processing,OLAP)已经成为近年来决策支持领域的研究热点,它通常建立在包含海量数据的数据仓库基础之上,支持聚集查询、多维分析,便于分析人员通过快速的、一致的、多方位的和交互式的访问来获取各种信息视图,是用户获得决策支持的主要手段。在应用的过程中,用户对查询响应速度的要求很高,如何提高OLAP查询响应效率成为数据仓库应用的关键问题,专家学者们做了很多研究,比如:SOL查询语句的优化、物化视图的选择、聚类算法的改进、数据立方体的存储、查询重写、数据压缩、数据缓存等等。随着时间的推移和数据量的积累,传统的OLAP技术架构有待进一步改进才能更好地满足用户的决策分析需求。P2P(Peer-to-Peer)技术为网络应用提供了一种新思想,引入了对等实体的概念,它具有快速访问、避免单点失效和消除中心节点瓶颈等优良特点,受到很多研究者的重视,利用P2P技术进行OLAP决策分析也已经成为热点研究问题。在P2P环境下,利用多个OALP网络节点间的多维数据集(Data Cube)协调合作来完成决策分析,可以均衡OLAP服务器负载,大大提高OLAP查询分析效率。本文的工作就是建立一种P2P网络中OLAP节点共同完成决策分析的模型,主要是通过以下几个方面的设计来实现的:(1)根据P2P环境特点,利用多维数据集的语义维层次链特性进行Data Cube的存储,并提出一种P2P路由算法,使OLAP节点能够从P2P网络中快速查找到决策分析所需要的数据源。(2)完成P2P环境下数据源的存储之后,数据管理的关键技术之一数据复制,不可避免的引发数据一致性维护问题,为提高数据可用性以及系统性能,提出了一种维护数据一致性的方法。(3)完成了一种P2P网络中OLAP查询方案的设计,即构建P2P环境下的OLAP网络模型,灵活地实现OLAP节点的动态加入和退出,并提出一种改进的查询分析算法实现多节点Data Cube数据协作共享。

王治[7]2006年在《面向PC环境的网格体系与关键技术研究》文中研究表明随着互联网络和计算机软硬件技术不断发展,各种计算资源(桌面计算机、工作站、超级计算机、集群等)、存储资源和网络资源的价格不断下降,推动了网格计算技术的迅速发展。一直以来,网格领域的研究主要集中在如何利用高性能的计算资源(如Beowulf集群、工作站、超级计算机等)、科学仪器和巨量存储资源,来构建满足在科学研究和工程应用领域大规模计算需要的各种网格。本文致力于研究如何通过随处可以获得的个人计算机PC来实现网格计算,它的意义在于可以充分利用随处可得的、大量闲置的PC,借助它们所蕴藏的巨大处理能力,以一种低成本的方式实现同样高性能的计算环境。PC网格不同于高性能的网格环境,它一般由分布在不同地方的大量PC节点根据特定任务目标自愿组织而成,具有高度的动态性和自主性。这给网格的系统架构,资源管理和任务调度,以及任务监控等带来了挑战。目前一些基于因特网的网格应用项目,如SETI@Home、FightAIDS@Home、GIMPS等都采取了简单的方式将PC松散聚集起来解决特定领域的计算问题。目前还没有一种通用的面向PC环境的网格体系以及相关的平台系统,用于构建可满足不同应用需要的PC网格。为了推动PC网格的广泛应用,仍有许多技术问题需要解决。为此,本论文首先为PC网格提出了一种叁层结构的网格体系PGrid,它由Agent控制层、通信基础设施层和核心服务层构成。其中,Agent控制层由驻留在各PC节点上的Agent构成,它们提供一个虚拟的任务执行和控制环境。通信基础设施层屏蔽PC节点的位置、平台异构性和底层通信细节,为上层应用同Agent的连接与动态交互提供简单的接口。核心服务层为用户提供网格服务,包括任务提交、分派、监控和最后结果的汇总,不同的网格应用可以在这一层提供不同的服务。PGrid体系满足了实现简单、支持大规模部署的要求,同时考虑了可扩展性、健壮性和灵活性,与现在许多PC网格应用项目所采取的两层体系相比具有先进性。围绕该体系,我们对PC网格所涉及的若干关键技术进行了研究。我们为通信基础设施层提出和实现了一种服务请求代理中间件SRB。它提供了一种消息交换设施,即代理服务器集群,以支持PC网格环境中用户与PC节点之间的消息交互。SRB不关心用户服务请求的内容,而只负责将其转交到合适的服务实例。因此基于SRB,因而我们既可以按照服务的方式构建网格,即PC节点提供任务逻辑,用户提供数据;也可以实现按照任务的方式构建网格,即用户提供任务逻辑和数据,PC节点负责任务程序的执行。SRB有效屏蔽了PC网格内部各节点物理位置、平台差异以及通信的细节,为PC网格的实现带来了灵活性。在Agent控制层,我们提出了PC节点性能预测机制用于Agent在线学习并预测PC节点的运行规律,从而实现积极主动的任务调度。其中我们提出了一种混合在线预测模型,用于实现Agent在没有充分掌握PC节点运行规律的情况下,仍然能够较为转确地预测PC节点短期内的性能变化。而对于离线学习,我们提出了使用自回归建模和神经网络相结合的方法,在Agent掌握了大量观测数据样本的基础上,对PC节点的运行规律进行学习和分析。针对Agent控制层的资源协商与交易,我们提出了基于BDI多智能体系统的资源交易模型。该模型最重要的两个活动实体为用户智能主体和资源智能主体,用户智能主体代表向PC网格提交任务的用户,而资源智能主体代表了PC网格中的资源,它们之间根据各自的利益目标在一个市场环境中进行协商与合作,最终实现任务与资源的合理匹配,以及供求关系的平衡。我们给出了这两种主体各自的信念(Belief)、期望(Desire)和意图(Intention)定义,并给出了一个具体场景描述基于这种BDI模型,两种主体各自如何思考并采取动作。同时我们还对网格资源的商品模型进行了研究,提出了能够适应市场供求关系变化而动态调整价格的机制。最后我们为核心服务层提出了一种统一的面向PC网格环境的MonitorView网格监控体系。这个体系由叁部分组成:一个是统一消息框架,用于规范PC网格中在管理终端与Agent控制层之间交换的消息;另一个是面向应用的Manager-Agent管理协议,它是一种类似于SNMP的管理协议,用于实现管理终端与Agent控制层之间的管理和监控操作;最后一个是配置管理服务,它面向全网格域,实现了在虚拟组织动态变化时网格监控体系的自发调整。基于这叁部分,MonitorView实现了一种可灵活满足PC网格任务管理与监控、系统告警与日志管理以及PC节点资源监控应用需求,并且具有良好的扩展性和自适应性的统一监控体系,弥补了现在许多网格应用项目存在的不足。

汤佳[8]2017年在《异构环境下移动对象并行处理优化》文中提出PGrid(Parallel Grid,并行格网)是一种基于空间划分并被广泛应用到基于位置的服务(Location-Based Service,LBS)的主存索引结构。随着对象数量的增加,与位置相关的更新负荷和查询负荷给LBS的服务器端性能提出严重的挑战。尤其是查询负荷,因查询请求的增多和查询范围的扩大两方面的作用,造成巨大的工作量。用于通用计算GPU(GPGPU)因其强大的并行计算能力而被应用于越来越广泛的大规模计算任务,其中包括PGrid查询。已提出的利用GPU处理PGrid查询的方法相较以往的用CPU处理PGrid查询的串行或并行方法有显着的性能提升。然而因为传统的基于查询的任务划分方式未能迎合GPU的线程执行以及内存访问特性,存在大量线程分歧,使得在查询范围较大时执行速度缓慢;并且没有提供负载均衡策略,使得在面临不规则查询负荷时GPU性能恶化。本文提出一种基于Cell进行任务划分的GPU执行PGrid查询的算法(Cell-Oriented PGrid,COPGrid),这种新型的任务组织框架配合虚拟分组方法消除线程分歧,并且聚集分组内线程的内存访问,从而提高GPU的执行效率;并且通过抢占式线程调度和动态并行化方法有效的解决了线程的负载均衡问题。实验结果表明,与传统的GPU执行方式相比,本文提出的调度策略可以取得一个数量级的性能优势。

刘庆全[9]2006年在《于校园网的多媒体教室远程控制系统的研究与实现》文中研究说明随着计算机技术、网络技术和通信技术的迅速发展与广泛应用,基于计算机网络的远程监控技术受到了人们的广泛关注。以多媒体计算机为基础构建的多媒体教室越来越普及.为了在不增加专业技术人员的前提下使多媒体教学设备得到及时有效的维护和管理,本文提出了基于校园网的多媒体教室远程控制系统及其实现的方法。该系统选用多媒体计算机作为远程中央控制室的控制主机,利用现有的校园网络作为控制信息的传输通道,以IP控制模块为桥梁将多媒体教室中教学设备的集中控制器连接到校园网,从而用基于控制主机—校园网—IP控制模块—集中控制器—多媒体教学设备(被控设备)这一技术方案来实现对多媒体教学设备群进行分布式网络化远程控制的目的。论文概述了基于计算机网络远程控制的发展历史和现状;说明了系统的软、硬件总体设计;阐述了以嵌入式微控制器——单片机AT89C51为核心构成的多媒体设备集中控制器的功能、工作原理及具体的实现方法;详细论述了基于TCP/IP协议、以AT89C54+单片机和以太网控制芯片RTL8019AS为核心组成的IP网络控制模块的功能、工作原理及具体的实现方法;最后,阐述了多媒体教室远程控制软件系统的功能、工作原理以及具体的实现方法。

郭祖华, 马绍惠, 刘丹, 马世霞[10]2009年在《一种基于P2P的网格资源发现算法》文中认为为了解决网格技术中节点随机加入及资源动态共享的问题,采用了P2P与网格技术有机融合的方式,改进了网格的动态性和可扩展性,建立了基于P2P的网格资源体系结构模型,并提出了一种融合DHT和蚁群算法的资源发现算法.该算法能有效地提高P2P网格环境下的资源发现性能,可以准确可靠的进行信誉值高、综合费用低的分布式资源发现.

参考文献:

[1]. 基于P-Grid的网络信息共享技术的研究[D]. 胡敏. 华东师范大学. 2003

[2]. 基于邻近度的P2P路由算法的设计与实现[D]. 陶中平. 电子科技大学. 2007

[3]. 基于P2P的分布式存储及其相关技术研究[D]. 侯孟书. 电子科技大学. 2005

[4]. 基于P2P的分布式存储研究与实现[D]. 罗浩. 电子科技大学. 2011

[5]. 集成P2P模式的网格资源发现模型、算法与任务调度研究[D]. 熊曾刚. 北京科技大学. 2008

[6]. 基于P2P分布式存储的OLAP查询技术研究与实现[D]. 唐先萍. 电子科技大学. 2012

[7]. 面向PC环境的网格体系与关键技术研究[D]. 王治. 复旦大学. 2006

[8]. 异构环境下移动对象并行处理优化[D]. 汤佳. 武汉大学. 2017

[9]. 于校园网的多媒体教室远程控制系统的研究与实现[D]. 刘庆全. 东南大学. 2006

[10]. 一种基于P2P的网格资源发现算法[J]. 郭祖华, 马绍惠, 刘丹, 马世霞. 微电子学与计算机. 2009

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

基于P-Grid的网络信息共享技术的研究
下载Doc文档

猜你喜欢