基于Apache服务器集群系统的负载平衡设计与实现

基于Apache服务器集群系统的负载平衡设计与实现

彭海平[1]2007年在《电子商务平台的性能优化和高可靠性研究与实现》文中研究指明随着电子商务和互联网的高速发展,日益增长的数据量,急剧增长的用户量,不断攀升的并发访问,给电子商务平台的网络带宽和服务器端都带来巨大的挑战。从网络技术的发展来看,网络带宽的增长远高于服务器速度和内存访问速度的增长,可以预见的是众多的电子商务平台将遇到越来越多的性能瓶颈。在现有基础上,如何提高电子商务平台的可用性和性能已成为迫在眉睫的问题。本论文以现实中具有一定典型意义的电子商务平台(分类生活服务信息互动网站搜搜客)的性能和可靠性研究实现为背景,对Web服务器Apache2.0以及基于Linux的虚拟服务器集群技术(简称LVS )进行了研究和分析。本论文根据Apache服务器性能的评价指标,从软件、硬件和网络叁个方面找出了影响服务器性能的关键因素。本论文采用FastCGI和增加动态处理模块方法优化动态请求处理;采用探索式测试方法优化Apache配置参数。本论文针对LVS是如何在若干个松散连接的独立服务器之上架构一个集群服务器,如何平衡各计算机之间的负载提高整个系统的性能,使整个集群结构对外界用户来说表现为一个服务器来提供高可用的高性能平台。目前,本论文在对于Apache优化以及LVS集群负载均衡技术做了细致的研究分析之后,根据课题的实际需要以及企业实际应用,论文所提出的性能优化和高可靠性实现方案已被成功应用,得到了较为满意的结果。

郭相勇[2]2003年在《基于Apache服务器集群系统的负载平衡设计与实现》文中认为通过对集群系统性能、体系结构及其网络负载平衡技术的研究,提供了一种使用大量商用服务器构建具有良好可扩展性和高可用性网络服务的基本构架。通过对Linux内核的TCP/IP协议栈的功能扩充来实现IP层负载平衡技术,它能够把访问单一IP地址上的服务分配到集群系统中的不同的服务器上,进行并行服务。提出了改进的集群系统的负载平衡方法,并进行了基于Apache服务器集群系统的初步实现。

邓仲举[3]2012年在《高可靠性集群部署的设计与实现》文中研究说明随着Web技术的发展,Web应用的内容逐渐多样化、复杂化。加之以用户为导向的新网站建设概念,细分了网站功能和用户群,网上用户的不断增多。使得新生的网站有了新的特点高并发,高流量,数据量大,逻辑复杂等,对网站建设也提出了新的要求。尤其是企业的关键业务系统在网站的性能、可靠性、可扩展性等方面提出了新的挑战。为此,针对关键业务系统在部署方面进行了可靠性、可扩展性、性能等方面的研究。基于Windows的Web部署方案研究了在Windows环境下如何为用户提供快速的、高可靠性、高可靠性的、高扩展性的服务。该部署方案从逻辑上分为叁个层次来满足用户的功能需求和非功能需求,其中,Web前段层引入了Windows负载均衡集群来解决入口服务器单点故障问题,且部署了Nginx服务器来实现访问控制;业务处理层引入了Apache+Tomcat+Mod_jk的集群实现根据用户web部署情况,按用户的请求路径对请求进行转发;同时为方便用户在子系统间切换对Cas单点登录进行了改进,实现了Cas的集群部署;后端数据层则通过引入sql数据库的故障转移集群,该集群为主动/被动模式,故障发生时将自动转移,解决数据库的高可靠性的问题,实现数据库的热备份。采用Apache自带测试工具对部署方案的性能进行了测试。同时采用模拟故障的方式测试了系统的可靠性。表明方案符合用户需求,上线后达到了预期的目的。系统总体运行高效,稳定。

李鑫[4]2011年在《Web服务器性能优化研究与实现》文中研究说明随着互联网在商业和其它重要领域的使用越来越广泛,Web服务器必须具备极高的性能才能留住现在的用户和吸引新的用户。Web服务器在面对日益增大的数据量,急剧增长的用户量,不断攀升的并发访问数时遇到越来越多的性能瓶颈,改进Web服务器性能迫在眉睫。本文研究和分析了Web服务器Apache2.2以及集群服务器负载平衡算法以提高Web服务器的性能。本文研究了Apache2.2服务器的体系结构和主要特征,并以Apache服务器性能的评价指标为依据,从软件、硬件和网络叁个方面分析了影响服务器性能的主要因素。采用FastCGI和增加动态处理模块方法优化动态请求处理;采用探索式测试方法优化Apache服务器的配置参数,从而实现了对Apache服务器的性能优化。本文通过分析现有的Web服务器集群系统负载平衡算法的不足,提出了基于L7交换机的预测和概率负载平衡算法(PPLB)。该算法把请求分成不同的类型,动态地从一种类型中选择一个请求并且给它分配一个服务器。针对Web交换机的调度器和分配器分别提出了基于概率的算法。利用标准测试程序RUBiS进行了仿真实验,结果证明了所提出的负载平衡算法的有效性。与现有的两种负载平衡算法WRR和CAP相比,该算法提高了吞吐率并减少了平均响应时间。

黄洲[5]2011年在《Apache-Tomcat服务器集群管理系统的设计与实现》文中进行了进一步梳理随着网络技术的发展,集群系统的应用也越来越广泛。将多台应用服务器互连组成集群,一台应用服务的性能是无法与之相比的。服务器集群系统中,由于有效的管理可以显着提高集群系统资源的利用率和可用性,各个节点的管理(包括监视和控制)显得尤其重要。Apache-Tomcat的集群体系,是应用了Apache的mod_jk模块,基于AJP通信反向代理协议,将一个Web服务器的请求发送给各个Tomcat应用服务器而组成的集群。通过代理的方式可以将请求转发给Web服务器,负载均衡器再将请求均匀地转发到多台应用服务器上,从而达到负载均衡。服务器集群管理系统,就是旨在解决应用服务器集群系统管理的问题。通过对集群系统的介绍和研究,详细分析Apache中的mod_jk模块,以及开发web页面以更直观的控制和监控集群的状况。在实践部分,结合具体的项目需求,提出了一套完整的集群部署解决方案,这套解决方案不仅解决了集群系统中各性能指标的要求,而且还展示了一个用于后期维护与调试的基于B/S结构的集群管理系统。集群管理系统提出了比较完善的集群管理思想,包括集群运行状态的监控、集群节点的快速安装与恢复、集群的动态调度、统一的管理界面四部分,并对未来集群功能的升级扩展做出准备。从而提高集群的可用性,简化维护工作,便于集群规模的扩展。整个系统借鉴了其他成熟集群管理系统的设计思想,采用模块化设计,在现有的各种开源(Open Source)项目及自由软件的基础上开发。

易琦娜[6]2004年在《Web服务器集群的服务质量研究》文中研究指明目前,网络应用的增长速度高于目前网络技术本身的发展速度,不可避免的存在处理延迟和拒绝服务现象,这就使得端到端的服务质量保证显得越来越重要。端到端QoS包括网络QoS和端系统QoS两个方面。电子商务应用的日益发展和HTTP请求的指数性增长造成Web服务器中的拥塞和排队现象越来越严重,仅靠网络QoS机制不可能完全解决端到端的QoS控制问题。Web服务器作为端到端网络中不可缺少的一个重要环节,必须具备支持QoS的机制和策略。 如何在Web服务器系统中引入和实现QoS控制的机制与策略,满足不断增长的性能需求,为不同类型的用户或请求提供服务区分和性能保证,是当前Web研究发展的一个热点问题。 网络的迅速发展造成人们对Web服务器的高可伸缩性、高可用性、易管理性、高性能价格比的要求越来越高。Web服务器集群系统成为目前满足上述要求的一个既经济又有效的手段。从而Web服务器集群的服务质量保证是为用户提供满意的Web QoS的一个重要方面。Web服务器集群的QoS研究正处于起步之中,关于其的研究论文国内外都不多见,更别说产品和专利技术了,本文的研究即以此为出发点和主要目标。 本文首先研究了QoS和Web QoS控制的一些背景知识和当前的研究状况,得出Web集群服务器的QoS研究的必要性。然后在研究了服务器集群的QoS模型基础上,总结出两种集群QoS模型的方式——分布式QoS策略服务器集群模型和混合式QoS策略服务器集群模型。再用排队论理论对两种模型进行了比较,得出分布式QoS策略服务器集群模型要优于混合式QoS策略服务器集群模型。 随后本文提出并实现了基于分布式异构实时的QoS策略-DAHRP的WebCluster QoS模型,该模型包括性能监测部件、接纳控制部件、请求分级部件、服务器分配部件、Web页面调整部件和请求调度部件。文中对实现中的关键问题进行了详细的描述。最后在设计好的Web Cluster QoS模型上,根据自行提出的模拟现实Web访问特点的服务器性能测试仿真算法,进行了防真试验。比较了本文提出的DAHRP策略与现有的QoS策略的差别,证明了其优越性,也证明了我们所作的工作无论在理论上还是在实际应用中都是很有意义的。

李天翼[7]2003年在《基于网络存储的web服务器集群系统的研究与实现》文中进行了进一步梳理相对于单台web服务器,web服务器集群系统在技术上具有明显的不可比拟的优势,因而已被众多web服务提供商采纳作为主要的web服务器解决方案。在传统的web集群系统中,前端的负载平衡器是系统性能的瓶颈,不能采用过于复杂的算法,也不能支持过多的后端节点,导致系统的可扩展性不强。在这种结构中,每个后端服务器都作为一个独立的服务器运行,各服务器之间不进行交互。由于集群系统的整体信息利用率很低,因而不能很好地协调各服务器的资源利用率,不能充分挖掘各服务器的潜力,从而使整个集群系统对外呈现出相对较低的性能。基于网络存储的web集群能较好地解决传统集群所固有的一些弊端。它通过集群内部的局域网将后端的web服务器整合起来,并增加了NFS(Network File System,网络文件系统)服务器作为文件数据的最终来源,各web服务器实际上成为NFS服务器上文件数据的缓存节点,它们不再单独提供服务,而是结合成一个大的服务系统统一对外提供服务。系统通过后端的CDS服务器(Cluster Decision Server,集群决策服务器),根据所收集到的各web服务器的资源状况与文件访问状况,统一确定文件的缓存策略,以达到系统资源的合理使用。基于网络存储的web集群的核心思想就是把整个集群系统的计算资源、内存资源、外存资源整合起来,作为一个大的服务系统统一对外提供服务。其独特的模式大大提高了系统的可扩展性与性能,因而是一种极有前途的web集群模式。关键词:集群;网络存储;Web服务器;NFS;CDS

雷迎春[8]2001年在《可扩展、高性能Web服务器系统的研究》文中指出目前,Web服务器系统面临两个显着变化:⑴随着网络速度的提高,越来越多的本地任务处理将依赖远程服务,因此最终用户所能感知的任务处理速度也越来越受限于远端服务器的处理能力,即要求Web服务器系统具有高性能;⑵热门站点必须具备瞬时承受每秒数百万次的点击率,特别是当一些重大事件发生的时候,如奥运会等。这些系统的平均吞吐量并不一定很大,但它们的峰值吞吐量却很高,这就要求Web服务器系统具备很好的扩展性。面对上述需求,通常的解决方法包括两个方面。一个方面是提升Web服务器的硬件处理速度,然而实际应用中,目前常见的Web服务器并不能充分使用硬件资源,展现与硬件资源相匹配的性能。造成这种现状的主要原因是操作系统不能很好地支持Web服务器应用,而且软件的体系结构阻碍着Web服务器对操作系统服务的调用。另一个方面是采用基于单一系统映像的Web服务器集群系统,这也是目前应用最广泛的一种方法。通常,Web集群服务器中的负载均衡器(一种前端),截获客户到服务器的HTTP请求并根据负载均衡的原则调度每一个请求。可是,Web集群服务器所表现出来的性能不象期望中随服务器数量的增加而继续增长。此外,应用负载均衡器还有以下缺点:不支持存储扩展性、不支持复杂的调度算法、不支持事务处理的完整性和不支持区分服务。所有这些问题都源自负载均衡器不能支持基于内容的请求路由机制和请求调度算法没有考虑请求的内容。目前,Web集群系统的研究者已经开始研究基于内容的请求路由机制和基于内容的请求调度算法,但他们提出的路由机制和调度算法却阻碍着Web集群性能和扩展性的进一步提高。我们认为Web集群服务器系统的性能主要受叁个因素的影响:单个Web服务器的性能、请求路由机制和请求调度算法。其中,请求路由机制和请求调度算法又决定着Web集群服务器系统的扩展性。因此,本文的研究工作将围绕这叁个方面展开。具体内容为:①量化分析现有高性能Web服务器的I/O策略和并发策略,提出ASPED(异步单进程事件驱动)软件结构。经SpecWeb99测试,基于ASPED结构的Jaguar服务器的性能要比现有最好的基于AMPED(非对称多进程事件驱动)结构的Flash服务器好27.1%。②研究现有Web集群服务器中支持内容调度的请求路由机制,提出HTTP Splicing技术。经Httperf测试,采用HTTP Splicing技术的前端的性能要比现有采用TCP Splicing技术的前端的性能提高至少3.5倍。③尽管HTTP Splicing技术大幅提高前端的吞吐量,但由于x86硬件平台的限制,由单个主机构成的前端仍不可避免地成为Web集群的性能瓶颈。所以,我们又分析、研究可扩展请求路由机制,并提出集中调度、分布路由结构。经实际和模拟双重测试,可以最多由80台主机构成分布式前端,共同提供16Gb/s的吞吐量。④通过排队论理论分析,提出一种自适应、可扩展静态HTTP请求调度算法LoadCache_rep。与现有LARD(局部敏感的请求分发)算法相比,LoadCache_rep算法的优势有两点:一个是自适应性;另一个是更准确地估计后端负载。其中,在对后端负载估计的对比测试中,应用在LoadCache_rep中的方法要比LARD算法中的方法最多好14.7%。经模拟器SimWebCluster测试比较,在现有各种静态HTTP请求调度算法中,LoadCache_rep算法确实是最好的一种。⑤由于动态HTTP请求处理的多样性,我们的设计原则是通用优化,而不是针对某个具体的动态请求处理。通过排队论分析,提出优化分离式调度策略。在理论分析中,优化分离式调度策略要比现有混合式策略的性能提高22%,而在实际测试中,性能提高了22.5%。

王淑静[9]2013年在《负载均衡算法研究及其在电子商务平台上的应用》文中进行了进一步梳理伴随着Internet技术的飞快发展,使用各种网络服务的用户越来越多,这就意味着网络数据量的增大,各种网络访问的并发度也在升高,这些因素都对网络服务提供商提出了更高的要求,对于一些提供大负载Web服务的服务器来说,CPU与I/0的处理能力渐渐地已不能满足用户的要求。从网络技术的发展来看,内存访问速度的增长、服务器处理速度的增长都赶不上带宽的增长速度,这就意味着对于电子商务平台来说,更多的性能瓶颈将会出现。解决这种问题有两种方法,不断升级硬件和构建服务器集群来均衡负载。而构建服务器集群均衡负载的方法无论在开销还是性能方面都要优于第一种方法,所以,本文主要研究服务器性能的优化和构建服务器集群来进行负载均衡的有关技术。本论文对Web服务器Apache2.0进行了研究及一定程度上的优化,并且还对基于Linux的虚拟服务器集群技术(简称LVS)和其中的负载均衡算法进行了研究和分析,在此基础上提出了一种基于动态反馈的负载均衡算法。本论文根据对Apache服务器的分析,在实践中采用一些方法优化了Apache服务器性能。利用Linux虚拟服务器LVS实现了Web服务器集群的负载均衡;在此基础上提出一种基于动态反馈的负载均衡算法,并对之做出了仿真实验。对于缓解不断增加的WEB服务器负载来说,实现其负载均衡是一种最为有效的方法,这种方法的实现能够最大程度上用已有的资源提升服务器性能,提高资源利用率。在现有的网络体系结构上,服务器集群负载均衡的实施能够有效提高系统可用性,避免单一故障点,为电子商务平台的稳定运行提供更好的保障,给用户带来更好的应用体验。目前,本论文在对于Apache优化以及LVS集群负载均衡技术做了细致的研究分析的基础上,在一个汽车零部件电子商务平台上做出仿真实验,论文所提出的性能优化和基于动态反馈的负载均衡算法经过测试和数据分析对比,得到了较为满意的结果。

刘刚常[10]2006年在《基于集群分配器的Web服务器集群系统的Web QoS研究》文中提出随着HTTP请求的指数性增长和电子商务应用的兴起,如何在Web服务器系统中建立QoS控制机制与策略,从而满足不断增长的客户需求、并为不同的用户或请求提供服务区分和性能保证,这是当今Web发展所面临的巨大挑战,也是实现下一代网络QoS不可缺少的关键环节。目前,在国际上,Web QoS的研究已经越来越受到研究者和公司的重视;但在国内,这方面的研究还很少见到,其产品和专利技术更是空白。 本文针对局域Web服务器集群体系结构,深入地研究了Web QoS控制的策略、模型和性能分析;针对单服务器实现了动态页面自适应。本文的主要研究成果如下: (1)针对传统的Web服务器集群的负载均衡过程中不考虑HTTP请求的类别和优先级(即QoS-unaware),本文提出了在Web服务器集群的负载均衡过程中考虑HTTP请求的客户标识和内容优先级的基于客户标识优先级(即QoS-aware)综合控制思想,并据此提出了Web QoS控制的综合策略和算法。主要是基于典型的SP、FSPF方案提出了一种QoS-aware请求分配的综合方案。根据以上思想提出了一种采用基于客户标识(Customer-aware)请求分配器的、能够实现QoS-aware综合控制策略的Web服务器集群体系结构,在此基础上,提出了单个集群的MSMQ系统模型,并使用SHLPN建模和分析技术为之建立了请求泊松到达下的SHLPN性能分析模型并进行了性能分析。性能分析的数值结果表明:同典型的QoS-unaware负载均衡控制策略FSPF相比,上述QoS-aware综合控制策略能够为不同类型的客户或请求提供区分的Web QoS。 (2)针对集群中的单个服务器节点提出了基于MVC模式实现动态Web页面自适应机制。并利用实现了MVC模式的JAVA框架—Struts实现了动态Web页内容自适应。建立了一个测试系统以及使用httperf工具对其进行了分析。实测数据的对比分析表明:同普通的Apache服务器相比,本文采用动态Web页面自适应机制的Apache服务器能够为不同的客户或请求提供区分的Web QoS控制。

参考文献:

[1]. 电子商务平台的性能优化和高可靠性研究与实现[D]. 彭海平. 上海交通大学. 2007

[2]. 基于Apache服务器集群系统的负载平衡设计与实现[D]. 郭相勇. 暨南大学. 2003

[3]. 高可靠性集群部署的设计与实现[D]. 邓仲举. 华中科技大学. 2012

[4]. Web服务器性能优化研究与实现[D]. 李鑫. 哈尔滨工程大学. 2011

[5]. Apache-Tomcat服务器集群管理系统的设计与实现[D]. 黄洲. 华中科技大学. 2011

[6]. Web服务器集群的服务质量研究[D]. 易琦娜. 武汉大学. 2004

[7]. 基于网络存储的web服务器集群系统的研究与实现[D]. 李天翼. 四川大学. 2003

[8]. 可扩展、高性能Web服务器系统的研究[D]. 雷迎春. 中国科学院研究生院(计算技术研究所). 2001

[9]. 负载均衡算法研究及其在电子商务平台上的应用[D]. 王淑静. 郑州大学. 2013

[10]. 基于集群分配器的Web服务器集群系统的Web QoS研究[D]. 刘刚常. 湖南大学. 2006

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

基于Apache服务器集群系统的负载平衡设计与实现
下载Doc文档

猜你喜欢