导读:本文包含了广域存储论文开题报告文献综述及选题提纲参考文献，主要关键词:广域分布式存储系统,数据一致性,无领导者节点,局部一致性
广域存储论文文献综述
刘璐[1]（2018）在《广域分布式存储系统一致性协议的研究与优化》一文中研究指出随着大数据时代的到来和数据的爆炸性增长,以及用户对数据服务的可用性、可扩展性和容错性需求的不断提高,分布式存储技术,特别是广域分布式存储技术的价值和重要性日渐凸显。复制技术是实现广域分布式存储系统实现快速响应的关键,而数据一致性的实现性能是评估复制技术的重要指标。目前,最有效的解决数据一致性问题的方法是采用具有领导者节点结构的分布式一致性协议,如典型的Multi-Paxos协议。但是,随着越来越多的分布式存储系统转向全球范围内跨不同地理区域的多数据中心架构,广域分布式存储系统面临协议延迟高、吞吐量低等问题。在CAP定理的约束下,传统的分布式一致性协议在广域网环境下无法满足用户对一致性和可用性的要求。因此,如何在广域网环境下,有效提高分布式一致性协议的可用性,是一项极具挑战性的课题。针对上述问题,本文以提高系统吞吐量和延迟为目标,通过优化无领导者节点一致性协议,对广域网环境下分布式数据一致性协议的优化问题展开研究。主要研究内容和创新点归纳如下:首先,对典型的无领导者节点分布式一致性协议EPaxos协议中存在的命令冲突发生时协议退化问题进行了理论分析。通过引入分布式全局时钟,提出了一种基于时间戳排序的EPaxos改进协议,即T-EPaxos协议。该协议将EPaxos协议命令冲突发生时的协议退化过程,改为根据命令的时间戳进行定序,从而有效地减少了协议退化产生的消息传递数量,提高了系统的延迟和吞吐量性能表现。在此基础上,针对广域分布式存储系统的特点,提出了在数据中心内和跨数据中心间采用不同一致性协议的混合一致性方案H-Paxos。其中,在跨地域的多数据中心架构中的单数据中心内,使用具有领导者节点的S-Paxos协议,而在跨数据中心间,使用前文提出的T-EPaxos无领导者节点一致性协议。为了进一步提高诸如灾难预警、应急响应等实时性高的场景的响应速度,根据CAP定理,对分布式一致性强度与系统可用性进行了量化定义,并基于此提出了广域分布式系统分布式局部一致性框架。仿真结果表明,提出的分布式局部一致性框架的局部分组内部,具有较好的延迟和吞吐量性能,为广域分布式存储系统的研究提供了新的思路和突破口。(本文来源于《哈尔滨工业大学》期刊2018-12-01）
郭逸尚[2]（2018）在《广域环境下消防数据采集与存储管理系统》一文中研究指出本文为适应现代城市和社会公共安全发展的需要,针对目前消防行业存在的问题以及相关国内外研究现状进行分析,论证需求的可行性,设计出符合国家标准化管理委员会发布的《城市消防远程监控系统》系列标准的消防数据获取与存储管理系统,该系统整体分为消防信息采集端、服务端、代理端以及客户端四个子系统,各子系统间采用HTTP协议以及轻量级基于发布/订阅的MQTT协议共同实现消息传递。本文主要工作具体如下:1)为解决不同消防产品协议不一致的问题,提出并设计消防信息传输装置,将不同类型的消防数据根据标准的报警网络传输通信协议转化成统一的格式,使不同厂家的消防产品均可通过消防信息传输装置接入网络,实现消防物联的接入操作。2)针对消防物联网环境的特点,系统采用跨平台并基于TCP连接的MQTT协议,在IaaS模式下安装Mosquitto消息代理服务器,采用发布/订阅的方式实现采集端与终端之间自主的双向通信;并在其基础上设计代理端各模块,根据具体的消防业务需求实现对数据的解析、存储以及转发等功能,利用线程池技术处理消息并发问题,最终实现对消防设施的实时监测,解决消防数据采集不及时、不完整的问题。3)针对传统消防模式下无法及时准确定位火灾源的问题,通过四个子系统之间相互协作,实现及时自动报警并快速定位火灾源,从而完善报警机制,加快警情处理,有效提高火灾防控能力。4)为从源头上解决目前消防基础信息分散、底数不清的问题,服务端子系统对各类用户信息、建筑消防项目信息、建筑消防设施信息、建筑消防数据以及监察维保信息等分类管理;采用关系型数据库MySQL持久化各类信息模型,合理创建索引并利用数据库连接池技术复用数据库连接,减少系统消耗,提高数据检索与数据库访问效率。5)分析Mosquitto中原有的实现机制,针对具体的消防业务场景,采用epoll与散列表对原有的系统调用与订阅树机制进行优化,通过在不同并发量下进行优化前后的对比测试,验证优化方案的可行性,最终测试结果表明其并发性能有显着提升。目前该系统已经进入试运行阶段,近百个消防系统实现了远程接入,日平均采集数据量达到一万以上,实践表明该系统达到了预期的设计目标,满足了实际科研项目的应用需求。(本文来源于《西安电子科技大学》期刊2018-06-01）
胡创,马文韬,王文杰,龚奕利[3]（2017）在《CC-Paxos:整合广域存储系统的一致性和可靠性》一文中研究指出针对因果一致性模型约束过多且表达能力不足的问题,提出一种强的分布式上下文一致性模型。剔除同一用户的操作中非强制性的依赖关系,以及在不同客户端间定义所需的操作依赖;在此基础上,设计一种解决Paxos不能满足上层一致性需求问题的、实现分布式上下文一致性模型的共识算法CC-Paxos。利用时间戳给分布式上下文中的操作定序,采用细粒度的依赖检测,高效减少冲突操作的数目。实验结果表明,与在上层使用causal+一致性、下层用Egalitarian Paxos的方法相比,CC-Paxos显着降低了延迟,增加了吞吐量,且不需牺牲可扩展性。(本文来源于《计算机工程与设计》期刊2017年03期）
孙婕[4]（2016）在《基于云计算的广域量测系统数据存储与安全方法研究》一文中研究指出广域量测系统作为智能电网体系结构中的重要组成部分,其数据的安全性很大程度上决定着整个智能电网的安全性。随着广域量测系统应用的普及,智能电网广域量测系统所产生的数据会越来越多,针对广域量测系统大量数据存储的需求,传统的数据存储方式所承受的压力越来越大,Hadoop平台上的分布式文件系统(HDFS)可以有效解决这些问题。与此同时,虽然Hadoop平台上的HDFS在大量数据的共享和存储方面拥有显着优势,但它所带来的安全问题也不容忽视。因此,保障智能电网广域量测数据的安全成为智能电网广域量测系统数据存储时迫切需要解决的问题。数据加密技术是最基本的一种保障数据机密性的方法,对保障智能电网存储平台中数据的安全具有重要的现实意义。本课题深入研究了广域量测系统存储与安全问题,并完成了以下几方面的工作:首先,深入分析了广域量测系统数据的特点,针对广域量测系统数据量大的特点引入HDFS进行分布式存储,同时,针对数据对于安全性要求高的特点,对数据完整性验证和私密性保护两个方面进行了深入的研究。其次,针对广域量测系统数据量大,数据实时性要求高,数据安全性要求强等问题,设计了智能电网广域量测系统云计算平台。在此基础之上,针对数据存储于云端所面临的安全问题,从数据私密性保护和完整性验证两个方面分别进行方案的设计。针对数据私密性保护的问题,采用加密技术,将传统AES算法进行并行化设计,给出了基于Storm云计算技术的广域量测系统数据加密方案,此方案可以满足对广域量测系统数据的快速、并行加密;针对数据完整性验证问题,给出了基于可信第叁方的单项审计、批量审计方案,并验证了方案的安全性。最后,为实现文件的分布式存储与快速查询,搭建了Hadoop集群和HBase分布式数据库,同时在此集群的基础之上安装Storm-on-yarn,在Storm平台上验证了并行AES算法的具有处理延迟低、速度快等特点。(本文来源于《华北电力大学》期刊2016-03-01）
闫鹏飞,吴雪丽,蔡杰明,马留英,刘振军[5]（2015）在《基于广域存储系统的副本技术研究》一文中研究指出针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略。该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;并提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性。最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近。(本文来源于《网络新媒体技术》期刊2015年03期）
张春华[6]（2014）在《一种有效提升广域云存储性能的文件缓存系统》一文中研究指出为解决现有存储系统在高延迟低带宽的广域网络环境下出现的数据访问性能问题,设计实现了一个具有较高I/O性能的可扩展多节点文件缓存系统——WANcache。WANcache通过模拟数据源的文件系统命名空间实现缓存数据,异步化数据和元数据的访问,可以为上层应用提供独立持久流畅稳定的数据服务。实验数据表明,缓存命中时,WANcache可以提供和局域网环境下集群文件系统相同的读写带宽;缓存未命中时候,WANcache可以多节点并发通过广域网络读取数据,具有较好的可扩展性。总体来看,WANcache为解决广域数据访问的性能问题提供了一种有效的实现。(本文来源于《电脑知识与技术》期刊2014年20期）
[7]（2013）在《昆腾宣布推出全新广域存储解决方案系列产品领航大数据管理》一文中研究指出本刊讯数据保护和大数据管理领域厂商昆腾公司(NYSE:QTM)近日宣布推出新的广域存储解决方案系列Lattus,它可提供高可扩展、高成本效益的全球分布的磁盘归档,并能够在不中断或不迁移的情况下在磁盘上永久存储数据。Lattus整合了分散的对象存储和昆腾文件系统技术,提供新的归档方式,可克服多PB存储环境中传统磁盘架构造成的限制和低效率。(本文来源于《计算机与网络》期刊2013年01期）
[8]（2013）在《全新广域存储解决方案领航大数据管理》一文中研究指出昆腾Lattus解决方案整合分散的对象存储,实现高可访问、高可扩展、耐用的多PB数据库管理数据保护和大数据管理领域厂商昆腾公司(NYSE:QTM)近日宣布推出新的广域存储解决方案系列Lattus?,它可提供高可扩展、高成本效益的全球分布的磁盘归档,并能够在不中断或不迁移的情况下在(本文来源于《办公自动化》期刊2013年01期）
杨磊[9]（2012）在《基于P2P结构的广域分布式存储相关技术研究》一文中研究指出P2P计算技术有别于传统客户/服务器服务模式,具有极强的鲁棒性和可扩展性。在互联网信息爆炸的今天,利用P2P技术来构建海量数据分布式存储系统成为最有效的存储组织模式之一。P2P计算环境中的拓扑一致性、节点动态性、异构性和自治性等问题是构建分布式存储系统面临的关键问题和难点。以利用Internet上个人计算机的空闲计算资源、存储资源和网络资源构建一个面向海量用户的海量分布式存储系统为主要应用目标,本文研究了目前主要采用的分布式存储技术,分析了利用P2P技术构建分布式存储系统面临的主要问题,在研究构建P2P存储系统的基础理论和算法基础之上,针对现有P2P存储系统在实时性和容错性上存在的不足,提出一个面向Internet的基于对等结构的分布式存储系统(RSA-Store)框架,对存储覆盖网络构建、数据管理、副本一致性维护和负载均衡等问题提出了相应的解决方案和策略,主要研究工作和创新如下：(1)提出一种新的存储覆盖网络构建机制来改善P2P网络中的拓扑一致性问题。拓扑一致性问题严重制约了存储系统的性能,现有研究通过测量节点之间的网络距离并在此基础上对节点进行分组来改善这种影响,通过网络距离进行分组的方法具有不稳定性和带来大量的聚集开销。针对上述问题,利用Internet结构的自然属性建立一个基于区域语义的层次覆盖网络(RSA-HRing),给出了相应的拓扑维护机制,设计了基于推(Push)拉(Pull)相结合的超节点及其备份节点的选取算法,提出一种预防超节点失效的鲁棒性算法SNFT-RA。在此基础上针对现有网络距离测量方法中采用时延和跳数度量容易带来叁角不等式问题,详细描述和分析了通过路径矢量测量网络距离的思想,并将其应用到覆盖网络的路由算法中,提出了一种基于路径矢量(Path-Vector)的覆盖网络路由算法(PVRA)。仿真实验表明,RSA-HRing能显着降低覆盖网络拓扑构建和维护开销PVRA具有较好的路由性能,能够在保持覆盖网络路由规模的同时显着节约实际物理路由开销。(2)结合存储用户访问行为和区域活动特点,在RSA-HRing网络中提出一种基于区域感知的数据管理模型。基于区域感知的数据管理模型采用静态的数据放置策略Ⅰ (nter)-Ⅰ(ntra) BS来保证数据的精确定位和容错性能；同时详细分析了用户区域活动行为特点,提出一种基于区域感知的动态副本生成策略(RA-RCM)来改善数据访问性能。针对数据放置和副本生成策略设计了详细的定位算法和副本管理机制,用数学方法分析了RSA-HRing环境下该模型的访问开销,同时给出了节点失效对数据访问成功率影响的概率分析。仿真实验表明,如果合理控制簇节点规模和备份阈值,RA-RCM算法可以显着的节约数据定位跳数；Ⅰ (nter)-Ⅰ (ntra) BS能够有效应对节点的失效,尤其是在覆盖网层引入SNFT-RA算法后系统具有较好的数据容错能力。(3)提出一种基于节点异构度的覆盖网络副本一致性维护方法(NHDCOM)。异构性是RSA-Store环境下节点的典型特征,现有的副本一致性维护算法对节点异构性缺乏考量,NHDCOM引入了节点能力度量参数-节点异构度,利用Chord环组织副本节点,提出一种基于节点指取表的环分割算法,理论分析证明该算法能够以较小的开销帮助更新源节点获得所有其他副本节点的异构度信息。结合节点异构度,给出了一种求解最小延迟更新内容树(minimum delay update-content tree)的问题模型,利用动态规划的方法提出一种启发式算法-MDUT-H。仿真实验表明,相较现有算法,在不同的节点异构度分布、副本文件大小以及节点规模等环境下,NHDCOM算法具有出色的效率和稳定性。(4)提出一种基于虚拟服务器拆分的负载平衡算法(VSSLBA)。有效的负载平衡算法对RSA-Store系统数据的可用性和实时性将产生积极的影响。在物理节点上建立多个虚拟服务器并根据需要进行虚拟服务器迁移是目前DHT网络中经常采用的负载平衡方法,但这种方法存在单虚拟服务器问题(SVSP)。根据节点问间距的分布概率,建立了基于虚拟服务器的DHT网络负载分布数学模型,详细分析和计算了DHT网络中单虚拟服务器问题(SVSP)发生的概率,提出一种虚拟服务器拆分算法,该算法能够在解决SVSP问题的同时节约虚拟服务器维护开销。仿真实验结果表明,VSSLBA算法在有效解决SVSP问题的同时能够实现良好的负载平衡性能。(本文来源于《湖南大学》期刊2012-11-30）
黄浩[10]（2009）在《基于P2P的广域存储系统数据持久存储机制研究》一文中研究指出P2P(Peer-to-Peer)的组织模式因具有很好的扩展性、容错性和高性能等特点,已经成为新一代互联网应用的重要形式。基于P2P的广域存储系统一直是研究界所关注的热点,被认为是P2P最具前途的应用之一。数据的持久性存储是制约广域存储系统发展的关键,也是其研究的难点问题。本文首先概述了当前知名的基于P2P的广域存储系统及其所使用的持久存储技术,然后详细分析和对比了数据持久存储技术中存储数据冗余技术、存储数据定位技术、存储数据错误检查技术和存储数据修复技术。针对基于P2P的广域存储系统中数据持久性存储存在的问题,本文研究了近年来基于P2P的广域存储系统节点间Byzantine错误冗余相关技术的成果。概述了系统容错的要求与技术,对现有Byzantine错误冗余技术进行了总结。详细分析对比了目前各种典型Byzantine容错系统的容错方式,探讨了基于P2P的广域存储系统中Byzantine容错技术需要改进的关键问题,并对未来的研究方向进行了讨论。随后,给出了一个实际环境下基于P2P的广域存储系统Byzantine错误冗余的解决方案框架。在该解决方案的框架下,本文以预测的网络距离对参与节点进行分组,形成由超节点维护管理的覆盖网络。使用覆盖网络拓扑结构保持机制、DHT数据存储机制、依据数据访问率不同的数据备份机制和数据修复机制,维护系统的可靠性和数据的持久存储。在仿真实验基础上,通过与典型系统Chord在数据存储定位路由查询跳数、节点加入和退出系统时系统平均处理消息数以及节点失效时数据修复所需平均时间的性能对比,验证了该P2P广域存储系统数据持久性存储的性能。(本文来源于《湖南大学》期刊2009-05-11）
广域存储论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文为适应现代城市和社会公共安全发展的需要,针对目前消防行业存在的问题以及相关国内外研究现状进行分析,论证需求的可行性,设计出符合国家标准化管理委员会发布的《城市消防远程监控系统》系列标准的消防数据获取与存储管理系统,该系统整体分为消防信息采集端、服务端、代理端以及客户端四个子系统,各子系统间采用HTTP协议以及轻量级基于发布/订阅的MQTT协议共同实现消息传递。本文主要工作具体如下:1)为解决不同消防产品协议不一致的问题,提出并设计消防信息传输装置,将不同类型的消防数据根据标准的报警网络传输通信协议转化成统一的格式,使不同厂家的消防产品均可通过消防信息传输装置接入网络,实现消防物联的接入操作。2)针对消防物联网环境的特点,系统采用跨平台并基于TCP连接的MQTT协议,在IaaS模式下安装Mosquitto消息代理服务器,采用发布/订阅的方式实现采集端与终端之间自主的双向通信;并在其基础上设计代理端各模块,根据具体的消防业务需求实现对数据的解析、存储以及转发等功能,利用线程池技术处理消息并发问题,最终实现对消防设施的实时监测,解决消防数据采集不及时、不完整的问题。3)针对传统消防模式下无法及时准确定位火灾源的问题,通过四个子系统之间相互协作,实现及时自动报警并快速定位火灾源,从而完善报警机制,加快警情处理,有效提高火灾防控能力。4)为从源头上解决目前消防基础信息分散、底数不清的问题,服务端子系统对各类用户信息、建筑消防项目信息、建筑消防设施信息、建筑消防数据以及监察维保信息等分类管理;采用关系型数据库MySQL持久化各类信息模型,合理创建索引并利用数据库连接池技术复用数据库连接,减少系统消耗,提高数据检索与数据库访问效率。5)分析Mosquitto中原有的实现机制,针对具体的消防业务场景,采用epoll与散列表对原有的系统调用与订阅树机制进行优化,通过在不同并发量下进行优化前后的对比测试,验证优化方案的可行性,最终测试结果表明其并发性能有显着提升。目前该系统已经进入试运行阶段,近百个消防系统实现了远程接入,日平均采集数据量达到一万以上,实践表明该系统达到了预期的设计目标,满足了实际科研项目的应用需求。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
广域存储论文参考文献
[1].刘璐.广域分布式存储系统一致性协议的研究与优化[D].哈尔滨工业大学.2018
[2].郭逸尚.广域环境下消防数据采集与存储管理系统[D].西安电子科技大学.2018
[3].胡创,马文韬,王文杰,龚奕利.CC-Paxos:整合广域存储系统的一致性和可靠性[J].计算机工程与设计.2017
[4].孙婕.基于云计算的广域量测系统数据存储与安全方法研究[D].华北电力大学.2016
[5].闫鹏飞,吴雪丽,蔡杰明,马留英,刘振军.基于广域存储系统的副本技术研究[J].网络新媒体技术.2015
[6].张春华.一种有效提升广域云存储性能的文件缓存系统[J].电脑知识与技术.2014
[7]..昆腾宣布推出全新广域存储解决方案系列产品领航大数据管理[J].计算机与网络.2013
[8]..全新广域存储解决方案领航大数据管理[J].办公自动化.2013
[9].杨磊.基于P2P结构的广域分布式存储相关技术研究[D].湖南大学.2012
[10].黄浩.基于P2P的广域存储系统数据持久存储机制研究[D].湖南大学.2009