对象存储设备论文-范中磊,李小亮,惠小红

对象存储设备论文-范中磊,李小亮,惠小红

导读:本文包含了对象存储设备论文开题报告文献综述及选题提纲参考文献,主要关键词:对象存储,对象存储设备,对象,均匀分布

对象存储设备论文文献综述

范中磊,李小亮,惠小红[1](2019)在《对象存储设备中对象的均匀分布方法》一文中研究指出针对目前对象存储设备上的对象分布策略可能导致的单一目录下对象过多、分布不均匀等问题,本文提出了一种基于对象ID分段的均匀分布方法,有效地提升了对象存储设备上对象分布的均匀性,从而达到提升对象访问性能的目的.该方法在我们自主研发的CSCloud对象存储系统中得以应用和验证.(本文来源于《微电子学与计算机》期刊2019年06期)

吴林[2](2018)在《基于异构存储设备的分布式对象存储系统优化研究》一文中研究指出随着电子图书、电商、医疗大数据、基因工程、高性能计算、虚拟/增强现实、流媒体等应用的发展和普及,数字资源近年来出现大规模增长,这些信息的存储和处理对底层存储系统的容量、性能、可靠性和可扩展性要求越来越高。传统基于磁盘的中心化存储系统不能有效解决大数据应用的可扩展性问题。因为磁盘的容量、体积和功耗都会成为制约系统扩展的瓶颈。近年来快速发展的新型存储介质,比如非易失性内存、闪存和归档硬盘,具有高密度、低时延和低功耗的诸多优点,构建基于混合介质的异构分布式对象存储系统成为降低数据中心成本的有效方法。这些新介质的引入会对传统的存储结构带来新的挑战,主要表现为传统的系统软件和应用程序的设计思想需要及时调整,以适应新介质的特征。为此,本文首先分析了基于非易失性存储器的混合介质对象存储系统的基本架构和研究热点,基于这些研究背景,本文从分布式对象存储系统中非易失性内存的管理策略、分布式对象存储系统的数据分配算法和对象存储系统中基于MapReduce计算框架的数据放置策略出发,研究基于混合介质的对象存储系统的优化方法。本文的主要研究内容如下:(1)混合介质的对象存储系统中非易失性内存的管理策略。在部署了非易失性内存的单节点上,本文设计了新的内存管理方案,用于提高基于非易失性内存的文件系统的磨损均衡效果,从而提升非易失性内存设备的使用寿命。该方法的基本思想是在每次分配内存页面的时候都优先选取写次数较少的内存页,并通过DRAM与非易失性内存结合的方法建立索引结构,加速查找操作。(2)基于混合介质的对象存储系统数据分布算法研究。传统基于哈希(Hash)的数据分配策略可以保证数据均匀分布到不同类型的存储设备,但是这些算法的缺点是都没有考虑存储设备的异构特性。例如,闪存和非易失性内存的擦写次数有限,使用寿命比普通的磁盘短,因此不适合存储写密集型的数据对象。为此,本文设计了新的数据分布算法,旨在充分考虑存储设备的异构特征以及系统的可靠性、稳定性、可扩展性的前提下保证读写性能和减少对非易失性存储器的写操作。该算法的核心思想是利用偏向哈希(Biased Hashing),根据数据对象的特点,动态选择合适的存储设备,解决传统均匀哈希算法在异构存储系统的问题。(3)基于异构环境的MapReduce框架数据分配策略的研究。在基于混合介质的对象存储系统中MapReduce数据分配策略方面,本文发现由于异构设备而使得Map/Reduce任务执行时间不同,本文基于Ceph架构,设计了新的数据放置算法,考虑集群间的负载均衡和异构特征,使得工作负载的执行时间最短。本文还通过实验验证了所提出的叁种优化方法的有效性。实验结果表明,这些优化工作能显着提升非易失性存储器的使用寿命,并能在保证系统负载均衡的前提下达到最小化应用执行时间的目的。(本文来源于《重庆大学》期刊2018-04-01)

刘景宁,谢黎明,冯丹,吕满[3](2010)在《对象存储设备端数据管理策略研究》一文中研究指出在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing objectbased storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统.(本文来源于《计算机研究与发展》期刊2010年10期)

胡永奎[4](2010)在《对象存储设备中文件系统的设计与实现》一文中研究指出随着数字化信息的爆炸式增长,存储设备已经从服务器中分离出来成为独立的存储载体。基于对象的存储设备(Object-Based Storage Device, OSD)作为信息存储资源的智能管理单元,是基于对象存储系统(Object-Based Storage, OBS)的基础平台,能够智能化管理OSD中存储的对象并提供外部对象访问接口。本地文件系统是OSD中软件系统的核心,目前较先进的Lustre分布式存储文件系统的对象管理是基于Ext3实现的,但随着负载的增大,Ext3在空间分配和对象查找等方面均呈现出不同程度的不足,使用Ext3管理OSD对象存在一定的局限性。针对Ext3作为本地文件系统的弊端,结合OSD负载特征,设计并实现了一种专用于OSD中对象管理的基于对象的文件系统(Object-Based Storage File System, OBSFS)。采用基于大小块划分磁盘空间,提高系统吞吐量和磁盘的利用率;采用连续块和B+树管理空闲空间,不同的负载空间采用不同的分配策略,保证对象的连续存放,以克服大对象的间接索引所导致的性能下降问题,同时磁盘空间也能够快速合理的分配;采用B+树组织命名空间,在对象数据块中嵌入对象元数据,实现对象的快速查找和对象数据的直接访问;采用对象索引节点存储元数据,对象数据和对象元数据连续存放,有利于减少磁盘寻道开销。最后对OBSFS进行相关性能的测试,并对测试结果进行分析。结果表明,OBSFS的性能指标明显优于Ext3,适合作为OSD中的本地文件系统。(本文来源于《解放军信息工程大学》期刊2010-04-15)

詹玲[5](2009)在《面向应用的对象存储设备的数据组织研究》一文中研究指出随着数据重要性的不断提高,现有计算机系统的研究重点正在逐渐从以计算为中心转变为以存储为中心,从而对存储系统的性能、可靠性和可管理性等方面提出了更高的需求。利用对象存储技术,结合不同应用的存储和访问特点来优化数据组织,可以充分发挥每个存储设备的自主性和智能性,能够很好的在设备级提高存储的服务质量,来满足不同应用的存储服务需求。通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储设备MOSD(Multimedia Object Storage Device)的数据组织结构。该结构采用两层数据组织:下层采用RAID5的方式存储冷数据,磁盘利用率高;上层放常用的热点数据,通过将不同对象存放到不同磁盘上,减少不同用户的访问冲突,可以提高多用户的并发访问性能。采用这种两层对象数据组织方式,保证了系统的性能比较高,同时也具有较高的磁盘空间利用率。通过模拟测试,在多用户并行访问的情况下,MOSD的性能平均比RAID0高90%到550%。通过对Web存储性能的分析,提出一种Web对象存储设备WOSD(Web ObjectStorage Device)的数据组织结构。系统采用两层存储方式:上层保留一定的存储空间做磁盘缓存,下层为正常的用户数据存储区域。设计了一种Web对象的关联算法,在系统空闲时,分析记录的trace信息,采用滑动窗口方式统计trace中各个对象的关联度(只有在滑动窗口内的对象具有关联性);然后按照关联度计算不同的关联集合,并将不同的关联集合组织到上层的磁盘Cache中;这样既减少了访问不同热点数据的磁盘寻道距离,又减少访问相关热点数据的寻道次数,从而可以改善存储系统的I/O性能。实验表明,采用WOSD结构后,系统性能提高了20%到25%。通过对现有不同存储系统的容错能力进行分析,提出一种高可用对象存储设备HAOSD(High Availability Object Storage Device)的数据组织结构。HAOSD系统分两层:上层存储的对象采用多备份方式来实现高可靠性,保证了系统的高性能,但是磁盘利用率比较低;下层采用RAID5、RAID6以及RAID Blaum等不同的容错编码来实现多盘容错功能,磁盘利用率较高,但性能开销大。新对象和热点对象放上层,从而保证系统的性能。下层主要用来放大量的冷对象,磁盘利用率比较高。通过仿真实验表明,HAOSD在保证可靠性的情况下,有很好的访问性能,在1000Mbps以太网的环境下,最大读写性能可以达到104MB/s。(本文来源于《华中科技大学》期刊2009-11-01)

王继敏[6](2008)在《对象存储设备本地文件系统的研究》一文中研究指出由于高吞吐率和高容量存储系统的需求牵引,网络存储体系结构正经历着重要的变化。基于对象的存储是一种非常有前景的网络存储模型。在该模型中,文件被分割成一个或多个对象存储在具有一定计算能力的对象存储设备(Object-Based Storage Device , OSD)中。对象存储设备负责管理本地的存储空间,对外提供对象级访问接口。对象存储设备面临的负载特点与通用文件系统的预期有很大不同,通用文件系统用于执行OSD存储管理任务时不能有效的发挥OSD的性能。在此背景下提出了一种用于对象存储设备的本地文件系统OSDFS(全称)架构,以提高OSD存储管理的性能。阐述了OSDFS的设计、实现,并与通用文件系统进行性能对比测试。OSDFS针对对象负载特征采取了一些提高性能的设计,为对象存储设备提供了更有效的存储管理。相对于通用文件系统(如Ext2),OSDFS主要有如下特点:首先,用连续块取代块作为对象的基本组成单元,克服了处理大对象时由于间接索引而造成的性能损失;其次,用B+树组织对象名到对象索引节点的映射,实现了在平坦名字空间下对象的快速查找;最后,用空闲连续块桶组织空闲空间并使用预分配策略,使磁盘空间的分配快速、合理,减少外部碎片。最后对OSDFS进行了多项测试,并对测试结果进行了分析和评价。测试结果表明,在仿真的OSD负载下,OSDFS性能明显优于Ext2,并且在长期读写操作过程中,性能下降的速度明显比Ext2缓和。(本文来源于《华中科技大学》期刊2008-06-01)

肖维[7](2007)在《对象存储设备的安全性研究》一文中研究指出对象存储系统(OBS)采用了对象接口,整个系统由元数据服务器(MDS)、客户端(client)和对象存储设备(OSD)叁部分构成。MDS负责元数据的管理,OSD是数据存储的实际载体,分离了数据的存储和管理。通过开放的网络,客户端可以直接访问存储在OSD上的对象。OSD直接地面对了网络安全威胁和恶意攻击。基于T10 OSD-2标准,针对OSD的安全设计了证书访问控制机制。主要包含两个方面,首先,提供证书验证机制保障只有合法证书才能对OSD对象进行访问,并为安全级别高的数据提供数据完整性以保证其高可靠性;其次,因为证书访问的安全性基于密钥的机密性,因此在MDS与OSD之间定期刷新密钥来保证密钥机密性。两者的结合可以有效地保证OSD的安全。在原有OSD上实现了一个拥有证书访问控制机制的安全OSD,主要包括证书验证过程和密钥刷新过程。其中证书验证由验证证书、重放检测和数据完整性叁个模块组成,密钥刷新包括主密钥的刷新和其它密钥的刷新两个模块。并针对OBS中OSD可能遭遇的六种安全威胁进行了安全性分析,结果表明,安全OSD的设计和实现能够有效的防范各种安全威胁。对OBS系统性能进行测试的结果表明:验证证书对性能影响很小,还不到5%,而保证数据完整性使系统性能下降了52%,尽管这一现象在多结点情况下有所缓解,但仍然达到了30%。(本文来源于《华中科技大学》期刊2007-06-01)

彭万利[8](2007)在《对象存储设备性能改进方法的研究》一文中研究指出随着互联网的高速发展以及PB级海量信息存储需求的出现,以富于表现力的对象作为访问接口的对象存储系统克服了块接口和文件接口的不足,成为海量信息存储系统的一种主流架构。基于对象存储系统由客户端、元数据服务器和基于对象存储设备和通信网络组成。对象存储设备是基于对象存储系统的核心,它不仅仅是数据的载体,还承担着组织和管理数据的任务。它将数据以对象的形式进行组织管理,并为元数据服务器和客户端提供对象接口的服务。数据在客户端和对象存储设备间传输,对象存储设备的服务性能,直接影响到整个对象存储系统的性能。因此充分利用对象存储设备的特点来提高对象存储系统的性能将变得日益重要。详细分析研究了T10提出的OSD-2草案和Ext2,采用扬长避短的策略,将一维平坦名字空间映射成树形目录空间,将更好的利用Ext2的层次目录结构来组织同一分区下的用户对象,提高对象查找性能。针对对象的数据在磁盘上分布并非完全离散,而是部分连续的特点,对数据块的逻辑块号元数据信息进行重组,减少了大对象的逻辑块号占用空间以及为获取数据逻辑块号而进行的频繁磁盘操作次数,提高了OSD读取大对象的性能。针对客户端与OSD之间的数据I/O量非常大,而属性I/O非常频繁的特点,将数据缓存和属性缓存分离。对数据缓存采用乒乓策略,减少了磁盘操作及磁盘等待时间。并通过在数据缓存结构和属性缓存结构之间建立的映射机制,保证了数据缓存中对象对应的属性一定在属性缓存中,提高了访问速度。(本文来源于《华中科技大学》期刊2007-06-01)

钱鑫[9](2007)在《基于对象存储设备目标器的设计与实现》一文中研究指出随着越来越多的对大规模存储的要求,国际上正在研究全新的存储架构和新型文件系统,希望能有效结合存储区域网(SAN)和附网存储(NAS)系统的优点,支持直接访问磁盘以提高性能,通过共享的文件和元数据以简化管理。基于对象的存储设备(Object Storage Device,OSD)被认为是该问题的解决之道。设计了OSD目标器的软件结构,包含叁个组成部分:FETD(Front-End Target Driver),OSD STML(SCSI Target Mid-Level)和对象管理模块。目标器端的FETD层会以iSCSI PDUs的形式收到这些OSD命令或数据。FETD层会将这些iSCSI PDUs解包得到CDB(命令描述块),并将这些CDB交到STML层。STML层对CDB进行解析,根据命令的不同,为它们制定不同的操作流程。最后STML层将CDB与执行CDB所需要的资源交给对象管理模块,由对象管理模块完成对OSD命令和数据的实际操作。设计实现的OSD对象管理模块中,磁盘布局实现了新的以“Region”为基础的结构,同时“Region”还会分为不同的类型,有STRIPE,LARGE ,SMALL。对象的元数据存储在Onode结点里面,类似于EXT2文件系统中的i节点,Onode结点里还设计实现了与对象相关的用户对象负载统计属性页、用户对象存储策略属性页、用户对象文件信息属性页。在一个已存在的“Region”上可以根据应用程序的要求实现创建对象,并创建Onode结点实现对象的属性控制。实现了OSD目标器的两个关键技术:其一,扩展SCSI协议使其支持OSD设备。其二,对象管理模块和CACHE模块间通讯时要注意将基于对象的命令转换为条带命令下发给CACHE模块。访问OSD设备的途径,可以直接通过OSD设备驱动程序提供的API访问存储设备和通过对象文件系统进行访问。最后实现了OSD目标器的原型系统,通过对原型系统进行的性能测试,证明了原型系统能够达到设计的要求。(本文来源于《华中科技大学》期刊2007-06-01)

龚玮,冯丹,覃灵军[10](2006)在《一种对象存储设备中自适应动态预取策略》一文中研究指出在对象存储系统中,对象存储设备具有很高的智能和处理能力,它负责对象及其属性的数据组织和管理,向外提供基于对象的访问接口。每个对象均具有属性,它反映了对象的某些特征。通过为每个对象自定义一个预取属性页,对用户访问对象存储设备的规律进行智能的自我学习,从而实现一种高效的、自适应的动态预取算法,可以提高对象存储设备的预取命中率,从而提高对象存储设备的性能。(本文来源于《计算机应用研究》期刊2006年10期)

对象存储设备论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着电子图书、电商、医疗大数据、基因工程、高性能计算、虚拟/增强现实、流媒体等应用的发展和普及,数字资源近年来出现大规模增长,这些信息的存储和处理对底层存储系统的容量、性能、可靠性和可扩展性要求越来越高。传统基于磁盘的中心化存储系统不能有效解决大数据应用的可扩展性问题。因为磁盘的容量、体积和功耗都会成为制约系统扩展的瓶颈。近年来快速发展的新型存储介质,比如非易失性内存、闪存和归档硬盘,具有高密度、低时延和低功耗的诸多优点,构建基于混合介质的异构分布式对象存储系统成为降低数据中心成本的有效方法。这些新介质的引入会对传统的存储结构带来新的挑战,主要表现为传统的系统软件和应用程序的设计思想需要及时调整,以适应新介质的特征。为此,本文首先分析了基于非易失性存储器的混合介质对象存储系统的基本架构和研究热点,基于这些研究背景,本文从分布式对象存储系统中非易失性内存的管理策略、分布式对象存储系统的数据分配算法和对象存储系统中基于MapReduce计算框架的数据放置策略出发,研究基于混合介质的对象存储系统的优化方法。本文的主要研究内容如下:(1)混合介质的对象存储系统中非易失性内存的管理策略。在部署了非易失性内存的单节点上,本文设计了新的内存管理方案,用于提高基于非易失性内存的文件系统的磨损均衡效果,从而提升非易失性内存设备的使用寿命。该方法的基本思想是在每次分配内存页面的时候都优先选取写次数较少的内存页,并通过DRAM与非易失性内存结合的方法建立索引结构,加速查找操作。(2)基于混合介质的对象存储系统数据分布算法研究。传统基于哈希(Hash)的数据分配策略可以保证数据均匀分布到不同类型的存储设备,但是这些算法的缺点是都没有考虑存储设备的异构特性。例如,闪存和非易失性内存的擦写次数有限,使用寿命比普通的磁盘短,因此不适合存储写密集型的数据对象。为此,本文设计了新的数据分布算法,旨在充分考虑存储设备的异构特征以及系统的可靠性、稳定性、可扩展性的前提下保证读写性能和减少对非易失性存储器的写操作。该算法的核心思想是利用偏向哈希(Biased Hashing),根据数据对象的特点,动态选择合适的存储设备,解决传统均匀哈希算法在异构存储系统的问题。(3)基于异构环境的MapReduce框架数据分配策略的研究。在基于混合介质的对象存储系统中MapReduce数据分配策略方面,本文发现由于异构设备而使得Map/Reduce任务执行时间不同,本文基于Ceph架构,设计了新的数据放置算法,考虑集群间的负载均衡和异构特征,使得工作负载的执行时间最短。本文还通过实验验证了所提出的叁种优化方法的有效性。实验结果表明,这些优化工作能显着提升非易失性存储器的使用寿命,并能在保证系统负载均衡的前提下达到最小化应用执行时间的目的。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

对象存储设备论文参考文献

[1].范中磊,李小亮,惠小红.对象存储设备中对象的均匀分布方法[J].微电子学与计算机.2019

[2].吴林.基于异构存储设备的分布式对象存储系统优化研究[D].重庆大学.2018

[3].刘景宁,谢黎明,冯丹,吕满.对象存储设备端数据管理策略研究[J].计算机研究与发展.2010

[4].胡永奎.对象存储设备中文件系统的设计与实现[D].解放军信息工程大学.2010

[5].詹玲.面向应用的对象存储设备的数据组织研究[D].华中科技大学.2009

[6].王继敏.对象存储设备本地文件系统的研究[D].华中科技大学.2008

[7].肖维.对象存储设备的安全性研究[D].华中科技大学.2007

[8].彭万利.对象存储设备性能改进方法的研究[D].华中科技大学.2007

[9].钱鑫.基于对象存储设备目标器的设计与实现[D].华中科技大学.2007

[10].龚玮,冯丹,覃灵军.一种对象存储设备中自适应动态预取策略[J].计算机应用研究.2006

标签:;  ;  ;  ;  

对象存储设备论文-范中磊,李小亮,惠小红
下载Doc文档

猜你喜欢