查益[1]2004年在《光盘库文件缓存管理系统的实现》文中认为在信息社会里，信息呈爆炸式增长。随着信息化建设的逐步深入，存储方面的投入在信息系统建设中的比重将会逐步增大。有数据显示，未来几年内，所有存储市场的增长均来源于网络存储设备。光盘库集光机电信息一体化，是理想的网络存储设备，不仅可以应用于异地容灾备份，还可以应用到电子政务、视频点播、在线查询等更多具有高访问量、资料种类繁多的环境中。然而，目前光盘库应用于网络存储还有其局限性。首先，网络中同一时间内出现大量光盘文件请求的情况非常频繁，但光盘库的机械手一次只能响应一个请求，因而机械手就成了整个光盘库应用的瓶颈；其次，由于光盘库响应请求之前需要先将光盘文件拷入本地硬盘再返回给客户端，会大大增加响应延迟，降低网络服务的性能和质量。 针对光盘库的局限性，本文提出在光盘库前端放置集群缓存服务器。光盘文件缓存不仅能够缩短光盘库的请求响应时间、提高网络服务质量，还能减轻光盘库机械手的负荷，提高整个光盘库的寿命：另一方面，采用集群技术将负载均衡到每台缓存服务器上，增强了单台缓存服务器的处理能力，从而获得很高的整体性能和性价比。 本文首先提出一个完整的光盘库文件缓存管理系统的体系结构，然后讨论各个功能模块的具体实现，包括：采用武汉大学网络实验的LAS(L,oad AdvanceScheduler)集群系统软件来构造集群缓存系统；集群缓存服务器与光盘库之间通过USB光驱相连，实现每台缓存服务器自动挂载和卸载USB光驱；选择合适的数据库服务器作为集群缓存服务器和光盘库的通信中介；针对光盘库自身的特点，区别于传统的代理缓存技术，提出基于光盘文件类型的缓存存储方式、缓存替换算法和强一致性缓存维护策略：实现光盘文件管理，包括已缓存的光盘文件管理和光盘库文件的管理，并设计WEB管理接口；设计光盘自动入库和出库的方案，使光盘库的管理更加自动化。最后对整个系统进行功能测试，包括缓存功能测试、USB光驱挂接测试、机械手操作测试、光盘入库和出库功能测试。
魏南琛[2]2014年在《面向光盘库的HDFS文件系统应用研究与实现》文中提出随着互联网时代的到来，各种用于提供大数据存储服务的分布式文件系统应运而生，HDFS就是其中一个应用非常广泛的开源分布式文件系统。然而，在分布式文件系统中真正有用的热数据只占很少的一部分，其中大部分的冷数据在短期内都不会被使用。因此对这些冷数据进行归档和备份变得非常重要。另一方面，由于光盘库具有数据保存时间长、成本低、存取速度相对较好的特点，使得光盘库非常适合作为数据的长期保存介质。因此，将光盘库作为第叁级存储介质可以用于解决分布式文件系统冷数据的归档和备份的问题。为了将光盘库应用在HDFS上，首先研究了现有光盘库系统的结构特点，以及光盘库系统中优化文件读写性能的策略，包括缓存替换策略和I/O调度策略等；也分析了运用于数据归档和备份的磁带库系统的优化策略；然后研究了HDFS的具体架构，通信方式以及读写文件的具体过程；最后在HDFS上实现了一种光盘库文件管理系统，其中主要包括小文件合并策略、块文件缓存策略和光盘库I/O调度策略等叁种优化策略。最终通过设计测试方案，在HDFS集群进行了模拟实验，对该系统进行了功能的测试和内存占用、小文件读写和大文件读写等方面的性能测试，可以发现该系统基本实现了数据备份和归档的功能，并且通过优化策略使系统的性能有了一定程度的提升。
林子明[3]2013年在《蓝光光盘库缓存管理机制的研究与实现》文中进行了进一步梳理数据的存储与检索是现在热门的话题，许多社会生产活动都是围绕着数据的存储和检索展开的。光盘库作为主流的存储设备，随着蓝光技术的，由于其容量大、价格低、安全性高等优点，受到社会上越来越多人的关注，在医院、电子政务等许多领域都有应用。本文立足于蓝光光盘库管理系统这一项目，选取其缓存管理模块进行针对性的研究与实现。缓存系统是光盘库中的重要模块，它缓解了光盘库由于自身机械结构上带来响应时间上的瓶颈问题，让整个系统的效率得到了很大提升。本文分析了蓝光光盘库缓存的特点，从缓存命中率上做相关的研究与分析。在缓存命中率与缓存算法的开销上做了折衷，提出了基于光盘分组的最近最少访问（Disk-Based Least Recently Used）算法。DB-LRU算法是对传统的LRU算法的改进，它继承了传统LRU算法的快速与高效，同时契合了光盘库数据存储的特点，也在一定程度上解决了LRU算法存在的缓存污染的问题。DB-LRU算法利用在同一个光盘中的数据具有的关联性，对缓存中的数据按其所在光盘分组后，按照LRU规则来淘汰数据。本文通过实验，比较FIFO算法、LRU算法与DB-LRU算法，在随机访问、有热点数据和存在突发性数据的叁种访问模式下的命中率的情况，发现DB-LRU算法在命中率比其它二者更高，且在缓存污染问题方面都比LRU算法有所改进。DB-LRU算法符合光盘库数据存储的特性，也符合它对蓝光光盘库大容量，这也为缓存管理模块的后续的改进打下了基础。
王天宇[4]2017年在《蓝光光盘库虚拟文件及管理系统设计与实现》文中研究指明近年来随着信息技术的高速发展,各行各业数据存储量级的需求在急速陡升,特别是一些政府和事业单位的归档数据量更是爆炸式增长,蓝光光盘库以其容量大、成本低等特点迅速成为归档数据的热门存储介质。但光驱读取文件慢、无法有效管理文件等相关问题的存在严重制约了蓝光光盘库的发展,该行业现急需一套基于企业级蓝光光盘库的虚拟文件及管理系统来帮助光盘库企业解决现有问题。本论文设计并实现了蓝光光盘库虚拟文件及管理系统,开发集成工具采用了Visual Studio 2012,利用C/S和B/S两种架构进行两个平台开发,采用SQL Server 2012作为数据库管理软件。本系统利用Dokan框架开发出一套Windows系统平台下的虚拟磁盘文件管理系统,将文件的读取、上传、修改和删除等操作以Windows资源管理器的形式实现,提升了用户的体验度。同时,本系统加入了异步缓存机制,将高速磁盘开辟的缓存空间作为文件写入光盘的中间站,将用户的文件操作透明化,从而提升了用户操作的效率。此外,本系统针对用户安全存储数据的要求,通过对用户权限的分析,将功能模块操作划分成两个平台进行管理,将文件的基本操作放入虚拟磁盘客户端,将系统管理性操作放入浏览器管控端,从而保证了整个系统的信息安全。本系统开发测试完成后已投入到企业级蓝光光盘库整套产品的使用,市场反馈良好,本系统对文件的有效管理以及对高速缓存的开辟改善了用户体验度,解决了蓝光光盘库存储的瓶颈问题,提升了蓝光光盘库在大数据归档存储设备中的整体竞争力。
姜晓青[5]2016年在《蓝光光盘库文件管理系统设计与实现》文中指出随着大数据时代的到来,数据存储规模日益扩大,存储能耗问题日益严重。2015年我国数据中心总量已经超过40万个,大多数数据中心的PUE仍大于2.2,存在能源利用率低的缺陷。数据中心超过40%的能源消耗在数据存储上,高能耗数据存储问题已经严重制约其发展。针对目前数据存储的高能耗问题,本文提出以低功耗的蓝光光盘作为存储介质,并对蓝光光盘库中文件管理进行了研究。本文从数据访问规律着手,将数据分为访问频率较高的热数据、偶尔访问的温数据和几乎不被访问但蕴含一定价值的冷数据。由于存储数据中高达80%是冷数据,故本文着重研究冷数据的节能存储问题。为了实现光盘库存储系统文件管理和存储,本文对蓝光光盘库存储系统文件存储和文件分类进行了研究和实现。首先,由于磁盘和光盘之间在数据传输速率上存在巨大差异,为了解决二者之间的数据传输问题,本文对光盘库存储系统文件存储进行了设计和实现。主要包括：(1)文件网络共享功能,用来解决磁盘与光盘之间的文件传输和共享；(2)文件自动刻录功能,解决文件从磁盘到光盘的存储。大数据环境下,由于文件刻录容量往往会超过光盘单盘容量,所以该部分在文件刻录之前会对文件进行分类；另外,由于文件存储到光盘之后会被删除,为了保证刻录数据的完整性,该部分还实现了文件校验功能。(3)光盘库文件系统,本文提出使用用户空间文件系统来管理光盘中的内容。在光盘离线情况下,用户空间文件系统会查询节点文件,检索该文件的盘号,然后通过Socket通信调取光盘,完成对离线光盘的访问。其次,本文设计和实现了基于文件热度的文件分类方法,该方法包括文件状态更新、文件迁移回迁、文件分类等模块。对于存储的数据,数据分类会为每一个文件建立热度状态,并根据热度状态对存储文件进行分类。最终,光盘库文件分类存储会将热数据、温数据和冷数据分别存储到固态硬盘、磁盘和光盘中。最后,本文对自动刻录软件、光盘文件管理系统和文件分类进行了多次实验,并对实验结果进行了分析。实验结果证明本文设计的光盘库文件存储和文件分类功能与预期结果一致,符合设计要求。在能源紧缺的今天,研究冷数据节能存储,发展大容量智能蓝光光盘库存储技术对我国绿色数据中心的建设起到积极意义。本文提及的光盘库分类存储、光盘刻录以及光盘库文件管理系统将有助于促进大容量蓝光光盘库存储项目的研究与发展。
胡秀敏, 郭成城, 杜晓[6]2006年在《基于文件类型的光盘库缓存系统设计与实现》文中认为光盘库是当前海量信息存储的一种重要方式。为了降低光盘库的访问响应时间,文章在光盘库前端加入一个磁盘缓存系统。分析了光盘库访问特性,设计并实现了一个基于文件类型的副本缓存结构以及相应的缓存替换算法。这种缓存结构同传统的相比,缓存命中率有所提高,内存消耗变小了,同时大大改善了本地缓存空间的可管理性。
王帆[7]2013年在《文件备份光盘库I/O调度系统的设计与实现》文中研究说明随着光盘技术的发展，光盘库的应用越来越普遍，应用面越来越广。光盘库具有数据保存时间长、保存环境要求低、存取速度相对较好、性价比高等特点，作为层次化海量存储系统的第叁级存储设备具有其独特的优势。光盘库I/O调度系统作为基于光盘库的文件备份系统的一部分，对系统整体存储性能有很大影响。在分析了文件备份光盘库系统的实际应用环境和需求的基础上，结合现有光盘库应用的I/O调度方法和策略，设计了一套适合文件备份光盘库系统的I/O调度系统。该系统在设计过程中融入了动态调度的思想，使请求能及时的被接受和处理。同时，对任务队列采用了优先级、任务量、等待调度次数等因素的分类和排序，并以此为基础进行调度。对于系统较为空闲时，设计了替换算法来对光盘驱动器进行选择，以尽量避免光盘的再次换入。对等待时间的考虑使该系统能在提高系统效率的同时兼顾用户公平性。该系统在Linux环境下实现，调度算法的核心思想得到了完整体现，实现上借助了POSIX消息机制来处理请求发送和接收。通过模拟测试对系统功能的实现和性能进行了验证。
朱立谷, 谢长生, 周世正[8]2006年在《连续媒体存储技术的研究》文中进行了进一步梳理分析了连续媒体存储面临的问题和技术现状,提出了一种创新的存储软件/硬件架构-虚拟分级存储架构(VHSA)。VHSA是分级存储技术和存储虚拟化技术的结合,支持异构的存储系统结构,可提高复杂存储系统的性能和效率,针对巨大的视听内容进行数字归档,并可与媒体资产管理系统实现无缝集成。
彭晨[9]2015年在《无磁盘缓存高速光盘刻录机制的设计与实现》文中指出随着信息化程度的不断加深,数据爆炸性增长,海量数据长期、高效、安全的保存备受关注。近年来蓝光光盘技术的发展,光盘存储具有低成本、低功耗、高容量、高可靠性、安全性、长期保存和高维护性的特性,因此成为长期数据归档的重要技术之一。但是现有光盘库结构的先存再刻方式限制了高并发流式刻录的性能。针对先存再刻机制的性能问题,提出直接使用内存作为光盘高速流式刻录的缓冲器,称之为无磁盘缓存光盘库刻录。设计无磁盘缓存光盘刻录机制的整体技术架构,实现了高性能的无磁盘缓存光盘库数据归档系统。具体而言,无磁盘缓存光盘刻录主要通过四个模块实现,分别是光盘库内存管理模块、光盘轨道划分模块、UDF生成及数据刻录模块和元数据动态记录模块。使用环形缓冲的方法管理光盘库内存缓冲区,提高光盘库内存缓冲区的利用率;将光盘进行轨道划分,从而实现元数据信息以及数据信息的分别定位写。通过简化光盘库数据归档流程及利用内存数据传输率相对较高的特性,提高系统的性能。通过数据归档实验及其结果分析,单光驱数据归档所执行时间为760秒,对比目前先存再刻机制系统,使用单光驱进行数据归档的吞吐率提升56.84%。
杨德志[10]2007年在《分布式文件系统可扩展元数据服务关键问题研究》文中研究指明文件系统元数据描述文件系统及其管理的文件,其访问效率是文件数据访问性能的关键因素。在海量网络存储环境中,随着系统应用的多样化、应用需求规模的不断扩大,如何充分利用系统资源,提供高扩展能力的文件系统元数据服务,成为大规模分布式文件系统研究的热点问题。多种典型应用的访问统计结果表明,文件系统元数据具有活跃性、局部性、动态性、需要更改文件系统的多元数据请求的比例很少等特点。基于此特性,本文的主要创新点是,提出动态灵活的分布式文件系统元数据服务机制和策略,支持文件系统元数据服务的动态扩展。它包括元数据存储和访问两个方面:1)集中共享的元数据虚拟存储模型。以虚拟存储技术支持的存储资源透明扩展、分层的存储资源管理和动态的元数据资源分配、元数据对所有请求服务器可见等为基础,元数据存储服务有效分离元数据的存储和访问,为动态灵活的元数据请求服务提供支持。2)动态灵活的元数据请求服务机制和策略。文件系统元数据表现出活跃性、局部性和动态性等特征。动态分布决策将文件系统名字空间结构与元数据类型相结合,由用户访问动态驱动活跃元数据的请求分布。初步的对比评估结果表明,相对于目录子树分区法,其请求处理能力将提高30%左右。动态灵活的元数据服务机制为服务扩展能力提供基础。为解决两阶段提交等传统协议的不足,本文提出通过动态迁移协议,集中处理跨服务器请求,有效保证请求的原子性。在最坏情况下,动态迁移协议也能够减少25%的处理时延,且其错误恢复的影响也小得多。针对传统和新兴应用的实验验证了元数据服务扩展能力的有效性。针对生物信息计算BLAST的评估表明,元数据服务器的增加将带来20%左右的元数据服务时间降低。通过对系统实现的优化,将可能获得近线性的元数据服务扩展能力。同时,实验结果还为未来的工作方向提供了参考:1)原型系统的实现优化;2)自适应的元数据请求分布决策模型;3)系统结构的优化,以更好支持超大规模的系统扩展需求。
参考文献：
[1]. 光盘库文件缓存管理系统的实现[D]. 查益. 武汉大学. 2004
[2]. 面向光盘库的HDFS文件系统应用研究与实现[D]. 魏南琛. 华中科技大学. 2014
[3]. 蓝光光盘库缓存管理机制的研究与实现[D]. 林子明. 中山大学. 2013
[4]. 蓝光光盘库虚拟文件及管理系统设计与实现[D]. 王天宇. 大连理工大学. 2017
[5]. 蓝光光盘库文件管理系统设计与实现[D]. 姜晓青. 广东工业大学. 2016
[6]. 基于文件类型的光盘库缓存系统设计与实现[J]. 胡秀敏, 郭成城, 杜晓. 计算机工程与应用. 2006
[7]. 文件备份光盘库I/O调度系统的设计与实现[D]. 王帆. 华中科技大学. 2013
[8]. 连续媒体存储技术的研究[J]. 朱立谷, 谢长生, 周世正. 计算机工程. 2006
[9]. 无磁盘缓存高速光盘刻录机制的设计与实现[D]. 彭晨. 华中科技大学. 2015
[10]. 分布式文件系统可扩展元数据服务关键问题研究[D]. 杨德志. 中国科学院研究生院（计算技术研究所）. 2007
标签：计算机软件及计算机应用论文; 元数据论文; 缓存服务器论文; 光盘库论文; 浏览器缓存论文; 分类数据论文; 磁盘管理论文; 缓存论文;