存储管理系统论文_张靖君

导读:本文包含了存储管理系统论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:管理系统,数据,分布式,栅格,异构,文件,技术。

存储管理系统论文文献综述

张靖君[1](2019)在《嵌入式闪存存储管理系统设计》一文中研究指出闪存存储器凭借其非易失性、高性能、低功耗等优点,已成为各种嵌入式设备的重要数据存储介质。闪存存储器先擦后写的特性和擦除寿命的限制,导致嵌入式设备无法直接使用传统的文件系统对其进行管理,而必须借助闪存存储管理系统。目前对闪存转换层的研究主要集中在延长寿命和提高性能上,并没有考虑嵌入式系统硬件资源较少的情况。为了减少闪存转换层的资源占用,延长闪存设备的使用寿命,本文深入研究了闪存转换层的地址映射和垃圾回收的问题,设计了一种基于混合映射算法的热度关联转换层(HAST)。主要工作包括下几个方面:(1)设计了一种基于循环队列的冷热块识别算法,算法使用循环队列的方式对逻辑块的访问频率进行统计,为每个逻辑块计算一个热度值,通过将热度值与系统中设置的阈值进行比较识别冷热逻辑块。(2)基于混合地址映射的特性设计了一种日志块共享策略,将逻辑冷块的日志块共享给其他数据块,从而提高物理块的利用率。而逻辑热块独享日志块,减少了不必要的合并操作,提高闪存的读写效率。(3)在垃圾回收算法上考虑了数据块和日志块的关联性和逻辑块的热度值,减少了全合并次数提高了垃圾回收的效率,进而提高了读写性能。(4)在FlashSim仿真平台上对HAST算法进行了仿真测试,并使用了多种trace文件进行评估。在Tiny6410嵌入式开发板上进行了算法实现,并使用PostMark软件进行评估。仿真实验表明,本文所设计的HAST算法在资源占用和延长寿命方面比DFTL算法,FAST算法和FRW算法更有效。硬件实验表明,算法对EXT4和FAT32文件系统有较高的兼容性,在上述两种文件系统下能够准确快速的管理数据。(本文来源于《湖南师范大学》期刊2019-06-01)

王辰兰[2](2019)在《基础地理数据在地理信息系统中的存储管理探讨》一文中研究指出随着我国现代化进程的不断加快,越来越多的新技术运用到测绘工作中,不仅为数据测量提供了重要的来源,也进一步促进了地理信息系统的发展。地理信息系统作为一种十分有用的技术手段,对基础地理数据的存储管理提供了有效的平台,为充分利用基础地理数据奠定了良好的基础。(本文来源于《科技经济导刊》期刊2019年12期)

王天雨[3](2019)在《面向海洋多元数据的云存储管理系统设计与实现》一文中研究指出随着海洋探索与研究的不断深入,海洋大数据越来越受到人们的关注。特别是海洋生态环境建设,是国家海洋强国战略中必不可少的一环。然而近年来,由于海洋污染愈发严重,许多海洋生态灾害相继发生,不仅严重破坏了生态平衡,更造成了严重的经济损失。因此,高效而精确的海洋监测系统的重要性越发凸显。然而,由于海洋监测数据具有规模大、异构性强等特点,如何快速而高效地存储海量异构数据成为一大挑战。随着云存储概念的兴起,其将取代传统的本地存储成为此类场景更优秀的解决方案。然而,云存储也存在一定的缺点,例如访问延迟高、网络带宽不足等。如何将局域网存储的低时延、高带宽与云存储的高性能、高扩展性相结合,是值得研究的重要问题。同时,在存储介质方面,由于SSD相对于传统的HDD(机械硬盘)拥有更好的抗震性、更低的功耗、更短的寻道时间以及更高的性能,SSD逐渐取代HDD在存储结构中的角色,在公有云存储、大型数据中心等场景已被大量采用。在海洋监测领域,数据的即时性与高价值性决定了其对于高可靠存储的需求。而SSD在整个生命周期中的可靠性不及HDD,如何提高SSD的可靠性,也是亟待研究的一个重要问题。本文旨在解决现存的以上问题。论文首先针对云存储数据访问延迟高、网络带宽不足的问题,将其与局域网存储相结合,提出了云平台侧-边缘侧-本地侧的叁层数据存储管理架构。通过将云平台侧的热点数据缓存至边缘侧,从而减少本地侧获取数据时的时延。同时,分别设计了数据库的存储格式,使其分别满足云平台侧易于查询、检索的需求以及边缘侧高速、低延迟的需求,从而使本地侧获取数据的性能最大化。其次,论文针对因SSD写寿命有限而导致全闪存阵列可靠性不足的缺点,提出了采用SSD+HDD的混合多层RAID-5阵列,在RAID控制器层实现了高性能的HDD感知的数据备份策略以及数据恢复策略,使磁盘阵列在多SSD失效时仍能保持数据不丢失、不损坏,解决了全闪存磁盘阵列面临的多磁盘连续失效问题,有效保证了云平台数据的可靠性。最后,本文开发了一个面向海洋多元数据的云存储管理系统,采用响应式网页设计语言编写了多平台自适应的前端页面,用于展示海洋多元异构数据的同时对叁层架构的可靠性与数据获取的实时性进行了相应测试。测试结果表明,与传统架构相比,本文所做工作有效提高了数据存取的实时性及数据存储的可靠性,具有较好的应用前景及社会意义。(本文来源于《山东大学》期刊2019-04-20)

向筱铭,徐晓莉,杨雪,高峰,胡晓润[4](2019)在《CIMISS数据存储管理系统结构优化及应用》一文中研究指出针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。(本文来源于《气象科技》期刊2019年02期)

杜鹏[5](2019)在《基于分布式构建HLS协议流媒体文件叁层文件存储管理系统》一文中研究指出随着经济的发展,科技不断进步。构建基于HLS协议流媒体文件叁层文件存储管理系统,是互联网视频公司生产、存储、管理和服务流媒体文件的核心环节,基本功能包括调度、存储、监控和迁移等。该系统通过分布式、Cache和全局索引技术,有效针对传统HLS碎片文件管理低效、文件处理I/O开销大、流媒体文件数据迁移困难等一系列问题,提出了解决方案。(本文来源于《信息与电脑(理论版)》期刊2019年07期)

王梦娇[6](2019)在《分布式光纤传感监测大数据的存储、管理与处理系统研究》一文中研究指出针对输电线缆由于风舞和外力拉扯破坏而产生的故障以及石油、天然气的长距离运输管道中存在的恶劣油气偷盗等问题,需要对电力线缆、输气管道状态进行安全监测以减少经济损失避免产生不必要的社会危害。分布式光纤传感在实时安全监测上具有巨大优势,然而全天候、全分布的监测应用必将带来海量的监测数据,这给监测数据的存储、查询访问和处理带来了前所未有的挑战。本文基于电力线缆安全监测以及管道安全监测应用需求,分别利用分布式系统基础架构Hadoop下的HDFS和HBase实现分布式光纤传感大数据可靠性存储和实时查询访问,利用Spark技术对监测大数据进行高效统计分析,从而判断电力线缆是否存在风舞异常,应用Spark ML机器学习组件于管道扰动状态的分类,通过实验对比了传统方法和本文所提出方案的性能,验证了方案的高效性。本文主要完成以下几个方面的工作:(1)分析了应用大数据技术解决分布式光纤传感电力线缆和管道安全监测中存在的问题的现状以及意义。(2)综合考虑分布式光纤传感数据以及大数据处理技术的特点,构建了分布式光纤传感大数据存储、管理和处理的整体框架,采用数据采集层、数据存储管理层、数据处理层叁层体系架构;并结合实际应用场景搭建Cloudera大数据集群。(3)在数据存储管理层,基于HDFS设计了光纤传感监测大数据的高可靠性快速存储方案,并通过写入/读取(I/O)实验验证了该方案具有高吞吐、快速存储的优势;基于HBase设计了光纤传感监测大数据的实时查询方案,通过实验验证了查询速度在“秒”级。(4)针对统计分析的数据处理,在分布式光纤传感电力线缆安全监测领域,分别利用MapReduce和Spark对光纤传感系统采集到的原始数据进行数据预处理、特征提取,从而判断风舞异常的有无,并通过实验比较Spark、MapReduce和单机的数据处理性能,Spark速率可以达到MapReduce的10多倍,是单机的30倍。(5)针对复杂迭代计算的数据处理,在分布式光纤传感管道安全监测领域,设计了数据预处理和特征提取的方法,构建了基于Spark ML的决策树、随机森林、支持向量积、XGBoost多种分类算法的管道扰动模式识别方案,通过实验获得预测精度,并对比Spark与单机在机器学习上的速率,实验数据显示Spark速度是单机处理的50倍。(本文来源于《电子科技大学》期刊2019-03-31)

马翔,方璇,吕磊炎[7](2019)在《电力系统多源异构数据的存储管理技术研究》一文中研究指出随着海量数据的不断增加,除了给公司带来系统运行和数据交换上的压力外,还在无形中增加了公司成本,导致电力公司不得不在海量数据存储、交换以及监测分析压力中寻找新的解压物质。所以,我们以海量数据为研究对象,促进了多源异构数据优化管理系统的提出,其系统不仅能对多源异构数据进行存储和交换操作,而且也能完成历史数据的有效累积,进一步促进电力公司信息系统的优化,导致公司信息系统运行效率的显着上升,从而最大化的减小公司支出的运营成本。(本文来源于《山东工业技术》期刊2019年04期)

林彬彬[8](2018)在《以EMC Centera为核心的媒资系统存储管理架构的设计与实现》一文中研究指出本文结合宁波电台实际,介绍了一个以EMC Centera为核心的媒资系统存储管理架构的设计和实现。该存储架构的设计,在保证数据安全的同时,提高了存储效率、提升了存取速度、简化了管理工作,对媒资系统的建设具有参考意义。(本文来源于《广播电视信息》期刊2018年06期)

郭逸尚[9](2018)在《广域环境下消防数据采集与存储管理系统》一文中研究指出本文为适应现代城市和社会公共安全发展的需要,针对目前消防行业存在的问题以及相关国内外研究现状进行分析,论证需求的可行性,设计出符合国家标准化管理委员会发布的《城市消防远程监控系统》系列标准的消防数据获取与存储管理系统,该系统整体分为消防信息采集端、服务端、代理端以及客户端四个子系统,各子系统间采用HTTP协议以及轻量级基于发布/订阅的MQTT协议共同实现消息传递。本文主要工作具体如下:1)为解决不同消防产品协议不一致的问题,提出并设计消防信息传输装置,将不同类型的消防数据根据标准的报警网络传输通信协议转化成统一的格式,使不同厂家的消防产品均可通过消防信息传输装置接入网络,实现消防物联的接入操作。2)针对消防物联网环境的特点,系统采用跨平台并基于TCP连接的MQTT协议,在IaaS模式下安装Mosquitto消息代理服务器,采用发布/订阅的方式实现采集端与终端之间自主的双向通信;并在其基础上设计代理端各模块,根据具体的消防业务需求实现对数据的解析、存储以及转发等功能,利用线程池技术处理消息并发问题,最终实现对消防设施的实时监测,解决消防数据采集不及时、不完整的问题。3)针对传统消防模式下无法及时准确定位火灾源的问题,通过四个子系统之间相互协作,实现及时自动报警并快速定位火灾源,从而完善报警机制,加快警情处理,有效提高火灾防控能力。4)为从源头上解决目前消防基础信息分散、底数不清的问题,服务端子系统对各类用户信息、建筑消防项目信息、建筑消防设施信息、建筑消防数据以及监察维保信息等分类管理;采用关系型数据库MySQL持久化各类信息模型,合理创建索引并利用数据库连接池技术复用数据库连接,减少系统消耗,提高数据检索与数据库访问效率。5)分析Mosquitto中原有的实现机制,针对具体的消防业务场景,采用epoll与散列表对原有的系统调用与订阅树机制进行优化,通过在不同并发量下进行优化前后的对比测试,验证优化方案的可行性,最终测试结果表明其并发性能有显着提升。目前该系统已经进入试运行阶段,近百个消防系统实现了远程接入,日平均采集数据量达到一万以上,实践表明该系统达到了预期的设计目标,满足了实际科研项目的应用需求。(本文来源于《西安电子科技大学》期刊2018-06-01)

刘志齐[10](2018)在《贵州民族特色文化数字资源云存储管理系统的研究与实现》一文中研究指出随着人类社会进入大数据时代,新的业务环境和场景亟须建立高性价比的海量数据存储系统。贵州省文化机构在构建贵州公共文化云平台的过程中,面临文化相关的应用系统比较分散,未形成统一的平台,传统数据库系统无法满足视频、音频、图片与文档等非结构化数据的存储要求,存储设备多而分散,无法满足存储资源共享等问题。为了支撑贵州公共文化云平台的建设并解决这些问题,需要构建贵州民族特色文化数字资源云存储管理系统。本课题通过对文化数字资源的特点分析,利用相关技术,实现贵州民族特色文化数字资源的存储和管理服务以及为云平台提供相关的应用数据接口服务。本文主要的工作成果如下所示:(1)提出了一套针对贵州民族特色文化数字资源的存储方案,用于存储文化数字资源的非结构化数据和结构化数据,为用户提供文化数字资源存储服务以及为相关的应用系统提供数据接口服务。对于文化数字资源的非结构化数据,本文重点研究了FastDFS总体的数据存储方案与FastDFS+Redis+Keepalived+LVS+Nginx的数据存储方案的设计。对于文化数字资源的结构化数据,根据贵州民族特色文化数字资源特点分析设计出文化数字资源云存储数据服务体系,同时利用MyCAT中间件与MySQL数据库搭建数据库集群。(2)构建了一个小型的贵州民族特色文化数字资源云存储管理系统。本系统采用B/S模式,结合Bootstrap开源框架设计了用户界面。同时对用户访问时的负载均衡以及高可用进行了研究与实现,并设计了REST API接口。实现需求分析中提出的关键功能需求。利用FastDFS,Redis,Nginx与Keepalived+LVS多组技术搭建了FastDFS集群的高可用分布式文件云存储,以及利用RPC SOA框架Dubbo,建立服务的消费者与生产者以及Zookeeper服务的注册中心,把系统的应用服务进行拆分,利用Apache Shiro安全框架以及MyCAT数据库中间件和SSM(Spring+SpringMVC+Maven)框架等开发与实现贵州民族特色文化数字资源云存储管理系统。(3)搭建测试环境对系统进行了测试验证。在Linux平台安装部署了FastDFS分布式文件系统、LVS负载均衡,Web服务器Apache以及数据库集群MySQL Cluster等。在此基础上对系统中几大关键功能模块进行测试,接着进行性能测试,包括可靠性测试和负载均衡测试,通过系统的测试与结果的分析,验证了系统设计的可行性。(本文来源于《贵州大学》期刊2018-06-01)

存储管理系统论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着我国现代化进程的不断加快,越来越多的新技术运用到测绘工作中,不仅为数据测量提供了重要的来源,也进一步促进了地理信息系统的发展。地理信息系统作为一种十分有用的技术手段,对基础地理数据的存储管理提供了有效的平台,为充分利用基础地理数据奠定了良好的基础。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

存储管理系统论文参考文献

[1].张靖君.嵌入式闪存存储管理系统设计[D].湖南师范大学.2019

[2].王辰兰.基础地理数据在地理信息系统中的存储管理探讨[J].科技经济导刊.2019

[3].王天雨.面向海洋多元数据的云存储管理系统设计与实现[D].山东大学.2019

[4].向筱铭,徐晓莉,杨雪,高峰,胡晓润.CIMISS数据存储管理系统结构优化及应用[J].气象科技.2019

[5].杜鹏.基于分布式构建HLS协议流媒体文件叁层文件存储管理系统[J].信息与电脑(理论版).2019

[6].王梦娇.分布式光纤传感监测大数据的存储、管理与处理系统研究[D].电子科技大学.2019

[7].马翔,方璇,吕磊炎.电力系统多源异构数据的存储管理技术研究[J].山东工业技术.2019

[8].林彬彬.以EMCCentera为核心的媒资系统存储管理架构的设计与实现[J].广播电视信息.2018

[9].郭逸尚.广域环境下消防数据采集与存储管理系统[D].西安电子科技大学.2018

[10].刘志齐.贵州民族特色文化数字资源云存储管理系统的研究与实现[D].贵州大学.2018

论文知识图

外部服务公公司井筒数据采采集技术实...物探类类数据采集技技术实现示意意图数据缓冲区结构示意图源泉,也是整商务智能体系整个BI系统上游生生产(勘探、53开发)数据管管...综合管理系统界面

标签:;  ;  ;  ;  ;  ;  ;  

存储管理系统论文_张靖君
下载Doc文档

猜你喜欢