导读:本文包含了日志文件系统论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:文件系统,日志,内存,垃圾,数据,检查点,结构。
日志文件系统论文文献综述
范津[1]（2019）在《基于共享日志的文件系统元数据服务性能提升方法研究》一文中研究指出随着互联网,大数据等应用与技术的快速发展、数据不断的增多。面对海量的数据,传统的数据存储系统在一定程度上有着局限性。而分布式文件系统的高容错,高容量,可扩展性更加适应大数据时代的存储要求,受到广泛的重视。分布式文件系统通常由元数据服务器和存储服务器组成。现有的分布式文件系统有集中式的,分布式的元数据服务,或者采用无元数据服务器的方式对元数据的管理。集中式的设计简单和有很好的一致性,但访问负载过大时,元数据成为了系统的性能瓶颈。并且也有单点故障的问题。分布式能解决了性能瓶颈和单点故障,但为保证数据的一致性,需要进行节点间的加锁同步操作,带来性能的额外开销。另外,如果没有及时同步或同步遭到破坏,就会导致数据一致性问题。无元数据服务器消除了性能瓶颈,单点故障,以及数据一致性等问题。但不能对文件系统的元数据进行全局管理,在执行遍历目录,小文件的读写时效率很低,并且客户端需要承担对文件定位的职能,这也增加了客户端负载。本文通过研究发现共享日志具有很好的数据一致性,并且不存在单一的I/O瓶颈和单点故障问题。所以针对现阶段分布式文件系统元数据服务的问题,本文提出了一种基于共享日志的元数据服务模型。该模型利用共享日志的特性解决了性能瓶颈,数据一致性等问题,以一种更加合理的方式对全局的元数据信息进行管理。通过实验与GlusterFS元数据信息管理进行测试对比,发现在与GlusterFS一样保证数据一致性的情况下,该模型有很好的元数据操作性能。(本文来源于《兰州大学》期刊2019-03-01）
刘宁倩[2]（2018）在《NVM文件系统混合日志机制研究》一文中研究指出随着非易失性内存技术(Non-Volatile Memory,NVM)快速发展,基于非易失性内存的文件系统成为当前的研究热点,其中如何保证文件系统的一致性是非常重要的研究内容。现有的NVM文件系统都有其各自的一致性保障机制,但也存在某些不足之处,对系统性能造成了一定的影响。除此之外,大部分NVM文件系统都只提供了文件系统级别的一致性保护,没有提供应用程序级别的数据一致性保护,从而导致应用程序必须设计自己的一致性保障机制,冗余的一致性保障机制对上层应用的性能有很大的影响。针对上述问题,提出了基于NVM文件系统的混合日志机制(Hybrid Logging Mechanism,HLM),为文件系统元数据和数据均提供了一致性保证。首先,HLM根据元数据和数据的不同更新特性以及undo日志和redo日志的主要开销,解耦了元数据和数据,对元数据和数据分别采取不同的日志机制,平衡了undo日志的数据拷贝开销和redo日志的日志索引开销;其次,设计了由B树和链表构成的二级日志索引结构,降低了读数据时的日志查询开销;此外,设计了最优并行checkpoint过程,充分利用系统空闲时间并行进行多个数据块的checkpoint,对每个数据块的checkpoint过程采取优化策略最小化数据刷新量;最后,把事务功能模块抽象成了编程接口,以系统调用的形式提供给上层应用程序使用,提供了应用程序级别的数据一致性保护,消除了应用程序中冗余的一致性保障机制。实验测试结果表明,混合日志机制在同时保证文件系统的元数据和数据一致性的基础上,能够提高文件系统的事务吞吐率,相对于PMFS和NOVA分别提高了63.4%和76.3%。(本文来源于《华中科技大学》期刊2018-05-01）
郑特龙[3]（2017）在《DPLFS：基于双模相变存储器的日志结构文件系统》一文中研究指出随着计算机技术的发展,存储系统的访存速度成为计算机系统的主要性能瓶颈之一。以相变存储器(Phase Change Memory,PCM)为代表的新型非易失内存的出现有望缓解这一矛盾,如何在保证非易失内存数据一致性的前提下,充分利用非易失内存的高性能提高存储系统的吞吐量,是系统结构领域的重要议题。由此出发,提出了一个基于双模PCM的日志结构文件系统(Dual-mode PCM based Log-structured File System,DPLFS),针对双模PCM的性能特性进行优化,缓解了MLC写性能的问题,有效提高了存储系统吞吐量。DPLFS将文件数据存放在MLC(Multi-Level Cell)器件上,将元数据存放在SLC(Single-Level Cell)器件上;将SLC器件作为文件系统的写缓存,并在SLC空间不足时通过异或更新的方式将数据写回MLC器件,提高了文件系统的写性能;为加快目录检索速度,DPLFS将目录文件存放在SLC器件上;而且,基于DRAM/PCM混合内存,DPLFS做了相关优化工作:PCM用于数据持久化存储,用DRAM来加文件数据检索,利用日志结构技术保证数据一致性。基于Linux内核4.3,实现了DPLFS的系统原型,并将DPLFS与相关具有代表性的文件系统进行对比测试和分析。实验结果表明,DPLFS相对传统日志结构文件系统NILFS2和F2FS有显着的性能提升;相对日志文件系统Ext4和影子分页文件系统Btrfs,DPLFS在提供相同数据一致性保证的同时,使性能平均提高了2.5倍;相对代表本领域最新研究进展的NOVA,DPLFS有较大的性能提升,特别是写性能:在写密集型负载下有21%的提升,而在读密集型负载下提高了11%的性能。(本文来源于《华中科技大学》期刊2017-05-01）
吴林柱[4]（2017）在《日志型非易失内存文件系统垃圾回收与检查点机制的设计与实现》一文中研究指出随着互联网和大数据的发展,数据规模及其处理能力之间的差距越来越大,传统的以计算为中心的系统架构往往使用读写速度较慢的硬盘,很难达到大数据对性能和时效性的需求,以内存优先为基本原则的内存计算模式成为了一种解决方案。而新型存储介质非易失内存存储器的出现,为实现这种计算架构提供了支持。工业界发展了硬件工艺,纷纷推出品种繁多的新型非易失内存介质,这类存储器打破了传统内存和外存的界限,可以直接作为运行内存使用,具有读写速度快、存储密度高、可字节寻址等特点。将非易失内存与传统内存DRAM混合使用,可以有效解决内外存性能瓶颈问题,提高计算机系统在大数据处理方面的能力。对于面向混合内存的计算机系统软件,国内外科研人员已经提出一些科研成果,主要集中在编程模型、内存系统模拟平台、存储系统方面。其中基于非易失内存的文件系统是使用新型存储技术最直接的应用,它无需对现存的软件做出任何修改,就可以直接使用非易失内存加速程序运行。然而目前大部分的非易失内存文件系统的实现并不完整,往往只关注系统的读写性能,也缺乏了对非易失内存和DRAM混合使用的场景进行优化,并不能很好的适应内存计算的系统结构。针对以上背景和问题,本文做了相应的研究,主要的内容如下:·基于检查点技术的系统一致性保障机制。与传统的块设备文件系统不一样,本文件系统使用DRAM和非易失内存存储文件的数据和元数据。我们把文件系统的元数据和一部分文件的元数据缓存在DRAM上,可以提高读写效率,并且无需考虑DRAM读写寿命的限制,同时由于CPU缓存的存在,不少文件系统的关键信息是易失的,如果发生系统掉电或者崩溃的情况,这些管理信息就会丢失,造成文件系统的元数据不一致的后果。传统文件系统使用fsck解决这个问题,但是耗时长、效率低,不适合大数据场景的需求。我们提出了基于非易失内存文件系统的检查点机制,可以有效保障系统的一致性,并且在系统掉电后可以快速的恢复。·垃圾回收算法的设计。因为新型的非易失内存存储器都有一定的读写次数限制,所以为了保护存储器的使用寿命,使得读写操作更加均匀地分布在存储器件上,我们使用日志型的(Log-Structured)分配策略,从头到尾连续分配数据页。由于是连续的分配,中间分配出去的一些数据页可能被删除,成为垃圾,我们需要对这些页进行回收,供分配器以后使用。结合了非易失内存的特点和检查点机制的设计,我们提出了相应的垃圾回收算法。(本文来源于《上海交通大学》期刊2017-01-13）
贾威威,林奕,张延园[5]（2016）在《云存储日志文件系统中垃圾数据回收的设计与实现》一文中研究指出互联网大数据蓬勃发展,各个行业都围绕着大数据展开研究。与此同时,由于数据量的异常膨胀,随之而来的问题就是如何回收垃圾数据。基于云存储日志文件系统HLFS(Hadoop distributed file system based Log-structured File System),设计与实现了垃圾数据回收子系统。通过在HLFS中添加垃圾回收子系统,不但可以提高数据空间的利用率,还可以有效地避免数据空间不够用。为了分析HLFS中垃圾回收子系统的性能,最后对比了HLFS垃圾回收子系统和其他系统中垃圾数据回收机制的优缺点,从而帮助用户选择合适的垃圾回收机制提高磁盘利用率和系统性能。(本文来源于《计算机应用与软件》期刊2016年08期）
平伟[6]（2016）在《目录文件系统的日志与事务的设计与实现》一文中研究指出互联网时代的迅猛发展,势必会使得用户每天产生的数据量越来越大,而计算机每天要处理的数据也显得十分庞大,数据的组织和存储成为了一个重要的问题。计算机发展同时也意识到这一问题,进而产生出文件系统这一概念,文件系统的产生正是为了应对信息时代与日俱增的数据。文件系统运用文件块以及树形目录的方式将数据进行统一管理,定义了文件在存储设备或者磁盘分区中的数据结构和方法。文件系统主要实现了文件系统的统一接口,文件的基本操作和管理以及文件对象的属性等。具体来说,文件系统即对文件存储设备进行的划分和管理,负责文件的存储保护,并实现对文件检索功能。目前所使用的文件系统诸如NTFS,EXT,CDFS,HFS,JFS等,都是根据各公司不同的需求而开发的,每种文件系统都有其适合的场景,系统所采用的文件系统不一定要是最好的,但一定是要最适合需求的。本文在Linux已有的文件系统之上加入了事务和日志的概念,目的在于提高文件系统的健壮性,保证数据安全和一致。事务(Transaction)常出现于数据库中,在数据库中起到了十分重要的作用,它将用户对数据的操作通过事务一个个的执行,是数据库访问和操作的基本单位。而日志则侧重于处理系统故障,在系统中采用日志对系统进行恢复是很常见的,因为日志中记录着所有对系统修改过的重要操作,在系统出现故障时可以通过日志文件而将系统恢复到某个稳定状态。日志其主要原理在于文件数据在发生变化时必须要记录相应的操作记录,即哪一个操作导致了数据的变化,数据的变化过程是什么,数据修改之前和修改之后的值都将在记录中得到体现。目前主要的日志有undo、redo以及undo/redo,undo通过回滚保证数据的一致性,redo日志则通过重做保证数据的一致性,undo/redo兼顾前两者的优点,可以分别选择重做或回滚。本文主要阐述了如何将数据库中的事务运用到文件系统中,设计基本的事务数据结构,保证事务的ACID基本特性,设计事务的并发控制机制以及事务在执行时的细节考虑。同时在系统中实现了日志功能,本文采用redo日志方式,实现了日志的写入,日志文件备份,日志故障恢复等功能。(本文来源于《电子科技大学》期刊2016-03-24）
徐国天[7]（2015）在《基于“连带效应”和“过期日志”的EXT3文件系统数据恢复方法研究》一文中研究指出目的 EXT3文件系统是大多数Linux主机的默认硬盘分区格式,研究EXT3文件系统的数据恢复方法对公安机关的电子数据鉴定工作有重要意义。方法详细分析了"复制"、"删除"动作产生的日志记录,研究了EXT3日志记录的"连带效应",深入分析了"过期日志"结构,设计了事务链式存储结构、inode编号链式存储结构和用于恢复文件的有限状态机。结果恢复软件可以直接运行在Linux主机上,通过扫描日志文件完成恢复。结论经过大量实际测试,软件可以有效恢复EXT3文件系统中的被删数据。(本文来源于《中国司法鉴定》期刊2015年01期）
侯浩沨,刘钊远[8]（2014）在《云存储日志结构文件系统中段回收机制的研究》一文中研究指出针对云存储文件系统中,复杂的检索和回收过程导致系统处理用户数据的能力下降问题,基于日志结构分布式文件系统(HDFS-based Log-structured File System,HLFS),提出一种针对系统资源进行有效回收管理来提高云存储空间有效利用率的方法,通过位图标记的方式找到HLFS中段资源的使用情况,实现对HLFS中段资源的管理回收。实验结果表明,位图标记应用于云存储系统中资源管理之后,能够改善垃圾回收的效率。(本文来源于《计算机与数字工程》期刊2014年07期）
陈莉君,康华,贾威威[9]（2013）在《云存储日志文件系统中快照的设计与实现》一文中研究指出在逐步分析云存储日志文件系统中快照机制的基础上,设计并实现了基于HLFS(Hadoop DFS log-structured File-system)云存储日志文件系统的快照系统。通过在HLFS中添加新的快照,从快照系统中就可以随时获取该快照的信息,并恢复该快照时的所有数据,使云存储系统能够及时地进行数据恢复,从而避免云存储中核心数据的丢失,保证云存储中数据的安全性。为尽可能提高云存储日志文件系统中快照系统的可扩展性与实用性,详细分析快照在云存储日志文件系统中的设计与实现,并结合其他快照,分析了HLFS快照的实现性能。(本文来源于《计算机应用与软件》期刊2013年07期）
柳华盛,张雪燕[10]（2013）在《基于日志的闪存文件系统的设计》一文中研究指出日志文件系统的主要设计思想是跟踪文件系统的变化,在日志节点中记录对文件所作的修改信息。FAT、JFFS、YAFFS等文件系统由于擦写频率过高,对闪存储介质的某些块造成较大的负担从而导致存芯片失效。文章设计的基于日志的闪存文件系统对存取采用的是追加模式,能很好地均衡读写频率,将该系统应用于嵌入式GIS系统,取得较好的效果,但在效率上还有待提高。(本文来源于《浙江万里学院学报》期刊2013年03期）
日志文件系统论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着非易失性内存技术(Non-Volatile Memory,NVM)快速发展,基于非易失性内存的文件系统成为当前的研究热点,其中如何保证文件系统的一致性是非常重要的研究内容。现有的NVM文件系统都有其各自的一致性保障机制,但也存在某些不足之处,对系统性能造成了一定的影响。除此之外,大部分NVM文件系统都只提供了文件系统级别的一致性保护,没有提供应用程序级别的数据一致性保护,从而导致应用程序必须设计自己的一致性保障机制,冗余的一致性保障机制对上层应用的性能有很大的影响。针对上述问题,提出了基于NVM文件系统的混合日志机制(Hybrid Logging Mechanism,HLM),为文件系统元数据和数据均提供了一致性保证。首先,HLM根据元数据和数据的不同更新特性以及undo日志和redo日志的主要开销,解耦了元数据和数据,对元数据和数据分别采取不同的日志机制,平衡了undo日志的数据拷贝开销和redo日志的日志索引开销;其次,设计了由B树和链表构成的二级日志索引结构,降低了读数据时的日志查询开销;此外,设计了最优并行checkpoint过程,充分利用系统空闲时间并行进行多个数据块的checkpoint,对每个数据块的checkpoint过程采取优化策略最小化数据刷新量;最后,把事务功能模块抽象成了编程接口,以系统调用的形式提供给上层应用程序使用,提供了应用程序级别的数据一致性保护,消除了应用程序中冗余的一致性保障机制。实验测试结果表明,混合日志机制在同时保证文件系统的元数据和数据一致性的基础上,能够提高文件系统的事务吞吐率,相对于PMFS和NOVA分别提高了63.4%和76.3%。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
日志文件系统论文参考文献
[1].范津.基于共享日志的文件系统元数据服务性能提升方法研究[D].兰州大学.2019
[2].刘宁倩.NVM文件系统混合日志机制研究[D].华中科技大学.2018
[3].郑特龙.DPLFS：基于双模相变存储器的日志结构文件系统[D].华中科技大学.2017
[4].吴林柱.日志型非易失内存文件系统垃圾回收与检查点机制的设计与实现[D].上海交通大学.2017
[5].贾威威,林奕,张延园.云存储日志文件系统中垃圾数据回收的设计与实现[J].计算机应用与软件.2016
[6].平伟.目录文件系统的日志与事务的设计与实现[D].电子科技大学.2016
[7].徐国天.基于“连带效应”和“过期日志”的EXT3文件系统数据恢复方法研究[J].中国司法鉴定.2015
[8].侯浩沨,刘钊远.云存储日志结构文件系统中段回收机制的研究[J].计算机与数字工程.2014
[9].陈莉君,康华,贾威威.云存储日志文件系统中快照的设计与实现[J].计算机应用与软件.2013
[10].柳华盛,张雪燕.基于日志的闪存文件系统的设计[J].浙江万里学院学报.2013
论文知识图
