Print

分级存储技术及其在水利大数据处理中的应用

论文摘要

随着水利信息化的快速发展,水利大数据应用日益广泛,通常的存储技术已经无法满足需要,存储容量及数据读写速率已成为大数据处理发展过程中的瓶颈。与全国山洪灾害防治管理平台中的分级存储数据集群建设实践相结合,根据信息生命周期理论,应用分级存储技术与方法,再结合水利数据特性制定迁移策略,搭建分级存储集群,有效地满足对海量数据存储和处理速率的需求,打破存储对大数据处理的制约。最终,该分级存储集群能够在节省存储成本的同时有效增加存储容量并提高对数据的读写速率,从而使集群的综合性能趋于平衡。

论文目录

  • 0 引言
  • 1 分级存储技术与集群
  • 2 分级存储数据集群搭建及应用
  •   2.1 在线存储层
  •   2.2 近线存储层
  •   2.3 离线存储层
  • 3 分级存储数据集群测试
  •   3.1 写入效率测试
  •   3.2 读取效率测试
  • 4 结语

    • 文章来源

    类型: 期刊论文

    作者: 刘颖,叶茂,王耀鲁,唐颖复

    关键词: 分级存储技术,信息生命周期,水利大数据,数据处理,数据集群

    来源: 水利信息化 2019年06期

    年度: 2019

    分类: 工程科技Ⅱ辑,信息科技

    专业: 水利水电工程,计算机硬件技术,计算机软件及计算机应用

    单位: 中国水利水电科学研究院

    分类号: TV21;TP333;TP311.13

    DOI: 10.19364/j.1674-9405.2019.06.004

    页码: 18-22

    总页数: 5

    文件大小: 1328K

    下载量: 87

    相关论文文献

    本文来源: https://www.lunwen66.cn/article/b457d536fcd14e6c37943381.html