云平台下的水文监测数据共享模式研究

论文摘要

如今,水文监测数据的规模越发庞大,已经远远超出传统水文监测数据处理的范畴。这其中主要表现在两大方面:首先,产生的各种水文监测数据种类十分多样,并且规模庞大,传统的关系型数据库已经无法满足其存储与管理分析的需求。其次,传统的基于单机的并行化水文监测数据处理方式不仅容错率低,同时性能也十分低下,已经不再适合大规模水文监测数据的处理。因此,为了解决这些问题,需要找到更好地方案。在研究云平台下的水文监测数据共享模式中,本文主要解决了三个关键问题。首先是水文监测数据存储的问题。本文将水文监测数据分成两种类型进行存储,对于结构化的水文监测数据设计存储于HBase数据库中;对于非结构化的水文监测数据,存储于HDFS中,通过Hive数据仓库进行分析管理。其次是数据传输共享问题,如何在保证海量数据的安全性和完整性的基础上,保证数据共享过程中的传输性能,本文采用基于消息分发策略的Kafka流式处理模型进行水文数据共享;最后是数据分析挖掘问题,如何设计实现数据目录索引服务等,为数据挖掘提供平台基础,本文对于HBase建立非主键索引。本文利用当前使用最广泛的Hadoop技术,搭建了水文监测数据云平台,并在此基础上,实现了对水文监测数据的共享,接着针对HBase实现非主键索引,水文元数据管理,从而形成了一套完整的水文监测数据目录系统,为水文监测数据的挖掘与分析奠定了平台基础。通过实验进行分析验证,本文所设计实现的水文监测数据共享云平台可以很好地实现对于水文监测数据的集成共享。

论文目录

摘要

Abstract

1 绪论

1.1 研究背景与研究意义

1.2 国内外研究及发展现状

1.2.1 水文数据共享领域

1.2.2 云平台数据共享领域

1.3 论文目标及研究内容

1.4 论文组织结构

2 云平台下的水文监测数据共享模式的相关理论与技术

2.1 数据集成模式

2.1.1 基于联邦数据库的数据集成模式

2.1.2 基于中间件的数据集成模式

2.1.3 基于数据仓库的数据集成模式

2.2 云计算与大数据相关技术

2.2.1 云计算

2.2.2 Hadoop体系架构

2.2.3 HBase数据库

2.2.4 Hive数据仓库

2.2.5 Kafka消息系统

2.3 本章小结

3 云平台下的水文监测数据共享模式设计

3.1 引言

3.2 水文数据

3.2.1 基础信息类表结构

3.2.2 监测信息类表结构

3.3 数据存储设计

3.3.1 数据仓库存储设计

3.3.2 HBase存储设计

3.4 数据传输共享设计

3.4.1 消息传递策略分析

3.4.2 Kafka消息分发策略

3.4.3 数据传输共享设计

3.5 本章小结

4 水文监测数据共享云平台设计与实现

4.1 水文监测数据共享云平台需求分析

4.2 水文监测数据共享云平台架构设计

4.2.1 平台体系结构

4.2.2 总体技术方案

4.3 水文监测数据共享云平台实现

4.3.1 Docker虚拟化Hadoop集群

4.3.2 数据传输实现

4.3.3 数据存储实现

4.4 本章小结

5 实验及结果分析

5.1 实验环境

5.2 实验设计

5.3 实验结果分析

5.3.1 测试集群

5.3.2 数据传输测试

5.4 本章小结

6 总结与展望

6.1 工作总结

6.2 研究展望

致谢

参考文献

附录

文章来源

类型: 硕士论文

作者: 谢宇扬

导师: 秋兴国,郭艳艳

关键词: 水文监测数据,数据存储,数据传输,数据共享

来源: 西安科技大学

年度: 2019

分类: 基础科学,信息科技

专业: 地球物理学,计算机软件及计算机应用

单位: 西安科技大学

分类号: P332;TP311.13

DOI: 10.27397/d.cnki.gxaku.2019.000046

总页数: 60

文件大小: 3335k

下载量: 19

云平台下的水文监测数据共享模式研究

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢