Print

基于Redis和Hadoop的分布式水文模型并行率定研究

论文摘要

针对分布式水文模型的率定过程海量计算难题,本研究提出了基于Hadoop和Redis集群的泛化似然不确定估计（GLUE）率定算法——HR-GLUE。该方法通过Redis缓存模型输入,利用MapReduce算法实现的GLUE率定方法并行计算。研究以典型分布式水文模型——SWAT（Soil and Water Assessment Tool）的并行率定为例对该方法的计算效率和效果进行了验证。结果表明HR-GLUE可以显著堤高模型的率定速度,在14个作业节点的Hadoop集群满负荷工作时,可将模型的速度提高28.9倍,且利用其速度优势,可获得更优的率定效果。

论文目录

  • 0 引言
  • 1 验证模型与实现组件
  •   1.1 SWAT模型
  •   1.2 Hadoop
  •   1.3 Redis
  • 2 HR-GLUE率定方法实现
  •   2.1 模型输入缓存与读取
  •   3.2 模型并行率定实现
  • 4 实验与结果
  •   4.1 实验环境与设计
  •   4.2结果与分析
  • 5 结论

    • 文章来源

    类型: 期刊论文

    作者: 陈平,张德健,何原荣

    关键词: 集群,算法,分布式水文模型

    来源: 南宁师范大学学报(自然科学版) 2019年04期

    年度: 2019

    分类: 基础科学

    专业: 地球物理学

    单位: 厦门理工学院计算机与信息工程学院,厦门理工学院数字福建自然灾害监测大数据研究所

    基金: 福建省自然科学基金面上项目(2018J01481),厦门市科技计划产学研项目(3502Z20183056),厦门理工学院引进人才科研启动项目(YKJ16017R)

    分类号: P333

    DOI: 10.16601/j.cnki.issn2096-7330.2019.04.009

    页码: 50-56

    总页数: 7

    文件大小: 1109K

    下载量: 143

    相关论文文献

    本文来源: https://www.lunwen66.cn/article/8bc56bae83cd4bb1a6541b6d.html