基于Spark的降雨量预测方法研究与实现

论文摘要

卫星云图可直观反映各类云系的运动状态,已成为气候及水文预测的重要参考依据。多年来水利行业累积了大量的卫星云图和雨量数据,但通过人工判读的方式效率低,只能定性判断,在决策过程中可信度低。为了解决此问题,本文综合应用Spark大数据技术与图像挖掘技术,通过关联规则分析研究云图与雨量之间的关系,为基于卫星云图的降雨预测提供理论了依据。论文主要研究开发内容如下:（1）构建了云图数据和雨量数据关系模型。基于灰度特征设计了五种与降雨相关的云图特征参数,结合云图特征参数和雨量数据建立多维立方体,并采用聚类技术完成混合数据分区,进而利用关联规则挖掘算法探究云图与雨量之间的关系（2）利用聚类技术实现卫星云图云层分离提取。引入粗聚类Canopy算法对模糊C均值算法进行了改进,研究了Canopy FCM算法。针对局部最优问题,结合最大最小原则,提出了MMCanopy FCM算法。为了支持海量卫星云图的处理,结合Spark编程模型,提出并实现了并行化SP MMCanopy FCM算法。实验结果表明本文方法可有效实现云层分离。（3）基于云图-雨量混合数据集进行关联规则挖掘。结合矩阵特性改进了Apriori算法,提出了基于矩阵压缩的MCApriori算法,克服了其产生过多无用候选项集的缺点,提高了内存利用率。为支持海量云图-雨量数据的关联规则挖掘,基于Spark平台对Apriori算法进行了并行优化,提出SP MC Apriori算法。通过实际的云图-雨量混合数据集实验分析表明,本文方法具有较好的准确性和时效性。（4）应用上述理论与方法,基于Spark大数据平台,设计实现了一个降雨量预测原型系统。

论文目录

文章来源

类型: 硕士论文

作者: 高利峰

导师: 张发存,刘振宇

关键词: 卫星云图,图像挖掘,关联规则,聚类分析

来源: 西安理工大学

年度: 2019

分类: 基础科学,信息科技

专业: 气象学,计算机软件及计算机应用

单位: 西安理工大学

分类号: TP311.13;P457.6

总页数: 82

文件大小: 10537K

下载量: 411

相关论文文献

• [1].基于聚类分析的高速铁路突发事故等级划分[J]. 内江科技 2019(12)
• [2].基于PubMed数据库患者自我管理研究热点的共词聚类分析[J]. 中国医药导报 2020(01)
• [3].基于聚类分析的学生成绩评定方法研究[J]. 智库时代 2020(11)
• [4].基于因子聚类分析的儿童陪伴机器人用户细分[J]. 包装工程 2020(14)
• [5].基于聚类分析的异常数据检测[J]. 电子技术与软件工程 2020(15)
• [6].基于聚类算法的大用户用电模式识别研究[J]. 中国管理信息化 2017(19)
• [7].数学学科核心素养要素析取的实证研究[J]. 数学教育学报 2016(06)
• [8].聚类分析对学生成绩的研究[J]. 无线互联科技 2014(12)
• [9].聚类分析和判别分析在投资中的应用[J]. 信息安全与技术 2015(06)
• [10].基于K-聚类分析法的预防性养护路段划分[J]. 安徽建筑 2015(03)
• [11].我国“中部崛起”战略的实证分析[J]. 智富时代 2016(S2)
• [12].基于聚类分析的墨量预置优化方法[J]. 数码世界 2016(12)
• [13].互联网保险产品开发研究——基于平安互联网保险产品的聚类分析[J]. 保险理论与实践 2017(03)
• [14].高职大学生心理健康水平的聚类分析[J]. 现代职业教育 2017(07)
• [15].环境安全评价指标体系的构建及聚类分析——以江苏省13市为例[J]. 赤子(下旬) 2017(01)
• [16].聚类分析在方言分区上的应用——以江淮官话洪巢片为例[J]. 国际汉语学报 2017(01)
• [17].经典划分聚类分析方法及算例[J]. 地壳构造与地壳应力文集 2016(02)
• [18].聚类分析理论的简单应用[J]. 科学中国人 2016(03)
• [19].2015—2018年国外机构养老研究热点的共词聚类分析[J]. 中国社会医学杂志 2019(06)
• [20].基于主成分分析和Q型聚类分析的2018年俄罗斯世界杯足球赛各队技战术综合分析[J]. 计算机时代 2020(01)
• [21].基于聚类分析的不均衡数据标注技术研究[J]. 计算机仿真 2020(02)
• [22].大学生职业潜能聚类分析与实际就业状况的关联性研究[J]. 教育评论 2018(01)
• [23].聚类分析在财政实务工作中的应用[J]. 财政科学 2018(02)
• [24].农业生产资料价格指数的聚类分析[J]. 电脑知识与技术 2017(27)
• [25].基于PubMed的共词聚类分析方法[J]. 电子科技 2016(02)
• [26].聚类分析在外国语言学研究中的应用探讨[J]. 中国校外教育 2018(07)
• [27].基于聚类分析法的机场出租车问题研究[J]. 科学技术创新 2020(35)
• [28].基于因子聚类分析的安徽服务业竞争力评价[J]. 中国市场 2013(02)
• [29].教学测评数据的对应聚类分析法研究[J]. 科技信息 2012(34)
• [30].近红外光谱和聚类分析法无损快速鉴别小儿抽风散[J]. 光谱学与光谱分析 2008(02)

标签：卫星云图论文;  图像挖掘论文;  关联规则论文;  聚类分析论文;