Print

基于Hadoop和Spark的雷达数据序列模式挖掘系统

论文摘要

针对传统单机模式下的数据挖掘系统难以处理大规模的雷达数据的问题,提出了一种基于分布式计算框架Hadoop和Spark的雷达数据序列模式挖掘系统。首先,对模拟的原始雷达数据进行一系列的预处理,包括基于密度的去噪、基于脉冲幅值一阶差分的符号化和数据分割,获取适合于后续挖掘的干净的数据;其次,将预处理后的雷达数据存入Hadoop分布式文件系统(HDFS),利用基于Spark的前缀投影序列模式挖掘算法(PrefixSpan)挖掘雷达数据中的频繁序列;最后,对挖掘的结果进行一定的后处理,先利用挖掘结果中的规律,对结果序列集的进行初步过滤,然后对剩余的结果集进行遍历过滤,获取最终的结果序列集。实验结果表明,随着数据集的不断增大,传统的单机模式下挖掘系统的处理时间增长迅速,很快便无法处理,而提出的雷达数据挖掘系统的处理时间增长比较缓慢,适合于处理海量的数据。

论文目录

  • 0 引言
  • 1 研究背景
  •   1.1 雷达信号
  •   1.2 Hadoop
  •   1.3 Spark
  • 2 系统架构
  •   2.1 预处理
  •     2.1.1 去噪
  •     2.1.2 符号化
  •     2.1.3 数据分割
  •   2.2 数据挖掘
  •     2.2.1 序列模式挖掘
  •     2.2.2 Prefixspan算法
  •   2.3 数据后处理
  •     2.3.1 结果序列集的初步过滤
  •     2.3.2 遍历过滤序列集
  • 3 实验与结果分析
  •   3.1 系统准确性
  •   3.2 Hadoop-Spark集群的性能
  • 4 结语

    • 文章来源

    类型: 期刊论文

    作者: 罗祖兵,杨晓敏,严斌宇

    关键词: 雷达数据,数据挖掘

    来源: 计算机应用 2019年S2期

    年度: 2019

    分类: 信息科技

    专业: 电信技术,计算机软件及计算机应用

    单位: 四川大学电子信息学院

    分类号: TP311.13;TN957.52

    页码: 169-174

    总页数: 6

    文件大小: 1318K

    下载量: 161

    相关论文文献

    本文来源: https://www.lunwen66.cn/article/f4840d11c661413f5a4291c4.html