论文摘要
针对传统单机模式下的数据挖掘系统难以处理大规模的雷达数据的问题,提出了一种基于分布式计算框架Hadoop和Spark的雷达数据序列模式挖掘系统。首先,对模拟的原始雷达数据进行一系列的预处理,包括基于密度的去噪、基于脉冲幅值一阶差分的符号化和数据分割,获取适合于后续挖掘的干净的数据;其次,将预处理后的雷达数据存入Hadoop分布式文件系统(HDFS),利用基于Spark的前缀投影序列模式挖掘算法(PrefixSpan)挖掘雷达数据中的频繁序列;最后,对挖掘的结果进行一定的后处理,先利用挖掘结果中的规律,对结果序列集的进行初步过滤,然后对剩余的结果集进行遍历过滤,获取最终的结果序列集。实验结果表明,随着数据集的不断增大,传统的单机模式下挖掘系统的处理时间增长迅速,很快便无法处理,而提出的雷达数据挖掘系统的处理时间增长比较缓慢,适合于处理海量的数据。
论文目录
文章来源
类型: 期刊论文
作者: 罗祖兵,杨晓敏,严斌宇
关键词: 雷达数据,数据挖掘
来源: 计算机应用 2019年S2期
年度: 2019
分类: 信息科技
专业: 电信技术,计算机软件及计算机应用
单位: 四川大学电子信息学院
分类号: TP311.13;TN957.52
页码: 169-174
总页数: 6
文件大小: 1318K
下载量: 161