首页> 正文

基于流式计算的云台40米脉冲星数据处理框架技术研究

2020-12-08阅读(826)

基于流式计算的云台40米脉冲星数据处理框架技术研究

论文摘要

脉冲星是快速转动并不断释放脉冲信号的中子星,由于其特殊物理性质和极其稳定的周期变化,可进行高精度计时或等离子物理等方面的研究,因此对脉冲星的相关研究是现代天文学中重要内容之一。近年来基于脉冲星进行引力波、导航等新课题的研究,对脉冲星观测设备的性能提出了更高的要求。当前脉冲星观测信号接收及处理过程中,国外采用两种处理方式。一种以实时采集与处理的模式运行,但整体框架不够灵活,在后期开发过程中也存在诸多困难;另一种是基于离线文件读取的方式进行信号采集与处理,但达不到实时性的要求。在我国脉冲星观测数据处理研究中,因起步较晚,随着高吞吐率的射电天文望远镜观测设备的引进和使用,大都基于离线文件方式进行或者处在实时处理方法的探索阶段。因此高吞吐率的后端脉冲星观测设备迫切需要与之对应的数据流式处理技术的引入。虽然计算机硬件的性能在飞速发展,但是开发和维护实时的流式数据处理技术仍然是即困难且耗时的工作,严重影响到科学产出。为了解决现有国内脉冲星数据处理效率问题,本论文主要基于云南天文台40米射电望远镜脉冲星数据处理过程中先采集后处理的方式,研究现有国内外流式数据的实时处理框架技术并对射电天文脉冲星数据的实时处理框架等相关技术进行分析对比。在分析结果的基础上,设计了一个PulsarPipeline脉冲星数据处理框架,该框架由数据处理管道、实现算法的功能函数和连接功能函数的环形缓冲区三个主要组件组成,实现脉冲星数据的流式处理,之后实现该框架模型。在此基础上实现了处理ROACH2观测数据的消色散算法的各个功能组件,最终构建一个用于云南天文台40米射电望远镜脉冲星信号消色散处理的Pipeline流处理框架原型,并予以验证,实验结果表明PulsarPipeline框架在脉冲星数据处理速度上相较于现有的处理方式有一定的性能优势。本人的研究成果和创新点如下:1).在云南天文台40米射电望远镜现有的脉冲星数据处理基础上,构思PulsarPipeline脉冲星数据处理框架的设计思想,在框架整体设计上根据其实现的语言不同,分别划分为用户建模层设计和内部计算引擎设计,并进行详细设计描述;2).基于PulsarPipeline框架在CPU上实现脉冲星数据处理即消色散算法,输入编号为J0835-4510脉冲星观测数据,得到脉冲星消色散后的轮廓图,模拟云南天文台脉冲星数据处理方法进行单元测试和基于PulsarPipeline流式计算框架实现的消色散算法对不同大小的数据量进行效率对比分析;3).在PulsarPipeline流处理框架上实现的脉冲星消色散算法效率进行优化,即实现基于GPU的脉冲星数据处理消色散算法,将基于PulsarPipeline流式计算框架的CPU消色散算法和GPU消色散算法效率进行对比分析,论证PulsarPipeline脉冲星数据处理框架的优势。同时也对存在的问题及未来接下来的工作进行讨论。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  •   1.1 研究背景
  •   1.2 云台40米脉冲星观测设备介绍
  •   1.3 云台40米脉冲星数据处理现状
  •   1.4 流式计算框架技术现状
  •   1.5 论文主要研究工作
  •   1.6 论文组织和安排
  •   1.7 本章小结
  • 第二章 现有流式数据实时处理框架介绍及分析
  •   2.1 商用流式数据处理框架技术
  •     2.1.1 Storm框架
  •     2.1.2 Spark Streaming框架
  •     2.1.3 Flink框架
  •   2.2 天文领域流式处理框架技术
  •     2.2.1 PSRDADA
  •     2.2.2 PELICAN
  •     2.2.3 HASHPIPE
  •   2.3 对比分析
  •   2.4 本章小结
  • 第三章 Pulsar Pipeline流式框架设计
  •   3.1 框架设计思想
  •   3.2 整体架构设计
  •     3.2.1 用户建模层设计
  •     3.2.2 内部计算引擎设计
  •   3.3 PulsarPipeline框架基类设计
  •   3.4 PulsarPipeline框架详细设计
  •     3.4.1 Pipeline设计
  •     3.4.2 FuncBlock设计
  •     3.4.3 RingBuffer设计
  •     3.4.4 特定全局变量和类的命名规则设计
  •   3.5 框架的性能问题及解决方法
  •     3.5.1 CPU的亲缘性介绍及解决方法
  •     3.5.2 GIL介绍及解决方法
  •   3.6 本章小结
  • 第四章 CPU+PulsarPipeline的消色散算法实现
  •   4.1 实验环境及介绍
  •   4.2 实验数据介绍
  •   4.3 消色散算法介绍
  •     4.3.1 非相干消色散
  •     4.3.2 相干消色散
  •   4.4 框架设计的实现
  •     4.4.1 Pipeline设计实现
  •     4.4.2 FuncBlock的设计实现
  •     4.4.3 RingBuffer的实现
  •   4.5 CPU+PulsarPipeline消色散算法实现
  •     4.5.1 消色散算法步骤介绍
  •     4.5.2 数据解码实现
  •     4.5.3 消色散算法实现
  •     4.5.4 偏振检测算法实现
  •     4.5.5 折叠算法实现
  •     4.5.6 输出结果
  •   4.6 框架测试及性能分析
  •     4.6.1 框架测试及结果验证
  •     4.6.2 框架性能分析
  •   4.7 本章小结
  • 第五章 CUDA+PulsarPipeline的消色散算法实现
  •   5.1 设计思想
  •   5.2 CUDA概述及实验环境配置
  •     5.2.1 CUDA简介
  •     5.2.2 CUDA架构
  •     5.2.3 CUDA线程和内存结构
  •     5.2.4 CUDA实验环境配置
  •   5.3 GPU+PulsarPipeline消色散算法实现
  •     5.3.1 数据解码CUDA的实现
  •     5.3.2 消色散算法CUDA实现
  •     5.3.3 偏振检测算法CUDA实现
  •     5.3.4 折叠算法CUDA实现
  •     5.3.5 输出结果
  •   5.4 CPU和 GPU环境中框架性能分析
  •   5.5 本章小结
  • 总结与展望
  •   本文工作总结
  •   未来工作展望
  • 致谢
  • 参考文献
  • 附录A:攻读学位期间取得成果
  • 附录B:攻读学位期间参与的研究工作

    • 文章来源

    类型: 硕士论文

    作者: 朱彦飞

    导师: 戴伟

    关键词: 脉冲星,流式数据处理,管道,框架,消色散

    来源: 昆明理工大学

    年度: 2019

    分类: 基础科学

    专业: 天文学,天文学

    单位: 昆明理工大学

    分类号: P145.6;P111.44

    DOI: 10.27200/d.cnki.gkmlu.2019.001095

    总页数: 82

    文件大小: 4051K

    下载量: 30

    相关论文文献

    • [1].探讨Struts+Hibernate框架技术的应用[J]. 农业网络信息 2013(05)
    • [2].框架技术与设计模式在商业物流信息系统中的应用[J]. 智能计算机与应用 2013(01)
    • [3].基于移动平台的微应用开发框架技术研究[J]. 中国设备工程 2019(09)
    • [4].基于J2EE的ACM竞赛在线评判系统的设计[J]. 安徽理工大学学报(自然科学版) 2009(04)
    • [5].实体框架技术及其在网络课程开发中的应用[J]. 电脑知识与技术 2017(35)
    • [6].基于框架技术的商务应用系统的开发[J]. 计算机与现代化 2010(01)
    • [7].Struts框架技术简析[J]. 长春师范学院学报 2012(09)
    • [8].AJAX技术在ASP.NET中的应用[J]. 电脑知识与技术 2009(21)
    • [9].基于J2EE的框架技术研究与应用[J]. 计算机与数字工程 2011(06)
    • [10].SSH框架技术分析[J]. 科技广场 2014(05)
    • [11].SSH框架技术简述[J]. 信息与电脑(理论版) 2012(08)
    • [12].基于Struts2框架技术在WEB项目中的应用[J]. 科学中国人 2014(04)
    • [13].基于J2EE的框架技术综述[J]. 福建电脑 2012(01)
    • [14].Struts框架技术在财务系统中的研究和应用[J]. 科技创新导报 2008(03)
    • [15].MVC框架技术搭建技能培训信息平台实例[J]. 数字技术与应用 2016(09)
    • [16].SSH2框架技术在垦区环境保护内业管理上的应用[J]. 现代化农业 2014(02)
    • [17].J2EE软件开发框架技术探讨[J]. 黑龙江科技信息 2011(35)
    • [18].浅析Ajax框架技术的应用与实践[J]. 信息与电脑(理论版) 2010(24)
    • [19].J2EE框架技术在公安出入境信息系统中的应用[J]. 警察技术 2008(04)
    • [20].J2EE软件开发框架技术探讨[J]. 电脑知识与技术 2010(20)
    • [21].基于MVC模式的Struts框架技术的研究与应用[J]. 福建电脑 2009(06)
    • [22].VC++中MFC框架技术探索[J]. 吉林建筑工程学院学报 2009(04)
    • [23].基于SSH框架技术高职院校网上竞价采购系统的研究[J]. 宁波职业技术学院学报 2013(05)
    • [24].一种具有语音播报功能的单独招生平台的设计[J]. 软件工程 2020(11)
    • [25].基于SSH框架技术的企业信息管理系统的设计与实现[J]. 中国高新技术企业 2012(11)
    • [26].基于Spring+Struts+Hibernate的Web项目设计与研究[J]. 电脑开发与应用 2008(04)
    • [27].JAVA框架技术的线上教学实践[J]. 集成电路应用 2020(06)
    • [28].基于ArcEngine和框架技术的矿产资源管理信息系统设计与应用研究[J]. 国土资源信息化 2018(04)
    • [29].基于项目驱动的JavaEE框架技术实践教学改革探索——以湖南人文科技学院为例[J]. 湖南人文科技学院学报 2018(05)
    • [30].SpringMVC框架技术在无线答题系统中的应用[J]. 物联网技术 2017(09)

    标签：;  ;  ;  ;  ;  

    基于流式计算的云台40米脉冲星数据处理框架技术研究
    下载Doc文档

    猜你喜欢

    © 2025 毕论降 版权所有 鄂ICP备12018319号-6