地理空间实时流数据压缩与查询关键技术研究

论文摘要

随着时态地理信息系统的发展和智能移动设备的普及,全球每时每刻都在产生海量地理空间数据。大量有价值的知识和潜在的规律信息被蕴藏在数据中,这些数据的价值会随着时间的流逝而减少。因此,对时刻产生的地理空间数据进行实时处理与应用显得格外重要。地理空间数据的传统处理方式是将文件或数据库中存储的数据一次性加载到内存中,对这些数据进行处理后将得到的结果反馈给用户。该方式存在很多弊端,首先流数据是不间断产生的,并且具有无限的特性,而传统分析方法需要将所有数据都加载到内存中再进行后续分析,在数据量过大同时内存限制的环境下,传统分析方法就会失效;其次,传统处理方式在处理流数据时,通常会对数据进行循环扫描处理,而在处理流数据过程中,分析方法通常只能单遍扫描,即每个数据只会被处理一次。流数据处理方式是在数据流到来时及时处理并将结果反馈给用户。针对上述问题,本文基于Spark Streaming和HBase等核心技术设计实现了地理空间实时流数据压缩与查询技术方案。该技术实现了对地理空间数据进行实时压缩、存储管理与连续查询等功能,具有高效压缩、实时查询等优点。本文的主要工作如下:（1）针对地理空间实时流数据实时性和具有时空属性等特点,对CE轨迹压缩算法进行改进,结合时间属性与空间属性信息作为阈值,设计了T-CE轨迹压缩算法,该算法避免了短时间内曲线中具有代表性的点被误删除的情况,在一定程度上提高了压缩精度。（2）根据地理空间数据的结构特点和HBase的存储特性,实现了地理空间数据在HBase中的存储模型,并根据轨迹压缩和连续查询时不同存储需求选择不同的行键设计。（3）针对轨迹点数据动态更新的特点,提出了基于四叉树索引的概念分区方式,通过该方式访问数据能够更好地适应轨迹点实时更新特性,并且解决了简单网格索引由于数据的不均匀分布导致的各个网格内数据量负载不平衡问题。（4）基于四叉树索引的概念分区方式,实现了连续k邻近查询和连续范围查询,在查询过程中基于轨迹数据变化特点对历史查询结果进行更新,得到最新查询结果。通过结果更新方式,避免了查询工作的大量重复计算,提高了查询性能。最后,本文搭建了集群环境,基于T-Drive北京出租车轨迹数据,进行了相关性能测试。实验结果显示本文研究的地理空间实时流数据压缩与查询技术在连续查询性能方面优于同类方案,在实时压缩方面,本文提出的T-CE算法具有压缩速度快、误差小等特点。

论文目录

文章来源

类型: 硕士论文

作者: 高鹏

导师: 李龙海,李莉

关键词: 地理空间数据,实时处理,轨迹压缩,连续查询

来源: 西安电子科技大学

年度: 2019

分类: 基础科学,信息科技

专业: 自然地理学和测绘学,计算机软件及计算机应用,计算机软件及计算机应用

单位: 西安电子科技大学

分类号: TP311.13;P208

DOI: 10.27389/d.cnki.gxadu.2019.000376

总页数: 85

文件大小: 3324K

下载量: 46

相关论文文献

• [1].基于地理空间框架的“多规合一”信息平台设计与实现[J]. 现代测绘 2019(05)
• [2].陕西省地理空间大数据中心建设运行模式探讨[J]. 地理空间信息 2020(01)
• [3].人文自然耦合视角下过渡性地理空间概念、内涵与属性和研究框架[J]. 地理研究 2020(04)
• [4].省级地理空间大数据中心的设计与实现[J]. 地理信息世界 2020(01)
• [5].陕西省地理空间大数据中心标准化建设探讨[J]. 地理空间信息 2020(02)
• [6].地理空间的艺术史书写——以南泥湾为例[J]. 延安大学学报(社会科学版) 2020(02)
• [7].韩军地理空间情报支援组织机构研究[J]. 火力与指挥控制 2020(04)
• [8].大数据环境下地理空间拓扑判定与分析策略的研究[J]. 深圳职业技术学院学报 2020(03)
• [9].地理空间技术助力防控流行性疾病[J]. 中国测绘 2020(05)
• [10].绿化档案创新利用中“智慧化地理空间”模式分析[J]. 档案管理 2020(04)
• [11].多尺度地理空间要素非一致性检测技术研究[J]. 地理空间信息 2020(08)
• [12].地理空间情报知识图谱构建方法概述[J]. 信息工程大学学报 2020(01)
• [13].大数据时代细胞仿生结构的地理空间认知方法[J]. 测绘科学 2020(09)
• [14].文学的地理空间及其建构方式[J]. 社会科学动态 2019(01)
• [15].生态文明视角下的城与乡[J]. 中国发展观察 2018(18)
• [16].国家政治地理空间视域下的中国陆地边疆战略定位[J]. 晋阳学刊 2016(06)
• [17].面向叙事结构的地理空间情报可视分析方法[J]. 测绘科学技术学报 2017(01)
• [18].地理空间元数据可视化技术[J]. 电子技术与软件工程 2017(09)
• [19].基于本体的地理空间对象多尺度模型[J]. 郑州大学学报(理学版) 2017(03)
• [20].数字化地理空间框架的建设与应用[J]. 数字技术与应用 2017(05)
• [21].地理空间在这里延伸——平台带动服务经济发展纪实[J]. 中国测绘 2016(04)
• [22].基于地理空间技术的水利要素数据库建设与维护的方法[J]. 数字通信世界 2017(08)
• [23].政务地理空间大数据研究进展综述[J]. 测绘学报 2017(10)
• [24].国外中学生地理空间能力研究进展及启示[J]. 天津师范大学学报(基础教育版) 2016(01)
• [25].人地关系中地理空间发展的进程意义的探究[J]. 大学教育 2015(01)
• [26].中学生地理空间想象能力的比较研究——以广东省惠州市为例[J]. 教学与管理 2015(18)
• [27].基于云存储的地理空间框架数据服务[J]. 测绘科学技术学报 2015(03)
• [28].高中生地理空间想象能力与地理成绩之间的相关性分析[J]. 高考 2020(08)
• [29].伦敦城市喜剧中的地理空间——评《一座城市的戏剧：伦敦喜剧中的地方1598—1642》[J]. 中世纪与文艺复兴研究 2019(01)
• [30].高中生地理空间视角培养策略解析[J]. 成才之路 2020(04)

标签：地理空间数据论文;  实时处理论文;  轨迹压缩论文;  连续查询论文;