海量空间数据论文_朱静,刘振华,乔栋

导读:本文包含了海量空间数据论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:数据,空间,分布式,矢量,海量,索引,数据管理。

海量空间数据论文文献综述

朱静,刘振华,乔栋[1](2019)在《基于HBase的海量地理空间数据的空间索引模型构建与优化》一文中研究指出传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不足等困难。非关系数据库如HBase等以其强大的扩展能力与计算能力为该问题提供了新的思路与方法。空间索引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素。对当前主要基于HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结合的RowKey(行键),使空间数据在HBase存储中得到很好的聚类效果,并针对要素重迭与边界划分等问题提出了一种基于四叉树-R树的改进的空间索引模型。该模型基于四叉树结构将空间数据划分为多个子网格,为每一个子网格构建R树索引,利用Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于MapReduce的并行化索引构建算法和相应的空间查询算法。经实验测试,该存储设计和空间索引模型具有较好的查询效率。(本文来源于《地质科技情报》期刊2019年05期)

杨璇,刘宇[2](2019)在《基于聚类的海量空间数据可视化研究与应用》一文中研究指出随着空间数据的爆炸性增长,空间数据可视化已经成为处理空间信息的重要方法和关键技术。论文首先简要陈述了当前空间数据可视化出现的问题,并对相应的方法进行了归纳及分析。在此基础上,提出了一种基于聚类的空间数据可视化方法,先通过聚类算法对空间数据进行聚类分析,然后将得到的结果进行可视化,从而解决了原有方法造成的数据拥堵、重复迭加现象。最后,对论文相关工作进行了总结以及对海量空间数据可视化的发展进行了展望。(本文来源于《计算机与数字工程》期刊2019年05期)

赵彦庆,程芳,魏勇[3](2019)在《一种海量空间数据云存储与查询算法》一文中研究指出针对传统的空间数据库管理方式在可扩展性、容错性和成本上难以满足分布式海量数据管理需求的问题,提出了基于开源大数据平台HBase的海量空间数据管理方案。根据空间数据操作方式的局部性特征,对存储于云平台中的空间数据,使用空间四叉树模型组织栅格数据,引入Z序空间填充曲线组织矢量数据,并建立空间索引,利用两步查询法(过滤和精化)进行空间查询。该方案在继承了HBase平台易于横向扩展、伸缩性和容错性强等特性的同时也保证了空间查询效率。基于此方案,设计实现了云空间地图服务系统CGMapServer。测试表明,该系统在高并发情况下对大数据集的空间查询响应具有较好的实时性。(本文来源于《测绘科学技术学报》期刊2019年02期)

李瀚,胡明晓,龚志红,樊竝君[4](2018)在《面向矢量瓦片的海量空间数据并行处理技术》一文中研究指出随着地图测绘技术的发展,原始地图数据量呈现爆炸式增长,对地图数据处理的空间及时间效率提出了更高需求。针对上述需求,本文提出一种面向矢量瓦片包含矢量数据切图并行和矢量瓦片上传并行的两级并行处理技术。实验结果表明,此并行处理技术在提高矢量数据切图和矢量瓦片上传效率上有显着效果,在海量矢量数据的高效处理上,本文提出的方法是可行的。(本文来源于《计算机与现代化》期刊2018年09期)

于晓昀[5](2018)在《PGIS海量空间数据加载方法研究》一文中研究指出随着空间数据的不断膨胀,在PGIS中进行空间分析与图形展示会出现数据读取慢和客户端图形加载时延长的问题。为解决以上两个问题,该文从数据读取的角度提出了使用分布式文件存储数据库Mongo DB快速读取数据的方案;从服务器端分析和客户端加载的角度研究了地图-像素映射快速抽稀算法。实验结果表明,在亿级数据量下,数据读取速度较传统关系型数据库可提升10-20倍,抽稀算法在保持数据特征的同时能够加快客户端图形的加载速度,可显着优化PGIS的图形加载性能。(本文来源于《电脑知识与技术》期刊2018年23期)

杨超[6](2017)在《海量空间数据的分布式存储查询优化》一文中研究指出位置服务基于用户位置向用户提供各类实时服务,其既是一种重要的服务形态,也是现实世界中诸多应用的基础。诸如基于位置的智慧旅游推荐、面向限定时空域的城市公共服务推送、商圈消费群体精准实时定位等应用,首先需要快速查询出位置相关的空间区域对象,进而采用快速的相似匹配计算来实现信息的实时推荐与推送。位置相关的空间对象查询性能是保证实时性服务的重要影响因素。但空间对象的庞大规模和多样化与查询的连续性、高负载、实时性形成了一对矛盾,在海量空间对象的存储和访问管理上提出了巨大挑战。本文即针对位置相关服务的实时性需求,在海量空间对象的存储与访问优化等方面展开深入研究。本文面向位置服务相关应用中的空间对象查询需求,针对空间对象的空间特征引入GeoHash地理编码系统,并充分开采分布式内存计算架构的性能优势,设计了综合键值对存储结构和列式存储模式的分布式存储模型以及空间对象范围查询模型。为进一步提升各类应用的实时性响应性能,本文基于分布式内存计算架构的大内存和多核特征,设计了分布式的多级索引结构,优化了大规模空间对象的访问性能,并从理论分析、实验验证两个维度充分证明了提出模型的有效性和高效性。具体研究内容与成果如下:首先,针对传统数据库和大数据计算平台的处理模式差异,设计了大规模密集型的实验来验证二者在不同应用和数据集上的性能表现。主要基于二者在处理架构、存储介质以及查询策略等方面的差异,分别设计实验对索引、内存、磁盘I/O等影响大规模数据处理性能的核心因素展开性能测评,进而基于性能表现综合分析各计算平台对不同任务的适用性,为后续的大规模数据计算平台选型和大规模数据的计算优化提供了事实依据。其次,针对海量空间对象的存储需求和实时性访问约束,综合分析了现有的分布式存储系统的优缺点,提出融合空间编码技术和多版本数据的海量空间数据存储模型。该模型采用GeoHash编码将二维空间对象转换为一维字符串键值,进而与键值对存储模式、列存储模式融合设计了新型的底层数据存储结构,能支持任意属性的空间对象存储和面向不同列族的查询优化。同时,基于空间对象编码提供的“空间相邻性、编码相似性”的特点,充分利用多版本数据的管理机制,提出了“高精度编码,低精度存储”的管理策略,并理论证明了编码精度和查询性能之间的影响关系。大量的实验结果也表明所提出模型对海量空间对象具有很好的存储可扩展性和查询性能。最后,为进一步提升海量空间对象的实时性查询响应,本文充分开采了分布式内存计算平台的性能优势,设计了基于分布式内存的海量空间对象存储模型和查询优化架构。在充分利用GeoHash编码与键值对存储模式的基础上,本文充分兼顾内存空间的随机访问特性和有效管理需求,设计了基于RDD结构的空间对象内存存储模型,进而融合列式存储的数据局部加载优势,优化了不同应用对数据的访问性能,从硬件性能开采和存储策略两个角度最大化提升了空间对象的查询性能。同时,基于分布式内存环境设计了常驻内存的字典树索引结构,实现了高效的分布式查询架构。大量的实验结果表明,该内存存储模型在保证数据存储可扩展性的基础上,面对不同的查询负载更好地满足了实时查询响应。(本文来源于《桂林电子科技大学》期刊2017-06-08)

高峰[7](2017)在《基于Spatial-Spark海量网络空间数据分析与应用》一文中研究指出数字城市是智慧城市重要的组成部分,也同时面临着海量空间数据获取、管理、分析和挖掘等挑战。移动互联网的发展使得网络空间数据呈现爆炸式增长,其中蕴含的信息对智慧城市建设有着重要的参考建议,然而这些数据存在着异质性、不规则性和海量性等特点,使得空间数据查询、空间数据挖掘和空间知识提取愈发难以处理。传统的空间分析工具面对上述需求往往捉襟见肘,本文对当前流行的并行计算框架Spark进行空间扩展,构建Spatial-Spark并行空间计算框架。以此为基础,对海量新浪微博POI进行同位模式挖掘,对全国新浪微博用户空间位置进行人口网络图分析,本文所作的工作和结论如下:(1)对 Spark RDD((Resilient Distributed Datasets)进行空间维度上扩展,对点、线和面构建了相应的Spatial RDD,支持海量空间数据读写、空间坐标转换和分区空间数据索引。提供空间拓扑查询、空间K邻居查询和空间连接查询叁个常用的空间查询模块,通过搭建Hadoop/Spark计算集群,验证了 Spatial-Spark在处理海量空间数据方面的优势。(2)使用新浪微博API获取全国范围内微博POI数据,对其进行同位模式挖掘。首先分析同位模式挖掘算法的关键,使用Spatial-Spark对全连接算法进行并行化设计。对上海、武汉和重庆叁市二阶模式进行比较,不同城市呈现不同模式;选择距离阈值d = 500m和空间参与度阈值0.6,对北京市微博POI类别进行同位模式挖掘,结果显示阶数越高越呈现商业聚集模式,其中最高六阶模式为(KTV,中餐厅,咖啡厅,甜品店,美容美发店,酒吧)。(3)根据全国新浪微博用户在2016年春节期间的空间位置数据,使用Spatial-Spark构建全国城市之间人口流动网络图。首先计算每个城市人口流入量、流出量和流入流出比,发现全国城市在春节期间人口流动呈现多样性;然后采用PageRank算法计算城市在人口流动网络图中的权重,发现城市权重与城市GDP发展的存在相关性,并根据权重将中心城市划分四个层次;最后对社群挖掘算法进行并行化改进,对人口流动网络图进行社群挖掘,发现城市联系紧密性与省份有关,地理位置对其影响很大,但也存在突破地理空间位置限制的城市。(本文来源于《中国矿业大学》期刊2017-06-01)

李庆君[8](2017)在《Hadoop架构下海量空间数据存储与管理》一文中研究指出随着地理信息产业的飞速发展,作为GIS血液的地理空间数据正在随着指数级的速率增长,使得空间数据的检索、计算及分析等操作的难度不断加大,并且其应用到GIS的工作领域范围也在不断扩张,空间数据精度需求不断增大,导致海量空间数据的存储管理难度一再提升,迫切需要新的方法和技术来解决该问题。2005年开始Hadoop分布式系统开源技术迅速发展,其主要的两项技术HDFS和MapReduce可以为地理空间数据的分布式存储及并行计算处理提供技术支撑,为解决上述问题提供了一条新的思路。本文深入研究了地理空间数据的常见数据存储模式和数据存储结构,针对Hadoop分布式开源平台中的分布式文件系统HDFS存储需求设计了非结构化空间数据存储模式,以便海量空间数据进行分布式存储,分散计算机硬盘及处理器的压力。同时为将不同来源、不同格式、不同数据结构的地理空间数据统一存储在HDFS中,设计了统一化的数据转换接口。当前,空间数据索引的研究大都是针对单机建立的索引,很少有分布式存储空间索引研究。存储在HDFS中的空间数据完全无序,并且分布散乱,对空间数据的检索需要在集群中的每一个节点进行遍历,才能检索到用户所需要的空间数据。因此本文针对几种不同的数据划分算法深入研究,找出了适合海量空间数据索引管理的STR树索引,建立了数据划分—局部索引—全局索引的STR树空间索引机制。通过MapReduce并行处理框架对索引进行分布式计算,并在最后Reduce阶段将结果进行归并以返回给用户,优化了数据检索技术,大大提高了数据检索的效率。(本文来源于《武汉大学》期刊2017-05-01)

邓科[9](2017)在《海量空间数据分布式存储管理系统的研究与实现》一文中研究指出空间信息技术在我国的应用起步于20世纪70年代,近年来随着信息技术的快速发展,以及各行各业对空间信息应用强大需求的推动下,我国的空间信息技术和应用获得了快速的发展。进入21世纪,随着摄影测量由解析迈进数字时代、地理信息系统与空间技术由兴起而飞速发展,测绘学发生了巨大变革,人类社会也向着信息社会大步迈进。一、国内外研究现状1.国外现状当前,空间数据组织管理主要是确定地理信息系统中的数据(本文来源于《科学中国人》期刊2017年11期)

李洪发,王东华,王洪大[10](2016)在《基于异步多线程的网络海量空间数据调度与可视化研究》一文中研究指出应用基于多线程技术的大场景空间数据可视化思想,针对网络海量空间数据的叁维场景的可视化需求,设计了基于异步多线程的空间数据调度和可视化算法。应用实践证明,通过使用异步多线程技术,极大改善了系统可视化过程中的交互能力,提高了系统的整体运行效率。(本文来源于《电脑编程技巧与维护》期刊2016年15期)

海量空间数据论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着空间数据的爆炸性增长,空间数据可视化已经成为处理空间信息的重要方法和关键技术。论文首先简要陈述了当前空间数据可视化出现的问题,并对相应的方法进行了归纳及分析。在此基础上,提出了一种基于聚类的空间数据可视化方法,先通过聚类算法对空间数据进行聚类分析,然后将得到的结果进行可视化,从而解决了原有方法造成的数据拥堵、重复迭加现象。最后,对论文相关工作进行了总结以及对海量空间数据可视化的发展进行了展望。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

海量空间数据论文参考文献

[1].朱静,刘振华,乔栋.基于HBase的海量地理空间数据的空间索引模型构建与优化[J].地质科技情报.2019

[2].杨璇,刘宇.基于聚类的海量空间数据可视化研究与应用[J].计算机与数字工程.2019

[3].赵彦庆,程芳,魏勇.一种海量空间数据云存储与查询算法[J].测绘科学技术学报.2019

[4].李瀚,胡明晓,龚志红,樊竝君.面向矢量瓦片的海量空间数据并行处理技术[J].计算机与现代化.2018

[5].于晓昀.PGIS海量空间数据加载方法研究[J].电脑知识与技术.2018

[6].杨超.海量空间数据的分布式存储查询优化[D].桂林电子科技大学.2017

[7].高峰.基于Spatial-Spark海量网络空间数据分析与应用[D].中国矿业大学.2017

[8].李庆君.Hadoop架构下海量空间数据存储与管理[D].武汉大学.2017

[9].邓科.海量空间数据分布式存储管理系统的研究与实现[J].科学中国人.2017

[10].李洪发,王东华,王洪大.基于异步多线程的网络海量空间数据调度与可视化研究[J].电脑编程技巧与维护.2016

论文知识图

平台建设框架流程的基阵和工作站Fig.4.3Tra...基于全球四叉树的海量空间数据...基于空间位置的空间数据检索及结果对比海量空间数据文件管理方法的基本...海量空间数据分布式存储(按区分...

标签:;  ;  ;  ;  ;  ;  ;  

海量空间数据论文_朱静,刘振华,乔栋
下载Doc文档

猜你喜欢