张雄飞[1]2003年在《网络环境下高光谱数据库构建及其应用实践》文中进行了进一步梳理高光谱遥感作为遥感的前沿技术，正在得到日益广泛的应用，其数据积累日益丰富。随着定量化遥感渐渐成为关注的核心。很多领域都越来越迫切的要求建立一个存放高光谱数据，功能性强，使用方便，易扩展的，与本领域应用相结合的数据库系统。与此同时，高光谱数据却有着其与众不同的特点，一方面由于采用仪器的不同，造成波段数各不相同；一方面其一个对象对应各种属性数据、图像数据以及许多波段的光谱数据，数据量大，关系复杂；同时高光谱数据还具有图谱合一的显着特点，所有这些决定了原有的光谱数据库系统已经不能满足高光谱数据研究、应用的需要。 本文总结了前人的研究成果，研究了目前光谱数据库的发展现状，根据高光谱数据应用的需要，在国际和国内首次提出了高光谱数据库的概念，它无论在存储地面成像光谱辐射计数据方面还是在处理图像光谱数据方面都具有十分重要的现实意义。高光谱数据库不但继承了原有光谱数据库系统存储、显示光谱及其相关属性数据的特点，而且为图像光谱数据设计了存储结构，将之妥善的存储、显示，从数据库的角度反映出了高光谱数据图谱合一的特点，使数据结构更为紧凑，将图像与光谱融为一体，为将来海量高光谱数据的挖掘做好了准备。 一个高光谱数据库系统将主要由以下几部分组成：高光谱图像样本库系统；光谱数据库辅助系统；高光谱数据分析系统；带有数据挖掘功能的数据仓库以及前台界面系统。本文在提出这个组织结构的同时，实现了一个高光谱数据库原型系统。主要包括：基于网络的光谱数据库系统，这是原有光谱数据库系统的发展，在应用的数据平台上发展到了大型的ORALCE数据平台，随着全系统的建成，它还具有了数据分析系统以及网络化的前台发布。同时还将作为高光谱数据库系统的辅助子系统；基于网络的数据分析系统，这是为了扩展数据库应用而建立的具有基本高光谱数据分析功能的子系统，它将以数据库中存储的各种数据为对象，进行数据处理，丰富数据库的功能；基于网络的光谱图像子系统，这是整个高光谱数据库系统的灵魂所在，它从数据库层面上实现了高光谱数据图谱合一的特性，将光谱与图像融为一体，从图像中可以直接提取光谱。这种将空间信息、光谱信息集成为一体的数据库系统，必将发挥其重要的作用；前台发布系统，在信息时代，网络化已经成为发展的趋势，在网络上实现整套系统的发布将有利于促进数据的交流与共享，开拓高光谱应用的范围和前景。本文以高光谱数据库系统概念为核心，围绕这几个子系统的建立，详细讲述了技术路线、基本框架，各子系统设计时所遇到的特殊问题，以及解决他们采取的方法和步骤，乃至最终实现的结果，全面介绍了一个相对比较完整的基于网络的高光谱数据库原型系统的建设过程。 同时，在设计、解决问题和实现过程中，从理论上为高光谱数据库系统总结提出了一个数据结构的存储规范，提出并比较了几种在ORACLE数据库平台下存储模式的优缺点和选择条件，这为今后此类系统的开发打下了坚实的技术理论基础。 最后对于将数据仓库和数据挖掘的新技术应用于高光谱数据进行了初步的探讨，展望其应用远景，为将来在高光谱数据库系统中集成数据仓库进行了理论探索。
李程, 朱西存, 高璐璐, 王凌[2]2016年在《苹果冠层/叶片高光谱数据库系统的设计与建立》文中认为设计与建立苹果冠层/叶片高光谱数据库,实现苹果冠层/叶片高光谱数据的获取、整理、存储与应用分析,可以为苹果养分含量的高光谱遥感反演提供数据服务和支持。利用ASD Field Spec 3地物光谱仪采集的苹果冠层/叶片高光谱数据,在Microsoft Visual Studio 2010开发环境下,基于C#语言与SQLServer 2008关系型数据库,采用C/S开发模式,设计与建立了苹果冠层/叶片高光谱数据库系统,完成了对高光谱数据批量录入、存储、导出与数据处理多项功能。
李程[3]2018年在《基于Hadoop的遥感数据分布式存储研究》文中研究指明随着遥感技术的快速发展,多传感器、多时相、高空间分辨率、高光谱分辨率的遥感数据量也越来越多,数据类型也越来越复杂。传统的单机集中式数据存储方式无法满足高效、安全存储海量遥感数据的需求。因此,有必要探索一种遥感数据存储方式,以解决遥感数据膨胀带来的一系列问题。以Hadoop平台为基础的分布式数据存储技术为海量异构遥感数据的高效、安全存储提供了解决方案。本研究分别针对结构化数据和非结构化数据两种数据类型设计数据存储模型,其中在结构化数据节点中,部署基于Microsoft Visual Studio 2010和SQLServer 2008开发的结构化、关系型SQL数据库,用以存储近地非成像高光谱数据和属性数据;在Hadoop集群中,利用Hadoop分布式文件系统(Hadoop Distributed File System,HDFS),存储按照一定规则拆分后的卫星遥感影像数据块。为避免系统搭建过程中不必要的资源浪费,预先在虚拟环境下搭建伪分布式Hadoop集群,并在此基础上设计了卫星遥感影像数据存储模型和系统网络拓扑结构。为保证系统安全运行,在系统与用户之间引入Web服务器作为桥梁,实现了用户与系统的物理隔离,用户命令和系统数据均通过Web服务器转发;同时分别在不同层面上设置了如双电源、双硬盘、RAID 1、用户权限控制等系统安全机制。在千兆交换网内搭建包含Hadoop集群、Web服务器和结构化数据存储节点的分布式遥感数据存储系统,从而实现了遥感数据的分布式存储,并验证了系统的稳定性和高效性。主要研究结果如下:(1)实现了构化数据的存储。利用Microsoft Visual Studio 2010和SQLServer2008进行开发,设计了C/S模式的结构化数据管理系统,并部署在集群中的结构化数据存储节点中,可以实现近地非成像高光谱数据和属性数据这两种结构化数据的存储,进而实现结构化数据与非结构化数据的分离,减小了系统开销。(2)搭建了基于虚拟化平台的伪分布式Hadoop集群。利用虚拟机软件可以以传统PC机为硬件基础,虚拟出若干Hadoop集群节点,通过网络配置,实现Hadoop集群的伪分布式搭建。(3)设计了基于Hadoop的卫星遥感影像数据分布式存储模型和网络拓扑结构。通过对卫星遥感影像的递归四等分拆分编号的方式,可以在Hadoop集群中实现对整幅较大的卫星遥感影像数据的分布式存储,并形成“影像名-波段名-影像块名”的树形卫星遥感影像数据分布式存储模型。设计了星型网络拓扑结构,通过千兆交换机将各节点相连。(4)实现了非结构化遥感数据的分类型、分布式高效安全存储,并进行了系统性能验证。搭建了包含1个Namenode节点和13个Datanode节点的全分布式Hadoop集群、Web服务器和结构化数据节点遥感数据分布式存储系统。设计网络拓扑、业务流程和安全机制,实现了海量异构遥感数据的分类型、分布式高效安全存储。以一景数据量大小为885 MB的LandSat-8卫星遥感影像数据作为测试数据,分别测试单机数据服务器数据上传/下载速度和分布式系统数据上传/下载速度。分布式系统上传的平均速度为64.52 MB/s,单机数据服务器上传的平均速度24.48 MB/s。分布式系统的数据上传效率高于单机数据服务器的数据上传效率,且上传速度更稳定。分布式存储系统下载的平均速度为71.38 MB/s,单机数据服务器下载的平均速度31.52MB/s。分布式系统的数据下载效率高于单机数据服务器的数据下载效率。利用分布式系统可以实现对海量异构遥感数据的高效稳定存储,从而为更全面、更准确的遥感数据分析提供保障。
梅晓光[4]2016年在《傅里叶变换红外超光谱数据分类方法研究》文中进行了进一步梳理基于迈克尔逊干涉原理的傅里叶变换红外(Fourier Transform Infrared,FTIR)超光谱仪较传统色散型光谱仪,具有红外全谱覆盖、光谱分辨率高(可达0.1 nm)、扫描红外全谱时间短(可达0.01 s)的特点。它的出现使得实时完成对高速运动目标识别和大气组分精细分析等应用成为可能。分类是这些红外光谱探测应用的基础,目前学术界和工业界尚未开展针对FTIR超光谱数据的分类方法研究,通常沿用高光谱数据分类算法。由于FTIR超光谱超高分辨率带来的高维数据会使传统高光谱数据分类算法在实时性和分类精度上无法满足实际应用的要求。传统高光谱分类算法处理的高光谱数据为数百维,目前FTIR的光谱数据已增长到上万维,而分类时间也随数据维数显着增长,从而给实时应用带来困难。本文针对实时性问题,从提升算法效率和提升硬件处理能力和两个方面开展了研究工作。首先,提出了一种空间分层光谱直方图概念和计算方法,并给出了基于空间金字塔匹配(Spatial Pyramid Matching,SPM)的FTIR超光谱分类方法,有效提高了超分辨率光谱数据特征分类的实时性,使匹配相似度计算过程时间显着降低,从而提高了系统的实时性。其次,设计并研发了一套FTIR超光谱信号处理机的原理样机,通过外场实验验证了该系统具有良好的实时性,为超光谱应用于实时在线遥感探测提供平台保障。FTIR获取的干涉信号中信噪比(Signal to Noise Ratio,SNR)与光谱分辨率呈反比,即光谱分辨率的提高,会使SNR降低,甚至导致光谱发生形变。实验证明针对超光谱分辨率的数据,采用传统分类方法处理的分类精度呈指数下降趋势。针对光谱分辨率提高带来分类精度下降问题,本文提出了一种基于稀疏受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)的超光谱数据分类算法,有效提高了高维度光谱数据特征的分类精度。实验证明,该方法可有效解决FTIR超光谱超高分辨率导致的分类精度下降的问题。综上所述,本文对FTIR超光谱分类方法进行了理论研究和实验验证工作,解决了FTIR超光谱应用中的关键问题,为FTIR超光谱在高速运动目标识别、大气组分精细测量分析等应用中提供有效的技术支撑,有助于提升和扩展FTIR超光谱的应用价值和范围。
谭克龙[5]2007年在《塔里木河流域生态环境动态监测系统研究与开发》文中研究指明近年来，随着现代生态环境研究和现代信息技术的发展，3S技术正在不断深入和广泛地应用于生态环境领域，数字生态监测系统建设成为重要的发展趋势。但是目前国内实际运行的生态环境遥感监测系统还很少，技术手段还很不完善，遥感和GIS没有实现有机的融合，生态信息的提取主要依靠目视解译或人机交互的办法，图像处理和GIS商业软件难于满足大区域、复杂系统的需求，许多软件不能有效集成，系统信息难以实现有效共享，导致在现阶段还是难于全面、准确、迅速地实现生态环境的实时动态监测和预报，直接影响了保护措施和调控对策的实施效果。塔里木河流域面积102×10~4km~2，是我国重要的少数民族聚居区，国家级棉花、石油化工基地和21世纪能源战略接替区，具有十分重要的政治、军事和经济战略地位，但近几十年来，随着人口增加，社会经济发展，水资源的无序开发和低效利用，下游近400km河道断流萎缩，尾闾台特玛湖干涸，中下游植被衰败，并有向上游发展的趋势，生态环境严重恶化。本论文根据塔里木河流域生态变化特征和生态保护治理与管理需求，在国家重大项目“塔里木河流域水量调度管理系统”支持下，利用组件式GIS技术进行二次开发，为塔里木河流域设计、研发、建立了生态环境动态监测系统。通过对“塔里木河流域生态环境动态监测系统”平台理论、总体设计与开发的深入研究，取得了以下重要成果和结论。1．在“数字流域”框架体系下，以生态环境遥感业务流程为主线，充分应用并集成“3S”技术手段，开发建立了生态环境遥感数据采集、传输、存储管理、动态监测、分析与预警，及信息共享的大型综合性、业务化运行系统。系统操作简单，使用方便，结构合理，逻辑关系清楚，实用性强。采用“数据流集成式”的体系结构，以数据集成为中心，以各子系统间数据流动关系为纽带，把整个系统集成为基于子系统数据间关系紧密、物理结构松散的组件式系统，为数字塔里木河流域建设奠定了基础。2．根据塔里木河流域生态环境及相关因素的数据现状和未来发展趋势，采用数据仓库管理技术，以及空间数据和属性数据一体化、多源数据无缝集成、海量空间数据存储技术的建库思想，设计了可以实现拓扑和非拓扑、空间和属性、矢量-栅格一体化的流域空间数据库，科学地解决了如何在“计算机”中对流域的“复杂实体”和“海量空间数据”进行有效组织和一体化管理问题，建立了塔里木河流域多源、多尺度、多类型、跨带的无缝、海量空间数据库。3．采用不同尺度、不同时间分辨率的遥感影像数据，构建了多层次、多目标的流域生态环境监测运行体系。根据塔里木河地物类型、地形等区域特征，采用分级分类的思想，研发了大区域生态环境遥感信息自动提取模块，应用于塔里木河流域内的土地利用、荒漠化、植被、盐渍化等专题信息提取，信息提取精度达到87％，校正后达到95％，建立了大规模信息提取技术应用的方法和技术标准。为方便信息自动提取和人机交互解译，设计建立了全新、完善的知识库系统，提高了信息提取、交互解译和动态监测的精度，实现了解译标志和参考信息系统化管理。4．研究开发实现了遥感与GIS功能的有机融合。分别基于IDL语言和AO控件开发，在统一界面下实现了遥感影像数据处理、标志建立、信息提取、编辑校正、动态监测和分析统计的一体化工作流程；其次，在“数据流集成式”的体系结构下，遥感监测信息还可以利用生态分析子系统的强大空间分析能力进行数据的深层分析和运算，实现生态预警和土地利用变化趋势分析。克服了以往遥感图像处理软件和GIS软件各自的弱点，将遥感图像处理、信息提取与GIS编辑分析功能有效地集成为实用性更强的系统。5．将CA模型与GIS的专业分析有机地结合在一起，综合考虑了多种影响因素，建立了大范围的土地利用趋势分析(GeoCA-Landuse)模型，开发了塔河流域“叁源一干”土地利用趋势分析模块。为流域长远规划提供了决策支持，极大地提升了系统的辅助决策能力。论文研究在遥感信息自动提取，RS与GIS一体化，大型综合性、运行化生态遥感监测系统研制等方面具有一定创新，对生态环境遥感监测系统研究具有重要的推动作用，对“数字流域”建设也具有参考价值。
李兴[6]2006年在《高光谱数据库及数据挖掘研究》文中指出高光谱遥感技术是指具有10~(-2)λ的光谱分辨率，在可见光到短波红外波段其光谱分辨率高达纳米数量级的遥感技术。随着航空、航天遥感器技术的迅速发展和空间信息需求的日益扩大，遥感影像数据获取越加频繁，数据量也与日俱增。高光谱遥感影像更是因为其数据量巨大而对影像数据库的发展提出了新的挑战。在海量的光谱数据和影像数据被数据库有效的管理起来之后，从这些TB级的数据中挖掘有用的信息，成为了高光谱遥感应用的主要研究方向之一。这些数据并不完全结构化，数据质量也不尽完好，因此数据挖掘领域的相关技术方法被应用到高光谱遥感领域，在数据的海洋之中萃取知识的精华。 本篇论文在综合描述了高光谱遥感技术和数据库技术的发展背景前提下，提出了高光谱数据库和光谱数据挖掘的内涵和外延。并以此为切入点，对国内外地面光谱数据库、遥感影像数据库的发展和研究现状、数据挖掘技术的发展和研究现状，以及空间数据挖掘和影像数据挖掘技术做了深入探讨。通过对国内外研究进展的把握和自身项目研究知识积累，针对数据挖掘和应用方向提出了高光谱数据库的系统设计，并通过导入了六千多条数据，在ORACLE平台上完成了技术实现。以建立的高光谱数据库为基础，对光谱数据挖掘应用和高光谱影像数据挖掘应用做了一些开创性的研究工作。 本文取得的研究进展和创新点归纳如下： ● 在构建高光谱数据库基础之上，提出了针对数据库存储方案的光谱数据模型和影像数据模型，通过将必要的高光谱分析方法和分析模型整合到数据库之中，实现了数据、方法、模型在高光谱数据库中的集成与统一。 ● 将多源数据统一到一个数据库平台之中，将原有的大表结构和表群结构作转换，设计了以二元数据为核心的星型数据库概念结构，建立了通用的高光谱数据库建库模式和模型设计线路。 ● 将数据库数据挖掘技术应用在光谱数据模拟和光谱参量分析研究上，从光谱数据和属性数据这两个方向在数据库中实现了高光谱数据挖掘的应用。 ● 将高光谱影像数据空间映射到数据库表空间，从而实现借助于数据库平台对高光谱影像进行数据分析与信息挖掘，实现了非负矩阵分解的逆变换高光谱数据压缩、最小长度模型辅助高光谱影像波段选择、非负矩阵分解高光谱影像特征提取、支持向量机的高光谱图像目标提取等高光谱数据自动分析模型。
李荣亚[7]2014年在《双态云支持下高分辨率遥感存储与计算一体化研究》文中认为伴随科学技术的持续发展与应用需求的不断提高,高空间分辨率、高光谱分辨率、高时间分辨率已成为当今卫星遥感发展的主要趋势。当前,高分辨率遥感应用逐渐凸显出数据密集和计算密集的双重特征,对传统的影像数据存储与计算手段提出了巨大挑战。通过对国内外专家学者的相关研究成果进行深入分析,本文围绕高分辨率遥感影像特点与应用需求,通过融合云计算与内存云技术两者的优势,实现了面向高分辨率遥感的双态云存算一体化,解决了目前高分辨率遥感应用中遇到的数据密集与计算密集问题。本文主要研究内容如下：(1)提出了一种面向高分辨率遥感的双态云存储新模式R-D Cloud首先,对云计算的发展及其优势进行研究,分析了主流云平台的技术架构；然后,以内存硬件的进步为主线,分析了内存存储与计算技术的衍化进程；最后,提出了一种融合云计算与内存云的双态云模式,通过结合硬盘云的稳定与内存云的高效建设一个高性能的高分辨率遥感存储与计算平台。(2)设计了双态云支持下高分辨率遥感存算一体化策略与技术途径在存算一体化的前提下,研究了双态云环境下的遥感数据组织与存储模式,设计了一种灵活、可扩展的元数据信息管理机制,实现了双态云下多个集群节点的并行计算任务调度,并提出了一种“读-算-写”异步流水线模型,利用GPU众核计算进一步提高了集群节点的高分辨率遥感影像的处理速度。(3)开展高分辨率遥感存算一体化原型系统设计与实验验证利用当前计算科学领域的多种先进技术,针对高分辨率遥感应用的需求,基于存算一体化策略与关键技术设计并实现了一个原型系统,并利用TB级的多来源、多分辨率的叁种国产高分辨率遥感影像实现了对数据存储的可靠性、系统的存储能力和图像处理能力的测试,从实践上论证了双态云下高分辨率遥感存算一体化的性能。研究结果表明,本文提出的面向高分辨率遥感的双态云存算一体化策略,可以有效解决当前高分辨率遥感影像面临的高效存储与快速计算问题。本研究提出高分辨率遥感数据组织与存储机制,同样可以应用于中低分辨率遥感数据。本文研究成果丰富并发展了高性能遥感地学计算领域的理论与方法,对于推动我国高分辨率遥感影像数据的应用具有十分重要的社会价值和现实意义。
王旭红[8]2005年在《遥感影像数据挖掘技术研究》文中进行了进一步梳理随着传感器技术的发展,遥感影像的数量以飞快地速度增长。人们收集和存储影像的能力已经大大超过分析和从影像上获取信息的能力。这一切促使我们发展图像挖掘技术,它需各学科如图像处理、数据库、信息提取、机器学习和软件设计等同仁共同付出努力。图像挖掘旨在发现隐藏在数据库中含蓄的不明确的知识、影像数据的关系或其它模式,是数据挖掘的一个重要分支。 遥感图像数据挖掘(remote sensing image mining,(ReSIM))技术不仅是图像挖掘技术在遥感领域的应用,也是空间数据挖掘技术的一个重要拓展分支。它既要应用图像挖掘的一般性的理论和技术,又要结合遥感数据和空间数据的特殊性如独特的空间位置信息、复杂的空间关系和空间尺度,是空间数据挖掘与图像挖掘交叉的研究学科。其中,分类和预测方法是遥感图像分析和信息挖掘的重要研究内容,也是研究的重点。 本文围绕遥感影像信息自动化与智能化的获取和利用这一线索,对遥感影像数据挖掘理论和技术进行了研究,主要的研究成果和创新点如下: (1)研究了功能驱动和信息驱动两种图像挖掘模式,提出了信息驱动的遥感影像挖掘原型系统结构图和流程图,并指出系统应具备的功能和必要的工具。 (2)实现了最常用的两种分类器一监督分类(bayes)和非监督分类(Isodata)算法,并提出了bayes算法改良方法;实现了灰度共生矩阵纹理表示法;研究了图像中对象的空间结构和空间关系。 (3)在研究几种数据挖掘理论如模糊分类法、证据理论、人工神经网络(BP算法和SOM网络)、支持向量机、关联规则、决策树算法基础上,提出了基于这几种理论的遥感影像挖掘方法。 (4)上述的数据挖掘方法都是针对像元的图像分析,所能够得到的信息是极其有限的,不能够反映像邻域间的上下文信息(contextual information)。提出了“面向对象”图像挖掘方法,给出了该方法的流程和算法,实现了该流程和算法。 (5)在研究知识——颜色、纹理和边界等语义特征、混合光谱特征、高维数据的特征、GIS数据、地学专家知识等表示方法的基础上,提出了GIS数据辅助遥感图像数据挖掘的两种途径——以逻辑波段形式直接参与分类和融于空间数据库中系统化应用,并给出应用模型或系统框架结构;指出挖掘查询语言应为类似SQL的适用于地理信息挖掘的输入请求语言——GMQL(Geo-Mining Query Language);提出了知识库的表示方法;实现了基于规则化知识库遥感图像挖掘方法;实现了基于数据降维的高维数据特征提取算法。 (6)在分析Web环境下数据挖掘现状的基础上,提出了Web环境下图像挖掘系统框架图;进一步提出了Web环境下遥感影像数据挖掘系统框架图。
参考文献：
[1]. 网络环境下高光谱数据库构建及其应用实践[D]. 张雄飞. 中国科学院研究生院（遥感应用研究所）. 2003
[2]. 苹果冠层/叶片高光谱数据库系统的设计与建立[J]. 李程, 朱西存, 高璐璐, 王凌. 测绘与空间地理信息. 2016
[3]. 基于Hadoop的遥感数据分布式存储研究[D]. 李程. 山东农业大学. 2018
[4]. 傅里叶变换红外超光谱数据分类方法研究[D]. 梅晓光. 华中科技大学. 2016
[5]. 塔里木河流域生态环境动态监测系统研究与开发[D]. 谭克龙. 陕西师范大学. 2007
[6]. 高光谱数据库及数据挖掘研究[D]. 李兴. 中国科学院研究生院（遥感应用研究所）. 2006
[7]. 双态云支持下高分辨率遥感存储与计算一体化研究[D]. 李荣亚. 浙江大学. 2014
[8]. 遥感影像数据挖掘技术研究[D]. 王旭红. 西北大学. 2005
标签：计算机软件及计算机应用论文; 遥感影像论文; 数据挖掘技术论文; 大数据论文; 遥感图像处理论文; 光谱分辨率论文; 数据库系统论文; 高光谱图像论文; 数据挖掘算法论文; 光谱论文; 图像融合论文; 高光论文; 信息存储论文; 分类数据论文; 数据库论文; 数据处理论文; hadoop论文;