分布式数据管理论文_顾鼎

导读:本文包含了分布式数据管理论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:分布式,数据,数据管理,光伏,负载均衡,线图,商数。

分布式数据管理论文文献综述

顾鼎[1](2019)在《基于叁级等级保护要求加强市级预防接种分布式数据管理中心安全建设》一文中研究指出提升预防接种信息化服务管理系统安全保护等级是贯彻落实国家卫生健康委及省委省政府、省卫生健康委、市委市政府等指示精神,全面强化疫苗信息管理,确保预防接种规范化的必要举措。以信息安全3级等保为标准,针对安全建设、信息机房薄弱环节,对分布式数据管理中心进行安全升级改造,保护系统、数据、网络和应用的安全。(本文来源于《科技风》期刊2019年34期)

王亚辉[2](2019)在《分布式数据库在电商数据管理中的应用研究》一文中研究指出针对海量数据存储问题,提出采用分布式数据库的技术路线解决电商数据管理问题研究。在分布式数据库电商数据管理系统设计中,通过系统框架设计、数据收集、数据分类,实现电商管理数据同步,达到数据监控效果。通过仿真实验,将本文系统与传统数据库管理系统相对比,得出本文系统具有更高的数据管理效率,以此证明研究的有效性。(本文来源于《电子元器件与信息技术》期刊2019年09期)

严志,万烂军,蒋国清[3](2019)在《基于分布式信任管理的数据转发算法》一文中研究指出时延容忍网络内的恶意或自私节点严重影响了网络性能。为此,提出基于分布式信任管理的数据转发算法(Distributed Trust Management-based Data Forwarding,DTM-DF)。DTM-DF算法通过分布式信任管理滤除恶意节点。首先,通过转发证据,并结合节点的能量消耗率计算直接信任。然后,再通过间接信任、推荐信誉值计算推荐信任。推荐信誉能够提高总体推荐信任值。仿真结果表明,提出的DTM-DF算法提高了数据包传递率,消除了路由不正当行为。(本文来源于《中国电子科学研究院学报》期刊2019年09期)

韩文军,余春生[4](2019)在《面向输变电工程数据存储管理的分布式数据存储架构》一文中研究指出针对输变电工程数据的多源、异构、迭代更新和集成应用导致需要巨大存储空间且不利于数据挖掘分析的问题,提出了一种面向输变电工程数据存储管理的分布式数据存储架构.该架构基于元数据模型对输变电工程的工程地理信息、叁维设计模型和文档资料叁类数据进行细化,并根据不同数据存储模式的不同,设计了一种分布式存储架构分别处理各种数据.系统实现与仿真实验结果表明,所提出的分布式存储架构在保证存储效率及数据完整性的同时,也能保证数据的安全.(本文来源于《沈阳工业大学学报》期刊2019年04期)

闫泽鑫[5](2019)在《海量车辆传感数据分布式管理平台的研究与设计》一文中研究指出在城市计算系统中.需要对多种异构大数据进行分析、挖掘和融合以解决城市中面临的各种问题,提供相关的智能应用和服务。车辆传感数据是城市计算系统中重要的数据组成部分,其具有海量、高速、多样等特征,对其的管理工作面临着诸多的挑战。本文提出了面向海量车辆传感数据的管理平台,提供高效数据预处理和海量分布式数据管理功能。针对车辆传感数据的数据特征和城市计算应用和服务的需求提出一系列有针对性的算法设计以及工程设计优化方案。本文首先分析海量车辆传感数据分布式管理平台的研究背景和主要挑战,明确平台在城市计算系统的定位和应用场景。随后结合车辆传感数据特征、业界数据规范和平台应用需求等多方面因素,提出了完整的车辆传感数据规范。进一步根据数据规范和应用需求,提出了一系列在不同层面的数据预处理规则和算法。其中根据信息论思想提出了具有可扩展性的轨迹压缩算法HESAVE和轨迹地图匹配算法InfoMatch,相较于对照算法均有一定的提升。之后对平台进行了需求分析、设计和可行性验证,提出了一套合理的软件框架及部署模型设计,以及完整的数据预处理、主数据管理和统一查询接口等功能模块的软件设计方案,针对车辆传感数据管理中面对的诸多可靠性、安全性、实时性、可扩展性等提出了针对性优化方案。最后对平台进行了可行性验证,结果表明平台能够满足在城市计算系统中对车辆传感数据管理的需求。(本文来源于《北京邮电大学》期刊2019-06-02)

张超,王星星,张冰玉,韩桂楠,高玲玲[6](2019)在《大数据技术在分布式光伏用户管理中的应用》一文中研究指出依托大数据技术利用科学统计方法进行分析可以对分布式光伏发电的趋势、异常情况进行甄别,对分布式光伏用户管理发挥巨大作用,介绍了箱线图法工作原理,利用该方法分析了某地区分布式光伏用户发电量异常情况,由此说明了大数据技术在分布式光伏用户管理应用中的重要性和可行性。(本文来源于《河北电力技术》期刊2019年02期)

邱程[7](2019)在《基于分布式存储的地理时空大数据管理系统研究》一文中研究指出目前,中国北斗卫星导航系统已经日益成熟和完善,物联网技术得到了全面推广,由此产生的地理时空数据呈海量增长。本文依托国防科技创新特区项目“多元地球空间大数据集成、关联与协同认知”专项的一个子项“多元地球空间大数据的集成和可视化”课题,在分布式集群平台上,采用结构化开发方法,从系统的需求和可行性出发,利用分布式存储、负载均衡、WebGIS和数据可视化技术,融合NoSQL数据库和时空数据管理工具GeoMesa,构建了基于分布式存储的地理时空大数据管理系统。取得以下研究成果:1.根据时空大数据的数据结构,结合分布式数据库的实时处理和海量数据存储优势,采用大数据处理Cloudera Manager、CDH套件和时空大数据管理工具GeoMesa,搭建地理时空大数据管理平台,实现时空大数据的快速存储和查询。2.根据栅格瓦片的数据模型,利用集群解决图片服务器高并发的优势,采用Nginx负载均衡技术,在叁台服务器上搭建了栅格瓦片的集群服务系统。3.根据浏览器的渲染模型,设计了地理时空大数据和栅格瓦片的数据可视化算法,并以气象的风场、热力数据和空气质量指数为例,通过数据可视化引擎Leftlet,实现地理时空大数据可视化。本论文重点研究了地理时空大数据的栅格瓦片和矢量时空数据的数据接入、规范化管理和数据可视化等技术,并构建了基于分布式存储系统的地理时空大数据的管理系统,并以气象的风场、热力数据和空气质量指数数据为例,实现时空数据的可视化展示。(本文来源于《江汉大学》期刊2019-05-01)

杨璐[8](2019)在《分布式蒸渗仪群数据管理系统研究与实现》一文中研究指出蒸渗仪是研究水文循环中土壤水分蒸散、地表径流和地下径流等过程的装置,通过对土壤水分变化量进行自动化测量,可实现农业用水的供需平衡分析和节水灌溉,也能帮助科研人员准确掌握农田水分变化趋势,为统计作物生长规律提供有效的数据支撑。近年来,全国主要的农业科研院所在其农业示范区安装部署了不同类型的蒸渗仪设备,构成了分布式蒸渗仪群系统。论文针对分布式蒸渗仪群数据的远程查看、分析与管理等应用需求,设计了一套分布式蒸渗仪群数据管理系统。该系统利用4G无线通信网络上传采集数据和下发控制命令,实现了对蒸渗仪群的数据管理、设备控制等功能;另外,通过浏览访问数据管理平台,完成蒸渗仪群数据的远程查询、分析、管理和对蒸渗仪设备的远程监测与控制,有效地提高了农业示范区的信息化管理水平。主要研究内容和成果如下:(1)综合分析蒸渗仪群数据的采集、传输和管理,采用分层结构思想,设计了分布式蒸渗仪群数据管理系统的总体框架。并结合分布式蒸渗仪群数据管理系统的功能结构,对系统的感知层、传输层和应用层进行详细设计。(2)针对蒸渗仪群数据的有效监测、处理及分析需求,选取4G无线通信网络上传数据和下发控制命令。设计了系统的无线数据传输机制、传输方式和数据传输协议。针对分布式蒸渗仪群无线数据传输的多并发问题,提出了一种动态反馈负载均衡策略。(3)根据用户的具体业务需求,基于模块化设计思想,利用Java EE技术,对分布式蒸渗仪群数据管理平台的数据管理、设备管理和系统通用功能管理等模块进行了详细设计与实现,可完成蒸渗仪群数据的远程管理和对蒸渗仪设备的监测控制等功能。(4)对分布式蒸渗仪群数据管理平台进行了部署、测试和示范应用,中科院新疆生地所的实际应用结果表明,分布式蒸渗仪群数据管理系统工作性能良好,能够满足用户对蒸渗仪群数据查询分析与管理的要求。(本文来源于《长安大学》期刊2019-04-12)

王梦娇[9](2019)在《分布式光纤传感监测大数据的存储、管理与处理系统研究》一文中研究指出针对输电线缆由于风舞和外力拉扯破坏而产生的故障以及石油、天然气的长距离运输管道中存在的恶劣油气偷盗等问题,需要对电力线缆、输气管道状态进行安全监测以减少经济损失避免产生不必要的社会危害。分布式光纤传感在实时安全监测上具有巨大优势,然而全天候、全分布的监测应用必将带来海量的监测数据,这给监测数据的存储、查询访问和处理带来了前所未有的挑战。本文基于电力线缆安全监测以及管道安全监测应用需求,分别利用分布式系统基础架构Hadoop下的HDFS和HBase实现分布式光纤传感大数据可靠性存储和实时查询访问,利用Spark技术对监测大数据进行高效统计分析,从而判断电力线缆是否存在风舞异常,应用Spark ML机器学习组件于管道扰动状态的分类,通过实验对比了传统方法和本文所提出方案的性能,验证了方案的高效性。本文主要完成以下几个方面的工作:(1)分析了应用大数据技术解决分布式光纤传感电力线缆和管道安全监测中存在的问题的现状以及意义。(2)综合考虑分布式光纤传感数据以及大数据处理技术的特点,构建了分布式光纤传感大数据存储、管理和处理的整体框架,采用数据采集层、数据存储管理层、数据处理层叁层体系架构;并结合实际应用场景搭建Cloudera大数据集群。(3)在数据存储管理层,基于HDFS设计了光纤传感监测大数据的高可靠性快速存储方案,并通过写入/读取(I/O)实验验证了该方案具有高吞吐、快速存储的优势;基于HBase设计了光纤传感监测大数据的实时查询方案,通过实验验证了查询速度在“秒”级。(4)针对统计分析的数据处理,在分布式光纤传感电力线缆安全监测领域,分别利用MapReduce和Spark对光纤传感系统采集到的原始数据进行数据预处理、特征提取,从而判断风舞异常的有无,并通过实验比较Spark、MapReduce和单机的数据处理性能,Spark速率可以达到MapReduce的10多倍,是单机的30倍。(5)针对复杂迭代计算的数据处理,在分布式光纤传感管道安全监测领域,设计了数据预处理和特征提取的方法,构建了基于Spark ML的决策树、随机森林、支持向量积、XGBoost多种分类算法的管道扰动模式识别方案,通过实验获得预测精度,并对比Spark与单机在机器学习上的速率,实验数据显示Spark速度是单机处理的50倍。(本文来源于《电子科技大学》期刊2019-03-31)

林春红,仲立军,彭斐,郑辉[10](2019)在《基于数据挖掘的分布式光伏结算管理研究》一文中研究指出分布式光伏近年来呈现爆发式增长趋势,供电公司面临用户服务、结算效率和支付安全等多重挑战。嘉兴供电公司通过对国网系统相关单位进行调研访谈,并借鉴大数据分析的理念,对大量非结构化数据进行汇总分析,确定了分布式光伏结算管理中存在的五类问题及每类问题的高频场景,通过整合业务流程、提升系统功能、强化部门协作等举措提升分布式光伏结算管理水平。(本文来源于《现代信息科技》期刊2019年06期)

分布式数据管理论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

针对海量数据存储问题,提出采用分布式数据库的技术路线解决电商数据管理问题研究。在分布式数据库电商数据管理系统设计中,通过系统框架设计、数据收集、数据分类,实现电商管理数据同步,达到数据监控效果。通过仿真实验,将本文系统与传统数据库管理系统相对比,得出本文系统具有更高的数据管理效率,以此证明研究的有效性。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

分布式数据管理论文参考文献

[1].顾鼎.基于叁级等级保护要求加强市级预防接种分布式数据管理中心安全建设[J].科技风.2019

[2].王亚辉.分布式数据库在电商数据管理中的应用研究[J].电子元器件与信息技术.2019

[3].严志,万烂军,蒋国清.基于分布式信任管理的数据转发算法[J].中国电子科学研究院学报.2019

[4].韩文军,余春生.面向输变电工程数据存储管理的分布式数据存储架构[J].沈阳工业大学学报.2019

[5].闫泽鑫.海量车辆传感数据分布式管理平台的研究与设计[D].北京邮电大学.2019

[6].张超,王星星,张冰玉,韩桂楠,高玲玲.大数据技术在分布式光伏用户管理中的应用[J].河北电力技术.2019

[7].邱程.基于分布式存储的地理时空大数据管理系统研究[D].江汉大学.2019

[8].杨璐.分布式蒸渗仪群数据管理系统研究与实现[D].长安大学.2019

[9].王梦娇.分布式光纤传感监测大数据的存储、管理与处理系统研究[D].电子科技大学.2019

[10].林春红,仲立军,彭斐,郑辉.基于数据挖掘的分布式光伏结算管理研究[J].现代信息科技.2019

论文知识图

数据显示界面数据部署到云端HDFS3-9 StreamDHT 中的分布式索引映射平台开发框架专业镇ASP网络化制造系统的分布式协同管理和任务调度流程分析

标签:;  ;  ;  ;  ;  ;  ;  

分布式数据管理论文_顾鼎
下载Doc文档

猜你喜欢