导读:本文包含了分布式数据采集论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:分布式,数据采集,爬虫,数据,可编程,网络,针布。
分布式数据采集论文文献综述
李光敏,李平,汪聪[1]（2019）在《基于Scrapy的分布式数据采集与分析——以知乎话题为例》一文中研究指出随着互联网技术的飞速发展和网络数据的急速增长,如何对海量数据进行快速有效地采集和分析已经成为大数据分析与应用领域中亟待解决的重要问题。基于Scrapy框架实现主从式结构的分布式网络爬虫,运用开源项目Scrapy-Redis来部署网络爬虫,继而完成对知乎网站话题的爬取与分析工作,共爬取44346个话题、94688个回答和31202个用户数据,并从话题、回答、用户这叁个方面应用可视化技术进行多维度分析。结果表明,开放式网络问答社区的话题主题与网络用户性别、地理位置分布及专业背景等因素具有显着的线性相关关系。该方法可推广应用于自动模式识别、网络舆情预测等大数据应用领域。(本文来源于《湖北师范大学学报(自然科学版)》期刊2019年03期）
熊显名,王伟,荣琪[2]（2019）在《一种便携式分布式光纤IQ数据采集系统》一文中研究指出针对传统分布式光纤I Q数据采集系统存在信噪比低、价格昂贵和仪器笨重的不足,设计了一种以现场可编程阵列(FPGA)为主控的分布式光纤I Q数据采集系统。利用硬件编程实现信号幅值解调和触发采样的方式,并通过改进系统的差分累加算法,经压电陶瓷(PZT)模拟振动实验测得该振动检测系统的信噪比可达13. 3 dB左右。该系统解决了数据量大的问题,同时降低了系统成本,提高了信噪比。(本文来源于《光通信技术》期刊2019年09期）
李媛[3]（2019）在《分布式手机信令数据采集与分析技术研究》一文中研究指出针对智能手机端分布范围分散导致的大规模信令数据存储和实时分析处理困难的问题,文中设计了一种基于分布式计算的手机信令数据采集与分析技术方案。基于分布式信令数据采集技术结构,方案集成了4种分布式数据库以实现分布式信令的数据存储。另外,结合Spark技术,所设计的分布式信令数据分析模块可以实时对采集的信令进行分析和整合。该分布式信令数据采集与分析方案可以适用于大规模手机信令数据的采集和处理,为分布式信令监测解决方案的设计提供了参考。(本文来源于《电子科技》期刊2019年06期）
王梓坤[4]（2019）在《分布式变电站电能综合误差校验数据采集装置》一文中研究指出电能计量系统的精准性关系到多方利益,需定期进行校验。伴随着分布式变电站的出现,电能计量系统的结构分布发生了巨大改变。传统的电能校验系统,已经无法对分布式变电站电能计量系统进行校验。针对这一问题,本课题吸纳了前沿的“虚拟仪器”思想,将设计出的分布式数据采集装置与电能脉冲捕获装置、上位机软件相结合,共同组成了分布式变电站电能综合误差校验系统,可以很好地完成对分布式变电站电能计量系统的校验。本课题设计的数据采集装置分为电压、电流数据采集装置,充分利用GPS秒脉冲的时间同步性及无线WiFi的组网通信特点,很好地实现了校验系统的电压电流数据同步采集、上传及电网信号监测等功能。装置采用双ARM架构方式,使用基于Cortex-M4内核的STM32F407ZGT6作为主控制芯片,根据功能可将芯片分为采样CPU和通信CPU。采样CPU控制16位高精度采样芯片ADS8568,基于1PPS秒脉冲进行时间同步采样,采样率高达20KSPS,保证了电能校验数据的精度。采样数据通过高速SPI发送至通信CPU。通信CPU中,利用Nuttall加窗插值FFT算法计算电参量送显示屏用于监测电网信号,同时将采样数据打包并通过GPS信号赋予时间标记。然后驱动100M以太网芯片DP83848和无线WiFi模块,将采样数据包发送至上位机。上位机根据时间标记解包,利用电能累积法计算出电能值。将其与数字电能表测量值作对比,计算出电能误差,从而实现对分布式变电站电能综合误差的校验。本文首先阐述了课题的研究背景、意义以及国内外研究现状,提出了课题的主要功能及性能指标。在提出课题的研究方案后,文章对课题中的理论部分进行了深入探究,然后对课题涉及的硬件和软件设计进行了详细的介绍说明。其次对整机的调试过程进行记录和阐述,通过调试结果分析了误差原因,最后对整个课题及成果进行了总结和展望。(本文来源于《南昌航空大学》期刊2019-06-01）
陈路路[5]（2019）在《基于CC2530分布式同步数据采集系统的研究与设计》一文中研究指出在桥梁结构健康监测应用中,同步数据采集是其重要的组成部分,为后期桥梁结构健康诊断评估提供了重要的原始数据。同步数据采集性能的好坏将会直接影响后期桥梁结构健康诊断评估的结果。针对目前桥梁结构健康监测同步采集系统中存在着数据采集精度较低、功耗较大、节点间时间同步误差较大及稳定性差等问题。本文选择具有低成本、低功耗、分布式自组织网络等优势的无线传感器网络解决方案,基于CC2530低功耗芯片设计了一套分布式同步数据采集系统。系统主要由时间同步机制设计、传感器节点硬件及软件设计叁部分组成。(1)时间同步机制设计。对无线传感器网络四种典型的时间同步算法进行研究与比较分析,选择了综合性能更优的泛洪时间同步算法(Flooding Time Synchronization Protocol,FTSP)作为研究对象,设计了一种基于帧首定界符(Start of Frame Delimiter,SFD)捕获的FTSP时间同步机制,并对其同步精度及稳定性进行了改进。(2)传感器节点硬件设计。以CC2530芯片为核心,采用模块化设计思想对节点硬件核心板及底板进行设计,根据协调器、路由器及终端采集节点硬件功能及功耗需求的不同,主要设计了微处理器及无线数据收发模块电路、串口数据通信模块电路、电源模块电路、LCD显示模块电路、电阻应变式压力传感器模块电路及信号调理模块电路等,同时完成了对应模块电路的PCB图绘制和实物制作。(3)传感器节点软件设计。采用了IAR软件开发工具及Z-Stack协议栈,对协调器、路由器及终端采集节点软件及组网程序进行设计,以及对时间同步机制和协调器节点串口数据通信程序进行设计。最后,在本文设计的软硬件平台上,对系统节点间的时间同步误差及稳定性,以及系统应变信号采集精度进行试验。试验结果表明,本文系统设计的改进FTSP时间同步机制在3跳网络中平均时间同步误差低至9.167μs且稳定性良好,同时,桥梁应变信号同步采集精度为微应变级别。均能够满足桥梁结构健康监测应用中同步数据采集的需求。(本文来源于《西南科技大学》期刊2019-05-01）
林晶[6]（2019）在《针布厂分布式数据采集与传输系统的设计与实现》一文中研究指出纺织梳理工序中所用到的表面为针或者齿的各种梳理机器材,即为针布。随着市场对于高品质针布的需求越来越大,如何加快企业的智能化、数字化改造,提升产品质量、提高生产效率、节约生产成本,是每个针布生产厂家都需要考虑的问题。通过购买先进设备来替代现有设备不失为一种解决问题的好办法。但因其高昂的费用,并不适用于所有企业。利用包含各类传感器与微型控制器的传感网络,对现有设备进行改造,在提升了生产效率的同时,又大大降低了成本,可作为工厂向智能制造迈进的一种过渡手段。本论文是根据南通金轮针布厂实际生产状况,分析研究了该厂植针机设备、生产车间环境、人员管理、物料管理等生产要素,设计与实现了一种分布式数据采集与传输系统,主要内容包括如下几个方面:(1)研究基于数据驱动的针布生产模型,根据系统的实际应用环境设计了生产数据采集方案。根据植针机设备与生产车间现场状况,选取合适的传感器进行分布式安装,实时采集例如机器运转、周围环境、物料进出、工作人员等数据。(2)设计并实现了产量采集与设备控制模块、电力数据采集模块、温湿度采集模块、物料数据采集模块,根据数据特点和用途等对采集数据进行简单分类,构成数据集合,方便数据的传输与交换。实现对设备的简单控制与操作,例如机器的启停、产量的自动统计、原料短缺时报警等。(3)为适应工厂分布式环境要求,分析研究了异构网络数据传输技术,包括NBIOT、Zigbee、WiFi无线网络、有线以太网络、RS485总线等。根据不同种类数据的特点选择合适的传输网络,进行异构网络的组建,完成数据的传输与设备间的通信工作。(4)设计与实现了相关采集终端嵌入式软件、现场看板软件以及简单的MES工单分发等软件。总之,本论文研究了基于针布厂生产过程中的数据采集、分类、传输以及对设备控制等方面内容。搭建针布生产模拟实验环境,实现生产计划单的下发,现场看板的接收与处理,产量数据的显示,机器的启停控制,故障报警等功能。实验验证表明,分布式数据采集与传输系统能够提高生产效率,节约生产成本,实现科学化管理。(本文来源于《中国矿业大学》期刊2019-04-01）
林维,陈曦,王松[7]（2019）在《OSSData:面向开源社区的分布式数据采集框架》一文中研究指出近些年,开源软件发展迅猛,其应用领域和适用范围越来越广泛;与此同时,开源软件的成功也吸引了大量的开发者投入到开源软件的开发。因此,开源软件社区积累了大量的软件应用和开发数据。这些丰富的数据逐步引起了研究人员的关注,已经有相关工作对开源软件的群体开发模式和质量保证机制等展开了一系列研究。为了更好地支持此类研究工作的有效开展,面向开源社区提出了一个用户可定制的数据采集框架,该框架具有较高的灵活性和鲁棒性,能够根据用户的实际需求进行深度定制,并保持稳定持续的工作状态,从而提高数据采集的效率和质量。(本文来源于《计算技术与自动化》期刊2019年01期）
严慧,彭绪富,朱小婉,熊旭辉,董叶豪[8]（2019）在《基于Scrapy-Redis分布式数据采集平台的设计与实现》一文中研究指出针对微博平台大数据的采集、挖掘、分析等热点问题,深入介绍并分析了采集平台的相关理论技术,通过对采集平台功能结构及后台数据库设计、页面爬取和解析、反爬虫的应用技术设计、分布式策略设计等四个方面的技术研究,设计并实现了一种基于分布式的微博数据采集平台;给出了主从模式系统架构;达到了用户只需根据需要输入待爬取微博页面的ID,并选择要采集的数据类型,即可获得所需数据的目的。经测试,系统搭建成本低,爬取性能高,可运用于微博数据的舆情分析和数据调研等研究方面的基础数据采集。(本文来源于《湖北师范大学学报(自然科学版)》期刊2019年01期）
杨梓谦,李彤,彭智敏,段志刚[9]（2019）在《基于Arduino与树莓派平台的分布式数据采集处理系统设计》一文中研究指出文章以Arduino与树莓派的平台结合云数据交互处理架构,开发了具有自动控制功能的分布式数据采集处理系统。该系统通过传感器网络采集前端田间温度、湿度、空气成分浓度、光强度等数据,通过网关设备连接云服务器,实现数据整合与控制前端通风系统、浇灌系统、光照系统等设备。云端完成对数据的在线分析与智慧种植方案的生成与下发。通过该系统的开发实现了田间数据与云端种植方案的联通,并通过在线平台实现了农业自动化在大棚的运用。(本文来源于《农业技术与装备》期刊2019年03期）
姜颖[10]（2019）在《以CORBA为支撑的分布式多DCS数据采集系统应用分析与研究》一文中研究指出数据在现代社会各领域中发挥着重要作用,由于数据的产生是实时的、多元化的,其收集工作也因此较为困难。基于此,本文研究以CORBA为支撑的分布式多DCS数据采集系统以及其应用,给出系统拓扑结构、核心技术,之后简述此前CORBA下数据采集系统的问题,最后通过仿真实验的方式,论证新系统在工作能力方面的优势,以期通过分析明晰理论,为后续工作提供必要参考。(本文来源于《科技风》期刊2019年07期）
分布式数据采集论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
针对传统分布式光纤I Q数据采集系统存在信噪比低、价格昂贵和仪器笨重的不足,设计了一种以现场可编程阵列(FPGA)为主控的分布式光纤I Q数据采集系统。利用硬件编程实现信号幅值解调和触发采样的方式,并通过改进系统的差分累加算法,经压电陶瓷(PZT)模拟振动实验测得该振动检测系统的信噪比可达13. 3 dB左右。该系统解决了数据量大的问题,同时降低了系统成本,提高了信噪比。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
分布式数据采集论文参考文献
[1].李光敏,李平,汪聪.基于Scrapy的分布式数据采集与分析——以知乎话题为例[J].湖北师范大学学报(自然科学版).2019
[2].熊显名,王伟,荣琪.一种便携式分布式光纤IQ数据采集系统[J].光通信技术.2019
[3].李媛.分布式手机信令数据采集与分析技术研究[J].电子科技.2019
[4].王梓坤.分布式变电站电能综合误差校验数据采集装置[D].南昌航空大学.2019
[5].陈路路.基于CC2530分布式同步数据采集系统的研究与设计[D].西南科技大学.2019
[6].林晶.针布厂分布式数据采集与传输系统的设计与实现[D].中国矿业大学.2019
[7].林维,陈曦,王松.OSSData:面向开源社区的分布式数据采集框架[J].计算技术与自动化.2019
[8].严慧,彭绪富,朱小婉,熊旭辉,董叶豪.基于Scrapy-Redis分布式数据采集平台的设计与实现[J].湖北师范大学学报(自然科学版).2019
[9].杨梓谦,李彤,彭智敏,段志刚.基于Arduino与树莓派平台的分布式数据采集处理系统设计[J].农业技术与装备.2019
[10].姜颖.以CORBA为支撑的分布式多DCS数据采集系统应用分析与研究[J].科技风.2019
论文知识图
