基于网络爬虫的水利信息聚合系统的设计与实现

论文摘要

随着水利信息化的发展,互联网上累积了数据量庞大的水利主题信息。由于互联网上的信息具有数据量庞大,分布离散,结构复杂等特点,采用传统的人工采集方式进行信息的获取,具有效率低下等问题。使用网络爬虫则可以方便快捷地获取到数据量庞大,主题相关性高的水利信息。系统以主题爬虫为基础构建信息聚合平台,实现水利信息的获取和利用。论文的主要研究内容如下:(1)水利主题爬虫各功能模块设计。对主题爬虫的框架进行选择,种子站点的集合进行筛选,主题描述词库进行定义,爬行策略进行选择,链接提取方案进行设计,主题相关性分析算法进行分析与改进。(2)水利GIS信息爬取方案设计。GIS格式的信息是水利行业区别于其他行业的显著特点。水利地理信息大多数是以接口的形式提供服务,用户无法直接获取到原始的数据。可根据瓦片金字塔模型进行地图拼接和缩放算法的设计,实现水利地图信息的获取。(3)多种格式水利信息爬取方案设计。水利主题爬虫根据不同格式信息的特点定制不同的爬取方案,将文字、数据、图片、视频影像和地图等多种格式的水利信息进行全面获取。(4)水利信息规范化设计。为了解决水利信息形式不统一、表现不规范等问题,水利信息规范化模块将信息按种类转化成通用的格式,并对不符合规范的信息进行相应算法处理,使信息规范化。(5)搭建水利信息聚合平台。以爬虫爬取的水利信息为基础,进行水利信息聚合平台的搭建。该平台对水利信息进行聚合,为用户提供水利信息展示和检索等多种服务。水利信息聚合系统采用主题爬虫对信息进行爬取,并且构建水利信息聚合平台,将水利信息在该平台进行聚合使用,为用户提供多种特色化信息服务。该系统为用户进行水利信息的采集和利用带来了极大的便利和良好的体验。

论文目录

文章来源

类型: 硕士论文

作者: 闫宁

导师: 付必涛

关键词: 水利,主题爬虫,相关性分析,信息聚合

来源: 华中科技大学

年度: 2019

分类: 基础科学,工程科技Ⅱ辑,信息科技

专业: 自然地理学和测绘学,水利水电工程,计算机软件及计算机应用,计算机软件及计算机应用

单位: 华中科技大学

分类号: TV21;P208;TP391.1

DOI: 10.27157/d.cnki.ghzku.2019.002183

总页数: 75

文件大小: 2561K

下载量: 121

相关论文文献

• [1].信息聚合在融媒体与大数据时代下的应用概述[J]. 网络安全技术与应用 2020(04)
• [2].基于大数据的发电设备监测信息聚合分析[J]. 自动化与仪器仪表 2020(06)
• [3].信息聚合概念的构成与聚合模式研究[J]. 中国图书馆学报 2016(03)
• [4].坚持党网定位，构建信息聚合新平台——从荆楚网（湖北日报网）改版谈起[J]. 新闻前哨 2020(10)
• [5].信息聚合视角下物联网服务模式设计及实现分析[J]. 情报科学 2013(06)
• [6].信息聚合服务的发展与演变研究[J]. 情报资料工作 2012(01)
• [7].基于社会化群体作用的信息聚合服务[J]. 中国图书馆学报 2010(03)
• [8].面向智能电网的物联网信息聚合技术[J]. 信息通信技术 2010(02)
• [9].基于信息聚合的电力企业供应链大数据研究[J]. 物流技术 2016(07)
• [10].基于云计算的旅游信息聚合客户端的研发[J]. 现代计算机 2019(34)
• [11].刍议网络信息聚合服务的版权问题[J]. 出版发行研究 2015(01)
• [12].基于简易信息聚合技术的图书馆立体阅读推广服务模式研究[J]. 中国中医药图书情报杂志 2015(04)
• [13].基于网络切片的信息聚合研究[J]. 情报理论与实践 2013(09)
• [14].图书馆信息聚合服务的法律问题探究[J]. 图书馆建设 2017(07)
• [15].大数据时代供应链信息聚合价值及其价值创造能力形成机理[J]. 情报理论与实践 2015(07)
• [16].高校图书馆网络信息聚合平台的构建研究[J]. 电子技术与软件工程 2015(16)
• [17].问答平台中的答案聚合及其优化:以Quora为例[J]. 图书馆学研究 2017(06)
• [18].信息聚合技术在教学文档管理中的应用研究[J]. 科协论坛(下半月) 2009(08)
• [19].江西广电网络智慧信息聚合平台方案设计[J]. 有线电视技术 2018(12)
• [20].RSS聚合标准及其聚合策略[J]. 软件 2016(12)
• [21].基于任务划分的防信息聚合泄密模型[J]. 计算机应用 2013(02)
• [22].基于相关分析法的变压器信息聚合技术研究[J]. 电力与能源 2016(05)
• [23].RSS与体育信息聚合服务[J]. 体育科技文献通报 2008(02)
• [24].RSS技术及其教育功能探究[J]. 电脑知识与技术 2009(36)
• [25].时空信息聚合:“多规合一”信息化研究[J]. 城市规划 2016(06)
• [26].基于信息聚合技术的医院感染实时监测机制应用研究[J]. 中国卫生质量管理 2011(06)
• [27].物联网信息聚合服务模式及运营商定位探析[J]. 移动通信 2010(19)
• [28].基于Web 3.0的个性化信息聚合技术研究[J]. 情报理论与实践 2011(08)
• [29].基于inoreader的科技信息聚合平台[J]. 农业图书情报学刊 2018(10)
• [30].Web3.0时代移动互联网商务评价信息聚合[J]. 电子制作 2013(06)

标签：水利论文;  主题爬虫论文;  相关性分析论文;  信息聚合论文;