基于WebMagic爬取技术的电力事故信息获取

基于WebMagic爬取技术的电力事故信息获取

论文摘要

当前国民经济正处于迅猛发展的大好时期,也是电力工业体制改革的关键时期,对电力的需求十分紧迫,所以,电力系统的安全稳定运行及人员的安全管理日益成为影响电力工业发展的关键要素。近年来,各类电力事故依旧时有发生,全面调查事故发生原因是非常必要的,因此,进行事故信息的收集、管理和分析成为关键的一步。采用传统的方式,人工使用搜索引擎搜索信息,费时费力,而随着互联网技术的不断发展,网络爬虫技术已日渐成熟,应用网络爬虫技术可以快速获取这类事故信息。文中主要应用WebMagic爬虫技术,利用XPath和正则表达式指定信息的抽取规则,从电力安全管理网上抓取有关于电力事故信息的新闻,匹配符合要求的事故描述信息,下载到本地并实现数据存储进数据库,为之后进行事故信息分析提供数据基础。实验结果显示,该技术能够准确、迅速地获取数据,且爬虫程序简单易维护。

论文目录

  • 0 引 言
  • 1 关键技术介绍
  •   1.1 WebMagic
  •   1.2 Maven
  • 2 案例实现
  •   2.1 WebMagic爬虫准备工作
  •   2.2 网页信息爬取流程
  •     2.2.1 列表页面及文章页面的URL确定
  •     2.2.2 定义实体类, 封装爬取内容, 并解析HTML
  •     2.2.3 定制PageProcessor
  •     2.2.4 编写Pipeline, 将爬取到的数据保存到数据库
  • 3 结束语
  • 文章来源

    类型: 期刊论文

    作者: 党佩,阎光伟

    关键词: 电力事故,网络爬虫,数据抓取

    来源: 计算机技术与发展 2019年06期

    年度: 2019

    分类: 信息科技,工程科技Ⅰ辑,工程科技Ⅱ辑,经济与管理科学

    专业: 安全科学与灾害防治,电力工业,计算机软件及计算机应用,工业经济

    单位: 华北电力大学控制与计算机工程学院

    基金: 中央高校基本科研业务费专项资金(2018ZD06)

    分类号: F426.61;TM08;TP391.3

    页码: 125-129

    总页数: 5

    文件大小: 2875K

    下载量: 191

    相关论文文献

    • [1].试析事故树分析在大型电力事故(事件)调查中的应用[J]. 低碳世界 2016(35)
    • [2].由电力事故引发的电器理赔应注意的要点[J]. 农电管理 2008(01)
    • [3].科华工业UPS:减少电力事故就是增长效益[J]. 电气应用 2009(21)
    • [4].电力事故系统本质安全性模型研究[J]. 中国科技信息 2014(09)
    • [5].电力事故安全管理盲点反思[J]. 中国电力企业管理 2020(17)
    • [6].电力事故敲响警钟 安全措施时时防范[J]. 中国电力教育 2008(12)
    • [7].基于ISM的电力事故安全风险评价研究[J]. 机电信息 2020(14)
    • [8].《全国电力事故和电力安全事件典型案例(2016年版)》《全国电力安全生产人身伤亡典型事故案例(2016年版)》[J]. 农村电工 2017(07)
    • [9].基层供电企业应急管理现状与提升措施探讨[J]. 中国高新技术企业 2016(34)
    • [10].事故树分析在大型电力事故(事件)调查中的应用[J]. 电气技术 2015(09)
    • [11].电力事故原因分析及应对措施[J]. 中国新技术新产品 2013(18)
    • [12].提高事故处理过程中调度员工作效率的几点思考[J]. 科技视界 2014(36)
    • [13].电力事故根本原因分析模型设计与应用[J]. 中国电力企业管理 2018(01)
    • [14].浅析高压电器的检修与保养[J]. 中国外资 2013(15)
    • [15].预防电力事故随想[J]. 广西电业 2010(04)
    • [16].浅谈电力事故中供电企业的法律责任[J]. 东方企业文化 2014(12)
    • [17].浅析高压电器的检修与保养[J]. 中国外资 2013(16)
    • [18].论电力事故原因的分析方法[J]. 云南电力技术 2008(05)
    • [19].关于配电线路运行维护措施探讨[J]. 科技风 2020(04)
    • [20].10kV电气安装在供电系统中的技术问题和解决对策分析[J]. 智能城市 2017(07)
    • [21].变电运行中常见事故原因分析及应对策略分析[J]. 中国高新技术企业 2016(30)
    • [22].电力安全应急管理工作及应急机制研究[J]. 科技创新与应用 2017(09)
    • [23].电气检修中存在的问题及对策[J]. 山东工业技术 2015(23)
    • [24].变电运行事故的预防与处理[J]. 中小企业管理与科技(下旬刊) 2014(11)
    • [25].火力发电厂电气运行操作危险点分析与控制[J]. 黑龙江科技信息 2016(35)
    • [26].关于网络舆情防范与危机化解的思考[J]. 供电企业管理 2012(01)
    • [27].浅析电力技术的应用及生产安全[J]. 中国新技术新产品 2012(19)
    • [28].变电运行发生事故的根本原因分析[J]. 中国高新技术企业 2012(Z3)
    • [29].提高电力运行人员事故防范能力[J]. 现代职业安全 2011(07)
    • [30].北京市人民政府办公厅关于调整北京市电力事故应急指挥部组成人员有关事项的通知[J]. 北京市人民政府公报 2008(12)

    标签:;  ;  ;  

    基于WebMagic爬取技术的电力事故信息获取
    下载Doc文档

    猜你喜欢