浅析海洋数据成果质量问题与清洗方法

浅析海洋数据成果质量问题与清洗方法

论文摘要

随着上海市水务海洋数据中心的建设运行,每天都要汇聚全市多个涉海部门的大量海洋类监测数据。针对这些不同源端数据存在的一些结构问题、格式问题、缺失问题、噪点问题等,进行了技术清洗和规范整合。

论文目录

  • 0 引言
  • 1 海洋数据成果存在的质量问题
  •   1.1 海洋数据结构存在问题
  •   1.2 海洋数据属性字段格式规范不统一
  •   1.3 海洋数据属性单位不规范
  •   1.4 海洋数据记录中存在离散型噪点
  •   1.5 海洋数据记录的重复存储
  •   1.6 无效的海洋数据记录
  •   1.7 海洋数据记录的属性缺失
  •   1.8 海洋数据记录的缺失
  • 2 海洋数据清洗方法
  •   2.1 人工智能处理
  •   2.2 海洋数据去重
  •   2.3 海洋缺失数据插值
  •   2.4 海洋数据去噪
  • 3 关键技术
  •   3.1 海洋数据规范
  •     3.1.1 海洋对象范围的确定
  •     3.1.2 对象属性的规范
  •     3.1.3 字段类型的规范
  •     3.1.4 对象名称的规范
  •   3.2 管理制度的规范
  •     3.2.1 ETL技术
  •     3.2.2 人工智能技术
  • 4 结语
  • 文章来源

    类型: 期刊论文

    作者: 吕文斌,秦笠伟,洪敏慎

    关键词: 海洋,数据治理,数据清洗

    来源: 数字技术与应用 2019年08期

    年度: 2019

    分类: 信息科技,基础科学

    专业: 海洋学,计算机软件及计算机应用

    基金: 上海市海洋局科研项目(QT18010)

    分类号: P717;TP311.13

    DOI: 10.19695/j.cnki.cn12-1369.2019.08.118

    页码: 222-223+225

    总页数: 3

    文件大小: 2307K

    下载量: 77

    相关论文文献

    • [1].关于海洋数据大数据管理技术研究[J]. 计算机产品与流通 2020(02)
    • [2].《海洋数据处理实验》的教学内容设计[J]. 科技视界 2016(27)
    • [3].大数据背景下海洋数据管理的挑战与对策[J]. 计算机科学 2016(06)
    • [4].大数据新时代背景下的海洋数据资源管理策略[J]. 海洋信息 2018(03)
    • [5].海洋数据管理与可视化平台设计[J]. 中国科技信息 2015(02)
    • [6].欧洲海洋数据管理网络及服务[J]. 海洋开发与管理 2013(06)
    • [7].面向大规模海洋数据同化算法的并行实现及优化[J]. 计算机工程与科学 2019(05)
    • [8].上海市海洋数据基础平台框架设计[J]. 中国管理信息化 2018(23)
    • [9].数字海洋数据体系结构研究(英文)[J]. Marine Science Bulletin 2010(02)
    • [10].海洋数据同化与数据融合技术应用综述[J]. 海洋技术学报 2015(03)
    • [11].基于“大作业”+“全过程”的任务驱动-翻转课堂课程考核评价方法探究——以“海洋数据处理与可视化”为例[J]. 教育教学论坛 2019(10)
    • [12].基于小波包变换的海洋数据降噪方法研究[J]. 内江科技 2009(09)
    • [13].多源海洋数据综合管理应用平台的研究与实现[J]. 青岛大学学报(自然科学版) 2017(01)
    • [14].任务驱动-翻转课堂联合教学法的实践探索——以“海洋数据处理与可视化”课程为例[J]. 中国地质教育 2017(02)
    • [15].基于粗集理论的海洋数据质量检验方案多属性决策法[J]. 海洋环境科学 2019(02)
    • [16].多源异构海量海洋数据综合管理平台构建研究[J]. 海洋科学 2012(02)
    • [17].基于低功耗浮标的海洋数据传感采集系统[J]. 电子技术应用 2013(08)
    • [18].海洋数据同化技术在南海区域的应用研究[J]. 科研信息化技术与应用 2009(04)
    • [19].基于多要素的物理海洋数据统计与可视化表达[J]. 海洋信息 2016(04)
    • [20].海洋大数据分级存储中迁移模型的研究[J]. 计算机应用与软件 2014(09)
    • [21].IODE海洋数据共享平台建设及对我国海洋信息化进程的启示[J]. 海洋开发与管理 2014(03)
    • [22].气候模式中海洋数据同化对热带降水偏差的影响[J]. 海洋学报 2015(07)
    • [23].NetCDF物理海洋数据云存储技术研究[J]. 海洋技术学报 2019(04)
    • [24].南海物理海洋数据的OPeNDAP服务实现[J]. 热带海洋学报 2010(04)
    • [25].海洋数据信息共享平台关键技术研究与实现[J]. 中国海洋大学学报(自然科学版) 2010(12)
    • [26].不确定海洋数据的质量抽样检验模型研究[J]. 计算机科学 2015(02)
    • [27].浅谈国家海洋资料中心质量管理体系的设计与发展[J]. 海洋开发与管理 2015(12)
    • [28].海洋大数据:内涵、应用及平台建设[J]. 海洋通报 2017(04)
    • [29].面向智慧海洋的海洋信息管理服务平台设计与实现[J]. 科技创新导报 2020(02)
    • [30].海洋数据下的密度自适应聚类算法[J]. 计算机工程与设计 2019(09)

    标签:;  ;  ;  

    浅析海洋数据成果质量问题与清洗方法
    下载Doc文档

    猜你喜欢