基于局部敏感哈希的多维海量数据处理

基于局部敏感哈希的多维海量数据处理

论文摘要

针对多维海量的超精密加工机床状态监控数据难以被高效地存储与查询这一问题,文章提出了基于局部敏感哈希的多维海量数据处理方法。该方法利用P稳定的局部敏感哈希算法,一方面对数据进行散列化存储,使分散在各存储节点上的数据在存取时避免了读写热点;另一方面也实现了数据降维,通过其结果的碰撞操作,保证了各存储节点内数据具有一定的近邻性,这一性质以牺牲一定的查询准确率为代价极大地缩小了查询范围,从而间接地提高了查询效率。实验结果表明,该处理方法可以有效的提高多维海量数据的存储与查询效率。

论文目录

  • 1 局部敏感哈希算法
  • 2 基于LSH算法的数据存储与查询
  • 3 基于LSH算法的多键数据查询
  • 4 实验结果与分析
  •   4.1 超精密加工机床的状态参数
  •   4.2 实验与测试
  • 5 结论
  • 文章来源

    类型: 期刊论文

    作者: 张博文,张淑丽,郝昕,马超

    关键词: 多维海量数据,局部敏感哈希,数据降维

    来源: 科技创新与应用 2019年02期

    年度: 2019

    分类: 工程科技Ⅱ辑,工程科技Ⅰ辑

    专业: 金属学及金属工艺

    单位: 哈尔滨理工大学软件与微电子学院

    基金: 黑龙江省大学生创新训练计划项目(编号:201710214022),黑龙江省普通高等学校青年创新人才培养计划项目(编号:UNPYSCT-2016032),国家自然科学基金资助项目(编号:51375128)

    分类号: TG502

    页码: 54-55

    总页数: 2

    文件大小: 925K

    下载量: 131

    相关论文文献

    • [1].数据降维技术研究现状及其进展[J]. 情报理论与实践 2013(02)
    • [2].基于深度学习的遥感数据降维分类方法研究[J]. 电子技术与软件工程 2017(13)
    • [3].基于互信息可信度的主成分分析数据降维[J]. 湖北民族学院学报(自然科学版) 2019(04)
    • [4].应用谱回归和图正则最小二乘回归的数据降维[J]. 计算机工程与应用 2017(05)
    • [5].基于Min-Hash数据降维的伴随关系研究[J]. 中国电子科学研究院学报 2020(10)
    • [6].基于数据降维的机器学习分类应用问题探讨[J]. 现代信息科技 2018(02)
    • [7].面向智能电网的大数据降维管理方案[J]. 计算技术与自动化 2019(04)
    • [8].基于机器学习的电网大数据降维方法[J]. 计算机与网络 2018(18)
    • [9].B2C模式多层购物体系时镜反转商品数据降维挖掘[J]. 科技通报 2013(10)
    • [10].关于LLE算法的监督型参数设置方法及应用[J]. 信息技术 2019(06)
    • [11].高维电子病历的数据降维策略与实证研究[J]. 数据分析与知识发现 2018(01)
    • [12].基于K-F方法的微博博主特征分类与判别研究[J]. 科技创新导报 2018(16)
    • [13].基于Python的高速动车组车载数据降维方法实现[J]. 软件 2020(01)
    • [14].改进的入侵检测数据降维方法[J]. 计算机工程与应用 2011(25)
    • [15].基于保距与保拓扑的流形学习算法[J]. 长江大学学报(自然科学版)理工卷 2010(02)
    • [16].稀疏保留判决分析在人脸表情识别中的应用[J]. 计算机工程 2011(14)
    • [17].基于E-t-SNE的混合属性数据降维可视化方法[J]. 计算机工程与应用 2020(06)
    • [18].基于核熵成分分析的数据降维[J]. 计算机工程 2012(02)
    • [19].基于属性加权的主成分分析算法[J]. 济南大学学报(自然科学版) 2015(06)
    • [20].一种潜在信息约束的非负矩阵分解方法[J]. 数据采集与处理 2014(01)
    • [21].基于流形学习的数据降维算法[J]. 电子技术与软件工程 2014(24)
    • [22].大气腐蚀数据降维最优维度研究[J]. 装备环境工程 2020(03)
    • [23].流形学习算法概述[J]. 武汉船舶职业技术学院学报 2013(02)
    • [24].改进的非线性数据降维方法及其应用[J]. 计算机工程与应用 2011(02)
    • [25].基于稀疏保留投影的人脸表情识别[J]. 计算机工程 2011(08)
    • [26].多元线性模型和数据降维用于评价复杂体系中各因素的影响程度[J]. 计算机与应用化学 2017(02)
    • [27].高新技术企业的股票分类算法综述[J]. 经贸实践 2015(08)
    • [28].一种改进的ISOMAP分类算法[J]. 计算机应用与软件 2015(08)
    • [29].抗噪的有监督局部保留投影降维算法[J]. 计算机应用研究 2012(05)
    • [30].基于核的半监督的局部保留投影降维方法[J]. 计算机应用 2012(08)

    标签:;  ;  ;  

    基于局部敏感哈希的多维海量数据处理
    下载Doc文档

    猜你喜欢