面向HBase的大数据脱敏技术实践

论文摘要

本文主要从技术角度讨论民航海量旅客敏感信息在当下最流行的分布式的、面向列的开源大数据数据库HBase的脱敏技术实践,介绍了HBase脱敏的过程中如何解决性能、权限等一系列问题,最终在兼顾了算法、性能和易用性的诸多要求下圆满完成脱敏任务的过程。

论文目录

1 引言

1.1 背景

1.2 国内研究现状

2 数据脱敏面对的难点

2.1 数据量巨大

2.2 数据格式复杂

2.3 业务要求苛刻

2.4 对HBase数据库知识相对不足

3 HBase脱敏实践过程

3.1 HBase的业界通用使用方法研究

3.1.1 HBase访问接口包括

3.1.2 常用的HBase读写流程

3.1.3 搜索到的Hbase应用案例

3.2 脱敏过程中遇到的困难及解决方案

3.2.1 利用HBase集群的高性能之将应用打包

3.2.2 效率的更高要求之从MapReduce到Spark

3.2.3 如何根据Key值进行规则绑定之扫描表结构

3.2.4 其他一些“坑”-脱敏后表的权限

4 HBase脱敏过程及实施效果

4.1 HBase的脱敏过程

4.1.1 配置数据源

4.1.2 定义扫描字段集

4.1.3 绑定扫描规则集

4.1.4 创建扫描任务

4.1.5 启动扫描任务

4.1.6 扫描任务监控

4.2 HBase的脱敏效果

5 结束语

文章来源

类型: 期刊论文

作者: 王明,张海洋,王步放,付征

关键词: 旅客敏感数据,数据保护,数据脱敏,脱敏

来源: 电子技术与软件工程 2019年19期

年度: 2019

分类: 信息科技,工程科技Ⅱ辑

专业: 航空航天科学与工程,计算机软件及计算机应用

单位: 中国民航信息网络股份有限公司北京市民航大数据工程技术研究中心

分类号: TP311.13;TP309;V354

页码: 164-167

总页数: 4

文件大小: 2411K

下载量: 160

面向HBase的大数据脱敏技术实践

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢