一种基于Spark的大数据匿名化系统实现

卞超轶; 朱少敏; 周涛

doi:10.11959/j.issn.1000-0801.2018133

您当前的位置：

首页 >

文章列表页 >

一种基于Spark的大数据匿名化系统实现

电力信息化专栏 | 更新时间：2024-06-05

- 一种基于Spark的大数据匿名化系统实现
- Implementation of a big data anonymization system based on Spark
- 电信科学 2018年34卷第4期页码：156-161
- 作者机构：
  
  1. 北京启明星辰信息安全技术有限公司，北京 100193
  2. 北京邮电大学，北京 100876
- 作者简介：
  
  [ "卞超轶（1987-），男，博士，北京启明星辰信息安全技术有限公司高级研究员，启明星辰博士后工作站—北京邮电大学博士后流动站联合培养博士后，主要研究方向为大数据自身安全、大数据安全分析等。" ]
  [ "朱少敏（1983-），男，博士，北京启明星辰信息安全技术有限公司前线技术专家团成员，主要研究方向为电力系统信息安全、二次系统安全防护、多媒体信息处理等。" ]
  [ "周涛（1979-），男，博士，北京启明星辰信息安全技术有限公司教授级高级工程师，主要研究方向为大数据安全分析、事件关联分析、入侵检测等。" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2018133
  中图分类号： TP391
- 网络出版日期：2018-04，
  
  纸质出版日期：2018-04-20
- 稿件说明：
移动端阅览
卞超轶, 朱少敏, 周涛. 一种基于Spark的大数据匿名化系统实现[J]. 电信科学, 2018,34(4):156-161.

Chaoyi BIAN, Shaomin ZHU, Tao ZHOU. Implementation of a big data anonymization system based on Spark[J]. Telecommunications science, 2018, 34(4): 156-161.
卞超轶, 朱少敏, 周涛. 一种基于Spark的大数据匿名化系统实现[J]. 电信科学, 2018,34(4):156-161. DOI： 10.11959/j.issn.1000-0801.2018133.

Chaoyi BIAN, Shaomin ZHU, Tao ZHOU. Implementation of a big data anonymization system based on Spark[J]. Telecommunications science, 2018, 34(4): 156-161. DOI： 10.11959/j.issn.1000-0801.2018133.

摘要

分组匿名化框架是一类经典的数据匿名化技术，它通过构造匿名记录的组，使得同一组内的不同数据无法被识别区分，从而达到隐私防护的效果。电力行业大数据分析涉及电力企业核心数据、用户隐私数据，其数据敏感度更强，传统的数据匿名化系统已经无法满足电力行业大数据业务应用和安全防护的需要。基于此，设计并实现了一种基于Spark的新型大数据匿名化系统，提供对Hadoop平台上多种数据格式的支持，并有效提高对大数据的匿名化处理效率。

Abstract

Group based anonymization is a classical data anonymization framework

which achieves the effect of privacy protection by constructing groups of anonymized data records ensuring that records in the same group cannot be distinguished with each other.The electric power industry big data analysis involves the core data of the power enterprises and the user privacy data

the data sensitivity is stronger

traditional data anonymization systems are unable to meet the needs of big data business applications and safety protection of electric power industry.A new big data anonymization system based on Spark was designed and implemented

which could provide the support for multiple data formats stored on Hadoop and substantially improve the processing efficiency for big data.

关键词

Keywords

references

Apache Software Foundation . Apache Hadoop EB ] . 2011 .

Apache Software Foundation . Apache Spark EB ] . 2014 .

SWEENEY L . K-anonymity:a model for protecting privacy [J ] . International Journal of Uncertainty,Fuzziness and Knowledge-Based Systems , 2002 , 10 ( 5 ): 557 - 570 .

MACHANAVAJJHALA A , KIFER D , GEHRKE J , et al . L-diversity:privacy beyondk-anonymity [J ] . ACM Transactions on Knowledge Discovery from Data (TKDD) , 2007 , 1 ( 1 ): 3 .

FUNG B , WANG K , CHEN R , et al . Privacy-preserving data publishing:a survey of recent developments [J ] . ACM Computing Surveys (Csur) , 2010 , 42 ( 4 ): 14 .

PRASSER F , KOHLMAYER F . Putting statistical disclosure control into practice:the ARX data anonymization tool [M ] . Berlin : Springer International Publishing , 2015 .

JADHAV R H , INGLE R B . A survey on data anonymization approaches using MapReduce framework on cloud [J ] . Digital Image Processing , 2015 , 7 ( 2 ): 48 - 49 .

LEFEVRE K , DEWITT D J , RAMAKRISHNAN R . Mondrian multidimensional k-anonymity [C ] // International Conference on Data Engineering,April 3-7,2006,Atlanta,GA,USA . Piscataway:IEEE Press , 2006 :25.

QIYUAN G . A survey on data anonymization approaches using MapReduce framework on cloud EB ] . 2015 .

浏览量

895

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

一种基于随机森林和改进卷积神经网络的网络流量分类方法

内生安全网络架构

基于区块链的网络安全技术综述

一种改进的CLTree算法

国网客服中心南北园区无线VPN组网结构及安全防护