大数据技术的应用现状与展望

廖建新

doi:10.11959/j.issn.1000-0801.2015189

您当前的位置：

首页 >

文章列表页 >

大数据技术的应用现状与展望

视点聚焦 | 更新时间：2024-06-05

- 大数据技术的应用现状与展望
- Big Data Technology：Current Applications and Prospects
- 电信科学 2015年31卷第7期页码：1-12
- 作者机构：
- 作者简介：
  
  [ "廖建新，男，北京邮电大学网络与交换技术国家重点实验室网络智能研究中心主任、二级教授、博士生导师，“长江学者”特聘教授，教育部“创新团队”带头人，国务院学位委员会博士、硕士学位授权点评议专家，北京邮电大学学术委员会委员，《北京邮电大学学报》、《电信科学》编委。主要从事业务网络智能化、下一代互联网和大数据方向的研究工作；主持国家“973”计划项目、自然科学基金项目、国家高技术产业化信息化装备专项基金课题等国家级、部级科研项目20余项；作为第一完成人获国家科技进步奖二等奖2项，原信息产业部重大技术发明奖1 项及部级科技进步奖一等奖3项；获国家杰出青年基金资助，入选新世纪百千万人才工程国家级人选、教育部新世纪优秀人才支持计划，被评选为全国优秀博士后，获第九届中国青年科技奖，信息产业科技创新先进个人。在国际著名期刊发表SCI检索论文30余篇；出版专著3 部，合作出版国际专著2 部；作为第一完成人申请国家发明专利50余项，其中37项已授权，1项获得中国专利优秀奖。" ]
- 基金信息：
  
  国家重点基础研究发展计划（“973”计划）基金资助项目;The National Basic Research Program of China （973 Program）(2013CB329102);国家自然科学基金资助项目;The National Natural Science Foundation of China(61372120);国家自然科学基金资助项目;The National Natural Science Foundation of China(61271019);国家自然科学基金资助项目;The National Natural Science Foundation of China(61101119);国家自然科学基金资助项目;The National Natural Science Foundation of China(61121001);国家自然科学基金资助项目;The National Natural Science Foundation of China(61471063);教育部科学技术研究重点（重大）项目;The Important Project of Ministry of Education(MCM20130310);北京高等学校青年英才计划基金资助项目;Beijing Higher Education Young Elite Teacher Project(YETP0473);高等学校博士学科点专项科研基金资助课题;Specialized Research Fund for the Doctoral Program of Higher Education(20100005110008)
- DOI：10.11959/j.issn.1000-0801.2015189
  中图分类号：
- 网络出版日期：2015-07，
  
  纸质出版日期：2015-07-20
- 稿件说明：
移动端阅览
廖建新. 大数据技术的应用现状与展望[J]. 电信科学, 2015,31(7):1-12.

Jianxin Liao. Big Data Technology：Current Applications and Prospects[J]. Telecommunications science, 2015, 31(7): 1-12.
廖建新. 大数据技术的应用现状与展望[J]. 电信科学, 2015,31(7):1-12. DOI： 10.11959/j.issn.1000-0801.2015189.

Jianxin Liao. Big Data Technology：Current Applications and Prospects[J]. Telecommunications science, 2015, 31(7): 1-12. DOI： 10.11959/j.issn.1000-0801.2015189.

摘要

梳理了大数据研究的4项关键技术：“数据的采集、预处理与存储”、“数据的分析与挖掘”、“数据的隐私保护”、“数据中心体系结构”，挖掘和展示了国内外大数据研究的热点，以期对该领域的研究有一个系统而全面的认识。从处理平台、分析产品、标准化3个方面介绍了大数据技术应用的现状，并列举了大数据现有的产品应用及各行业应用案例。最后，从大数据的分析策略、深度学习、隐私保护和数据质量几个方面揭示了大数据研究存在的挑战和机遇，以期为后续大数据技术应用的发展提供参考。

Abstract

The research includes computer science，information science，management science，psychology，etc.Four key technologies in big data research，data collection，preprocessing and storage，data analysis and mining，data privacy protection，data center system structure were discussed and the hot research topics from domestic and overseas research groups were demonstrated in order to have comprehensive and systematic understanding of big data.The application status of big data was introduced from three perspectives，application platforms，relevant products and standardization.Meanwhile，description of current business in big data and other field was presented.Eventually，the opportunities and challenges in big data research were revealed through big data analysis strategies，privacy protection and data quality，which provide the guideline for future research.

关键词

Keywords

references

Gantz J ， Reinsel D . Extracting Value from Chaos . IDC iView Report ， 2011

Schnberger V M ， Cukier K . 大数据时代：生活、工作与思维的大变革 . 盛杨燕，周涛译. 杭州：浙江人民出版社， 2013

Schnberger V M ， Cukier K . Big Data：A Revolution that Will Transform How We Live，Work，and Think . Translated by Sheng Y Y ， Zhou T . Hangzhou ： Zhejiang People’s Publishing House ， 2013

Team R . Big Data Now：Current Perspectives from O’Reilly Radar . Sebastopol：O’Reilly Media ， 2011

Grobelnik M . Big data tutorial . http://videolectures.net/eswc2012grobelnik big data/ http://videolectures.net/eswc2012grobelnik big data/ ， 2012

张引，邹传伟，廖小飞 . 大数据应用的现状与展望 . 计算机研究与发展， 2013 ， 50 （ s2 ）

Zhang Y ， Chen M ， Liao X F . Big data applications：a survey . Journal of Computer Research and Development ， 2013 ， 50 （ s2 ）

Binzenhöfer A ， Tutschku K ， Graben B A D ， et al . A P2P-based framework for distributed network management . Lecture Notes in Computer Science ， 2006 （ 3883 ）： 198 ～ 210

Tutschku K ， Chevul S ， Binzenhfer A ， Schmid M ， et al . A self-organizing concept for distributed end-to-end quality monitoring . University of Wurzburg Institute，Wurzburg，Germany ， 2006

李强，王宏，王乐春 . 基于P2P 的分布式网络管理模型研究 . 计算机工程， 2006 ， 32 （ 13 ）： 150 ～ 152 .

Li Q ， Wang H ， Wang L C . Research of P2P based distributed network management . Computer Engineering ， 2006 ， 32 （ 13 ）： 150 ～ 152

Karagiannis T ， Papagiannaki K ， Faloutsos M . Blinc：multilevel traffic classificaion in the dark . Proceedings of the 2005 Conference on Applications，Technologies，Architectures，and Protocols for Computer Communications ， Philadelphia，Pennsylvania，USA ， 2005

Karagiannis T ， Roido A ， Aloutsos M ， et al . Transport layer identification of P2P traffic .In： Proceedings of the 2004 ACM SIGCOMM Internet Measurement Conference ， Taormina，Italy ， 2004

鲍静，范生万 . 基于数据挖掘的图书数据预处理 . 大学图书情报学刊， 2008 ， 26 （ 2 ）： 31 ～ 33 .

Bao J ， Fan S W . Pre-processing library data based on data milling . Journal of Academic Library and Information Science ， 2008 ， 26 （ 2 ）： 31 ～ 33

刘云霞 . 数据归约的统计方法研究及应用（博士学位论文） . 厦门大学， 2007

Liu Y X . Research and application of the statistical method of data reduction（doctor dissertation） . Xiamen University ， 2007

刘鹏 . 云计算技术基础 . 北京：电子工业出版社， 2011

Liu P . Fundamental Cloud Computing Technology . Beijing ： Publishing House of Electronics Industry ， 2011

王庆波，金涬，何乐 . 虚拟化与云计算 . 北京：电子工业出版社， 2010

Wang Q B ， Jin X ， He L . Virtualization and Cloud Computing . Beijing ： Publishing House of Electronics Industry ， 2010

王鹏 . 云计算的关键技术与应用实例 . 北京：人民邮电出版社， 2010

Wang P . Key Technologies and Applications of Cloud Computing . Beijing ： Posts and Telecom Press ， 2010

Agrawal D ， Bernstein P ， Bertino E ， et al . Challenges and opportunities with big data . Challenges and Opportunities with Big Data-ResearcGate ， 2012 ， 6 （ 12 ）： 2032 ～ 2033

Luo D ， Ding C ， Huang H . Parallelization with multiplicative algorithms for big data mining . Proceedings of IEEE 12th International Conference on Data Mining ， Brussels，Belgium ， 2012 ： 489 ～ 498

Gao F ， Abd-Almageed W ， Hefeeda M . Distributed approximate spectral clustering for large-scale datasets . Proceedings of the 21st International ACM Symposium on High-Performance Parallel and Distributed Computing ， Delft，the Netherlands ， 2012 ： 223 ～ 234

Shim K . MapReduce algorithms for big data analysis，and storage of big data . Proceedings of the VLDB Endowment ， Istanbul，Turkey ， 2012 ： 2016 ～ 2017

Abadi D J ， Ahmad Y ， Balazinska M ， et al . The design of the borealis stream processing engine . Proceedings of 2nd Biennial Conference on Innovative Data Systems Research（CIDR’05）， Asilomar，CA，USA ， 2005

Motwani R ， Widom J ， Arasu A ， et al . Query processing，resource management，and approximation in a data stream management system . Proceedings of the 2003 CIDR Conference ， Asilomar，CA，USA ， 2003

Han J W ， Kamber M ， Pei J ， et al . 数据挖掘：概念与技术 . 范明，孟小峰译. 北京：机械工业出版社， 2005

Han J W ， Kamber M ， Pei J ， et al . Data Mining：Concepts and Techniques .Translated by Fan M ， Meng X F . Beijing ： China Machine Press ， 2005

Al-Fhres M ， Loukissas A ， Vahdat A . A scalable，commodity data center network architecture . Proceedings of ACM SIGCOMM ， Seattle，WA，USA ， 2008

Mitchell B ， Sheppard J . Deep structure learning：beyond connectionist approaches . Proceedings of the 11th International Conference on Machine Learning and Applications（ICMLA）， Boca Raton，Florida，USA ， 2012 ： 162 ～ 167

Hinton G ， Osindero S ， Teh Y W . A fast learning algorithm for deep belief nets . Neural Computation ， 2006 ， 18 （ 7 ）： 1527 ～ 1554

FuKusHIMA K . Neocognitron：a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position . Biological Cybemetics ， 1980 ， 36 （ 4 ）： 193 ～ 202

Ranzato M ， Susskind J ， Mnih V ， et al . On deep generative models with applications to recognition . Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Colorado Springs，CO，USA ， 2011 ： 2857 ～ 2864

Guo C ， Wu H ， Tan K ， et al . DCell：a scalable and fault-tolerant network structure for data center . Proceedings of ACM SIGCOMM ， Seattle，WA，USA ， 1998

Li D ， Guo C ， Wu H ， et al . FiConn：using backup port for server interconnection in data centers . Proceedings of IEEE INFOCOM ， Rio de Janeiro，Brazil ， 2009

胡雄伟，张宝林，李抵飞 . 大数据研究与应用综述 . 标准科学， 2013 （ 10 ）： 18 ～ 21

Hu X W ， Zhang B L ， Li D F . Overview of big data research and application . Standard Science ， 2013 （ 10 ）： 18 ～ 21 .

方巍，文学志，潘吴斌等 . 云计算：概念、技术及应用研究综述 . 南京信息工程大学学报：自然科学版， 2012 , 4 （ 4 ）： 351 ～ 361

Fang W ， Wen X Z ， Pan W B ， et al . Cloud computing：survey on concept，technology and application . JJournal of Nanjing University of Information Science ＆ Technology ， 2012 ， 4 （ 4 ）： 351 ～ 361

Chandarana P ， Vijayalakshmi M . Big data analytics frameworks . Proceedings of 2014 International Conference on Circuits，Systems，Communication and Information Technology Applications （CSCITA）， Mumbai，India ， 2014 ： 430 ～ 434

中国电子技术标准化研究院 . 大数据标准化白皮书， 2014

China Electronics Standardization Institute . Big Data Standardization White Paper ， 2014

宫夏屹，李伯虎，柴旭东等 . 大数据平台技术综述 . 系统仿真学报， 2014 ， 26 （ 3 ）： 489 ～ 496

Gong X Y ， Li B H ， Chai X D ， et al . Survey on big data platform technology . Journal of System Simulation ， 2014 ， 26 （ 3 ）： 489 ～ 496

黄哲学，陈小军，李俊杰等 . 面向服务的大数据分析平台解决方案 . 科技促进发展， 2014 ， 10 （ 1 ）： 52 ～ 59

Huang Z X ， Chen X J ， Li J J ， et al . Service oriented big data analytics platform . Science ＆ Technology for Development ， 2014 ， 10 （ 1 ）： 52 ～ 59

袁玮 . 云计算在电信行业经营分析系统中对大数据的处理探析 . 硅谷， 2014 （ 6 ）

Yuan W . Processing analysis for big data from cloud computing in telecom industry management analysis system . Silicon Valley ， 2014 （ 6 ）

Demchenko Y ， De Laat C ， Membrey P . Defining architecture components of the big data ecosystem . Proceedings of 2014 International Conference on Collaboration Technologies and Systems（CTS）， Minneapolis，MN，USA ， 2014 ： 104 ～ 112

Zeng D ， Lusch R . Big data analytics：perspective shifting from transactions to ecosystems . IEEE Intelligent Systems ， 2013 ， 28 （ 2 ）： 2 ～ 5

Agarwal S ， Mozafari B ， Panda A ， et al . BlinkDB：queries with bounded errors and bounded response times on very large data . Proceedings of the 8th ACM European Conference on Computer Systems ， Prague，Czech Republic ， 2013 ： 29 ～ 42

孟小峰 . 位置大数据隐私保护研究综述 . 软件学报， 2014 ， 25 （ 4 ）： 693 ～ 712

Meng X F . Location privacy preservation in big data era：a survey . Journal of Software ， 2014 ， 25 （ 4 ）： 693 ～ 712

Cheng Y ， Park J ， Sandhu R . Preserving user privacy from third-party applications in online social networks . Proceedings of the 22nd International Conference on World Wide Web Companion ， New York，USA ， 2013 ： 723 ～ 728

Ghosh A ， Roughgarden T ， Sundararajan M . Universally utility-maximizing privacy mechanisms . Proceedings of the 22nd International Conference on World Wide Web Companion ， Bethesda，Maryland，USA ， 2009 ： 351 ～ 360

李默涵，李建中，高宏 . 数据时效性判定问题的求解算法 . 计算机学报， 2012 ， 35 （ 11 ）： 2348 ～ 2360

Li M H ， Li J Z ， Gao H . Evaluation of data currency . Chinese Journal of Computers ， 2012 ， 35 （ 11 ）： 2348 ～ 2360

刘波，耿寅融 . 数据质量检测规则挖掘方法 . 模式识别与人工智能， 2012 ， 25 （ 5 ）： 835 ～ 844

Liu B ， Geng Y R . Mining method for data quality detection rules . Pattern Recognition and Artificial Intelligence ， 2012 ， 25 （ 5 ）： 835 ～ 844

浏览量

5506

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向DT服务的数据分析系统架构

大数据架构在企业中的应用

游戏大数据平台研究与实践

大数据技术在电力行业的应用研究

一种基于主成分分析的综合网管系统设计及实现