基于信息增益的Hadoop瓶颈检测算法

谭造乐; 郝志峰; 蔡瑞初; 肖晓军; 卢宇

doi:10.11959/j.issn.1000-0801.2016203

您当前的位置：

首页 >

文章列表页 >

基于信息增益的Hadoop瓶颈检测算法

研究与开发 | 更新时间：2024-06-05

- 基于信息增益的Hadoop瓶颈检测算法
- Hadoop bottleneck detection algorithm based on information gain
- 电信科学 2016年32卷第7期页码：115-120
- 作者机构：
  
  1. 广东工业大学计算机学院，广东广州510006
  2. 广州优亿信息科技有限公司，广东广州510630
- 作者简介：
  
  [ "谭造乐(1990-)，男，广东工业大学硕士生，主要研究方向为社交网络数据挖掘、分布式架构。" ]
  [ "郝志峰(1968-)，男，广东工业大学教授、博士生导师，主要从事机器学习、人工智能等研究工作。" ]
  [ "蔡瑞初(1983-)，男，广东工业大学教授、博士生导师，主要从事数据挖掘、机器学习、信息检索等研究工作。" ]
  [ "肖晓军(1970-)，男，博士，现就职于广州优亿信息科技有限公司，具有多年电信行业管理工作经验，主要研究方向为大数据、数据挖掘与电信行业应用等。" ]
  [ "卢宇(1983-)，男，广州优亿信息科技有限公司高级软件开发工程师，主要从事大数据、机器学习与电信行业应用等相关研发工作。" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2016203
  中图分类号： TP391
- 网络出版日期：2016-07，
  
  纸质出版日期：2016-07-15
- 稿件说明：
移动端阅览
谭造乐, 郝志峰, 蔡瑞初, 等. 基于信息增益的Hadoop瓶颈检测算法[J]. 电信科学, 2016,32(7):115-120.

Zaole TAN, Zhifeng HAO, Ruichu CAI, et al. Hadoop bottleneck detection algorithm based on information gain[J]. Telecommunications science, 2016, 32(7): 115-120.
谭造乐, 郝志峰, 蔡瑞初, 等. 基于信息增益的Hadoop瓶颈检测算法[J]. 电信科学, 2016,32(7):115-120. DOI： 10.11959/j.issn.1000-0801.2016203.

Zaole TAN, Zhifeng HAO, Ruichu CAI, et al. Hadoop bottleneck detection algorithm based on information gain[J]. Telecommunications science, 2016, 32(7): 115-120. DOI： 10.11959/j.issn.1000-0801.2016203.

摘要

当今，Hadoop已经成为了大数据存储和大数据挖掘的主要平台。虽然Hadoop平台通过分布式的机器集群来实现高性能的并行计算，但由于其由廉价主机组成，故当集群负载增大时，便不可避免地在某机器上出现瓶颈。针对此问题，提出一种基于信息增益的瓶颈检测算法，该算法通过计算各个资源的信息增益来检测集群的瓶颈资源。实验证明了该瓶颈检测算法具有可行性。

Abstract

Hadoop has become a major platform for big data storage and large data mining nowadays.Although Hadoop platform achieves high performance parallel computing through a distributed cluster of machines

the bottlenecks will inevitably appear on a machine when cluster load increases

because the cluster is composed of inexpensive host.Aiming at this problem

a bottleneck detection algorithms based on information gain was proposed.The algorithm detected cluster's bottlenecks resource by computing the information gain of each resource.The experiments show that the bottleneck detection algorithm is feasible.

关键词

Keywords

references

中国互联网络信息中心第37次中国互联网络发展状况统计报告 [EB/OL ] . [ 2016 - 02 - 10 ] . http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201601/t20160122_53271.htm http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201601/t20160122_53271.htm .

China Internet Network Information Center The 37th China internet network development state statistic report [EB/OL ] . [ 2016 - 02 - 10 ] . http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201601/t20160122_53271.htm http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201601/t20160122_53271.htm .

张呈 . Hadoop集群下海量小文件优化处理 [D ] ．武汉：武汉理工大学， 2014 .

ZHANG C . Mass small files to optimize processing under the Hadoop cluster [D ] . Wuhan: Wuhan University of Technology , 2014 .

唐霞 . Hadoop调度器优化及其在舆情分析中的应用 [D ] ．北京：北京化工大学， 2015 .

TANG X . Hadoop scheduler optimization and its application in public opinion analysis [D ] . Beijing:Beijing University of Chemical Industry , 2015 .

曾婉琳，陈兴蜀，罗永刚 . Hadoop节点资源参数优化策略 [J ] . 计算机工程， 2016 ( 1 ): 1 - 6 .

ZENG W L , CHEN X S , LUO Y G . Hadoop node resource parameter optimization strategy [J ] . Computer Engineering , 2016 ( 1 ): 1 - 6 .

董新华，李瑞轩，周湾湾，等 . Hadoop系统性能优化与功能增强综述 [J ] . 计算机研究与发展， 2013 , 50 ( z2 ): 1 - 15 .

DONG X H , LI R X , ZHOU W W , et al . Hadoop system performance optimization and function enhanced review [J ] . Journal of Computer Research and Development , 2013 , 50 ( z2 ): 1 - 15 .

李怿铭 . 基于MapReduce性能优化的研究 [D ] ．上海：上海师范大学， 2015 .

LI Y M . Based on graphs performance optimization research [D ] . Shanghai: Shanghai Normal University , 2015 .

DA V , PRADHAN P , DAN R . Provisioning servers in the application tier for E-commerce systems [J ] . ACM Transactions on Internet Technology , 2007 , 7 ( 1 ): 57 - 66 .

朱显杰 . 大规模复杂系统瓶颈检测和性能预测方法的研究 [D ] ．杭州：浙江大学， 2010 .

ZHU X J . Large-scale complicated system bottleneck detection and performance prediction method research [D ] . Hangzhou:Zhejiang University , 2010 .

GHEMAWAT S , GOBIOFF H , LEUNG S T . The Google file system [J ] . ACM Sigops Operating Systems Review , 2003 , 37 ( 5 ): 29 - 43 .

DEAN J , GHEMAWAT S . MapReduce: simplified data processing on large clusters [J ] . Communications of the ACM , 2008 , 51 ( 1 ): 107 - 113 .

Apache Software Foundation Eagle: secure Hadoop in real time [EB/OL ] . [ 2016 - 02 - 11 ] . http://eagle.apache.org/ http://eagle.apache.org/ .

王小巍，蒋玉明 . 决策树ID3算法的分析与改进 [J ] . 计算机工程与设计， 2011 , 32 ( 9 ): 3069 - 3072 .

WANG X W , JIANG Y M . Analysis and improvement of the decision tree ID3 algorithm [J ] . Computer Engineering and Design , 2011 , 32 ( 9 ): 3069 - 3072 .

浏览量

645

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于PaaS技术的大数据云化平台实践

基于Hadoop的电信大数据采集方案研究与实现

大数据时代运营商分析支撑域转型的实践与思考

一种关联感知的大数据导入方法

数据仓库与大数据融合的探讨