主流大数据处理开源架构的分析及对比评测

方艾; 徐雄; 梁冰; 张玉忠; 杨翊平

doi:10.11959/j.issn.1000-0801.2015174

您当前的位置：

首页 >

文章列表页 >

主流大数据处理开源架构的分析及对比评测

运营技术广角 | 更新时间：2024-06-05

- 主流大数据处理开源架构的分析及对比评测
- Comparison of Open-Source Distributed Computing Framework for Big Data
- 电信科学 2015年31卷第7期页码：152-157
- 作者机构：
- 作者简介：
  
  [ "方艾，男，中国电信股份有限公司广州研究院工程师，主要研究方向为大数据、机器学习。" ]
  [ "徐雄，男，中国电信股份有限公司广州研究院工程师，主要研究方向为互联网应用。" ]
  [ "梁冰，女，中国电信股份有限公司广州研究院工程师、架构师，主要研究方向为软件开发。" ]
  [ "张玉忠，男，中国电信股份有限公司广州研究院工程师，主要研究方向为数据挖掘、云计算。" ]
  [ "杨翊平，男，中国电信股份有限公司广州研究院工程师，主要研究方向为搜索引擎技术、云计算、互联网应用。" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2015174
  中图分类号：
- 网络出版日期：2015-07，
  
  纸质出版日期：2015-07-20
- 稿件说明：
移动端阅览
方艾, 徐雄, 梁冰, 等. 主流大数据处理开源架构的分析及对比评测[J]. 电信科学, 2015,31(7):152-157.

Ai Fang, Xiong Xu, Bing Liang, et al. Comparison of Open-Source Distributed Computing Framework for Big Data[J]. Telecommunications science, 2015, 31(7): 152-157.
方艾, 徐雄, 梁冰, 等. 主流大数据处理开源架构的分析及对比评测[J]. 电信科学, 2015,31(7):152-157. DOI： 10.11959/j.issn.1000-0801.2015174.

Ai Fang, Xiong Xu, Bing Liang, et al. Comparison of Open-Source Distributed Computing Framework for Big Data[J]. Telecommunications science, 2015, 31(7): 152-157. DOI： 10.11959/j.issn.1000-0801.2015174.

摘要

结合电信增值业务领域中对大数据处理的实际需求，对现有主流的分布式大数据处理架构（Hive、Impala、Spark）的核心进行分析与实测，比较它们在大数据处理过程中的优劣及适用的场景，从而为大数据分析所面临的架构适用性选型提供参考。

Abstract

A comparison of three open source distributed computing frameworks for big data （Hive，Impala and Spark）was conducted.Tests were run to evaluate the performance aiming at real business demands.The cost of implementation to meet business requirements was also discussed.

关键词

Keywords

references

Hadoop . http://hadoop.apache.org/ http://hadoop.apache.org/ ， 2014

耿益锋，陈冠诚 . Impala：新一代开源大数据分析引擎 . 程序员， 2013 （ 8 ）

Geng Y F ， Chen G C . Impala：next-gen open-source big data analytic engine . Programmer ， 2013 （ 8 ）

Spark . http://www.cnblogs.com/jerrylead/archive/2013/04/27/Spark.html http://www.cnblogs.com/jerrylead/archive/2013/04/27/Spark.html ， 2013

Hive与Impala比较 . http://www.linuxeden.com/html/news/20130714/141332.html http://www.linuxeden.com/html/news/20130714/141332.html ， 2013

Comparison between Impala and Hive . http://www.linuxeden.com/html/news/20130714/141332.html http://www.linuxeden.com/html/news/20130714/141332.html ， 2013

Dremel . http://www.yankay.com/google-dremel-rationale/ http://www.yankay.com/google-dremel-rationale/ ， 2012

Spark API . http://spark.apache.org/docs/latest/api/python/index.html http://spark.apache.org/docs/latest/api/python/index.html ， 2014

Resilient distributed datasets：a fault-tolerant abstraction for in-memory cluster computing . http://www.cs.berkeley.edu/-matei/papers/2012/nsdi_spark.pdf http://www.cs.berkeley.edu/-matei/papers/2012/nsdi_spark.pdf ， 2012

PageRank . http://en.wikipedia.org/wiki/PageRank http://en.wikipedia.org/wiki/PageRank ， 2014

微博 3.5 亿用户关系数据（样例） . http://www.datatang.com/data/46248 http://www.datatang.com/data/46248 ， 2014

Relationship data of 350 million weibo users（samples） . http://www.datatang.com/data/46248 http://www.datatang.com/data/46248 ， 2014

浏览量

1228

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

大规模图数据划分算法综述

基于云计算的移动互联网大数据用户行为分析引擎设计

基于区块链的多源网络大数据安全访问权限认证仿真

基于大数据的5G流量驻留比极限值研究

一种基于随机森林和改进卷积神经网络的网络流量分类方法