基于MapReduce的大规模流量分析系统的设计

唐宏

doi:10.3969/j.issn.1000-0801.2013.12.025

您当前的位置：

首页 >

文章列表页 >

基于MapReduce的大规模流量分析系统的设计

运营创新论坛 | 更新时间：2024-06-05

- 基于MapReduce的大规模流量分析系统的设计
- A Large Scale Network Traffic Analysis System Design Based on the MapReduce Platform
- 电信科学 2013年29卷第12期页码：155-157
- 作者机构：
- 作者简介：
  
  [ "唐宏，男，中国电信股份有限公司广东研究院高级工程师，主要研究方向为IP网络与云计算技术研究。" ]
- 基金信息：
- DOI：10.3969/j.issn.1000-0801.2013.12.025
  中图分类号：
- 网络出版日期：2013-12，
  
  纸质出版日期：2013-12-20
- 稿件说明：
移动端阅览
唐宏. 基于MapReduce的大规模流量分析系统的设计[J]. 电信科学, 2013,29(12):155-157.

Hong Tang. A Large Scale Network Traffic Analysis System Design Based on the MapReduce Platform[J]. Telecommunications science, 2013, 29(12): 155-157.
唐宏. 基于MapReduce的大规模流量分析系统的设计[J]. 电信科学, 2013,29(12):155-157. DOI： 10.3969/j.issn.1000-0801.2013.12.025.

Hong Tang. A Large Scale Network Traffic Analysis System Design Based on the MapReduce Platform[J]. Telecommunications science, 2013, 29(12): 155-157. DOI： 10.3969/j.issn.1000-0801.2013.12.025.

摘要

随着用户和网络规模的快速扩大以及精细化运营需求的增加，网络流量分析系统面临的数据规模及分析深度要求都在快速发展，针对传统技术在系统扩展性、建设成本以及分析深度方面已经很难满足目前需求这一问题，提出了一种基于MapReduce 技术的大规模流量分析系统技术方案，对数据存储、数据分析全部并行化处理，消除传统系统存在的若干瓶颈。

Abstract

With the rapid development of network scale and the stricter requirement for operation efficiency

network traffic analysis system is facing big challenges in terms of the scale and analyzing depth. Traditional technologies cannot meet the current requirement for the scalability

cost and analyzing depth of the system. A MapReduce based traffic analysis system was presented

which could eliminate the performance bottleneck by parallelizing the storage and computation.

关键词

Keywords

references

White T . Hadoop: the Definitive Guide . O'Reilly Media , 2011

Ghemawat S , Gobioff H , Leung S . The Google file system . ACM SIGOPS Operating Systems Review , 2003 （ 5 ）

浏览量

381

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于优化决策树的时延敏感流智能感知调度

基于用户移动网络接入位置的高效分布式相似矩阵计算方法

集成BP神经网络预测模型的研究与应用

主流大数据处理开源架构的分析及对比评测

一种高维大数据全k近邻查询算法