基于Spark平台的NetFIow流量分析系统

丁圣勇; 闵世武; 樊勇兵

doi:10.3969/j.issn.1000-0801.2014.10.009

您当前的位置：

首页 >

文章列表页 >

基于Spark平台的NetFIow流量分析系统

专题：大数据技术与应用 | 更新时间：2024-06-05

- 基于Spark平台的NetFIow流量分析系统
- A Large Scale NetFlow Analysis System Based on Spark
- 电信科学 2014年30卷第10期页码：48-51
- 作者机构：
- 作者简介：
  
  [ "丁圣勇，男，现就职于中国电信股份有限公司广东研究院，长期从事网络运营数据分析与挖掘工作，主要研究方向为网络大数据。" ]
  [ "闵世武，男，现就职于中国电信股份有限公司广东研究院，主要从事Hadoop、Spark相关的大数据开发工作。" ]
  [ "樊勇兵，男，博士，现就职于中国电信股份有限公司广东研究院，主要从事云计算及大数据相关研究工作。" ]
- 基金信息：
- DOI：10.3969/j.issn.1000-0801.2014.10.009
  中图分类号：
- 网络出版日期：2014-10，
  
  纸质出版日期：2014-10-20
- 稿件说明：
移动端阅览
丁圣勇, 闵世武, 樊勇兵. 基于Spark平台的NetFIow流量分析系统[J]. 电信科学, 2014,30(10):48-51.

Shengyong Ding, Shiwu Min, Yongbing Fan. A Large Scale NetFlow Analysis System Based on Spark[J]. Telecommunications science, 2014, 30(10): 48-51.
丁圣勇, 闵世武, 樊勇兵. 基于Spark平台的NetFIow流量分析系统[J]. 电信科学, 2014,30(10):48-51. DOI： 10.3969/j.issn.1000-0801.2014.10.009.

Shengyong Ding, Shiwu Min, Yongbing Fan. A Large Scale NetFlow Analysis System Based on Spark[J]. Telecommunications science, 2014, 30(10): 48-51. DOI： 10.3969/j.issn.1000-0801.2014.10.009.

摘要

目前典型的NetFlow分析系统多为基于私有架构或平台的第三方系统，面临扩展性较低、开放性不足、扩容代价大、分析时延长等问题。大数据技术的快速发展尤其是内存式计算平台如Spark的出现为集中处理大规模NetFlow数据提供了可能，本文提出了基于Spark的NetFlow分析系统，验证了核心算法（如流量应用构成统计）在Spark平台的性能。实验表明，基于Spark的NetFlow分析系统具有很高的性能和很强的扩展能力，较之Hadoop MapReduce有显著的性能提升。

Abstract

The existing systems usually adopt private distributed architectures

which face scalability

openness

cost and latency problems. The development of big data technology such as Spark offers new opportunity for large scale NetFlow processing systems. A new analysis system based on Spark platform was proposed and the effectiveness of the method was verified. The experimental results show its superior performance.

关键词

Keywords

references

White T . Hadoop: the Definitive Guide . O'Reilly Media Inc , 2012

Zaharia M , Chowdhury M , Das T , et al . Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing . Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation , San Jose, CA, USA , 2012

Rossi D , Silvio V . Fine-grained traffic classification with NetFlow data . Proceedings of the 6th International Wireless Communications and Mobile Computing Conference , Shenzhen, China , 2010

浏览量

1405

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

一种基于随机森林和改进卷积神经网络的网络流量分类方法

基于优化决策树的时延敏感流智能感知调度

一种基于Spark的大数据匿名化系统实现

一种改进的CLTree算法

主流大数据处理开源架构的分析及对比评测