基于密度聚类的网络性能故障大数据分析方法

李想; 李原; 张子飞; 杨哲

doi:10.11959/j.issn.1000-0801.2020270

您当前的位置：

首页 >

文章列表页 >

基于密度聚类的网络性能故障大数据分析方法

研究与开发 | 更新时间：2024-06-05

- 基于密度聚类的网络性能故障大数据分析方法
- A density clustering-based network performance failure big data analysis algorithm
- 电信科学 2020年36卷第9期页码：51-58
- 作者机构：
- 作者简介：
  
  [ "李想（1986- ），男，中国信息通信研究院高级工程师，主要研究方向为互联网监测分析、域名系统等" ]
  [ "李原（1976- ），男，博士，中国信息通信研究院高级工程师，主要研究方向为互联网网络架构、互联网测量分析、下一代互联网、国际通信等" ]
  [ "张子飞（1987- ），男，中国信息通信研究院工程师，主要研究方向为互联网域名系统、网络性能与业务体验分析等" ]
  [ "杨哲（1990- ），男，中国信息通信研究院工程师，主要研究方向为宽带网络分析、互联网网络等" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2020270
  中图分类号： TP393
- 网络出版日期：2020-09，
  
  纸质出版日期：2020-09-20
- 稿件说明：
移动端阅览
李想, 李原, 张子飞, 等. 基于密度聚类的网络性能故障大数据分析方法[J]. 电信科学, 2020,36(9):51-58.

Xiang LI, Yuan LI, Zifei ZHANG, et al. A density clustering-based network performance failure big data analysis algorithm[J]. Telecommunications science, 2020, 36(9): 51-58.
李想, 李原, 张子飞, 等. 基于密度聚类的网络性能故障大数据分析方法[J]. 电信科学, 2020,36(9):51-58. DOI： 10.11959/j.issn.1000-0801.2020270.

Xiang LI, Yuan LI, Zifei ZHANG, et al. A density clustering-based network performance failure big data analysis algorithm[J]. Telecommunications science, 2020, 36(9): 51-58. DOI： 10.11959/j.issn.1000-0801.2020270.

摘要

针对层出不穷的网络安全事件，如何快速在海量监测数据中发现异常数据，并开展网络故障分析成为研究难点。针对该问题，提出一种基于密度聚类的网络性能故障大数据分析方法，通过熵权分析、数据清洗与标准化处理实现关键性能特征提取与数据整形，基于参数调优的DBSCAN聚类算法提取性能故障异常数据。基于实时采集的全国多家运营商海量骨干网链路性能数据验证该算法，结果表明，与人工标注网络性能异常数据相比，其识别的准确性超过90%，可满足开展全国网络运行故障分析的需求。

Abstract

Facing frequent network security incidents

how to quickly find abnormal data in massive monitoring database and carry out network failure analysis becomes a research difficulty.A density-based network performance failure big data analysis algorithm was proposed

which extracted key performance characteristic indicators through entropy weight analysis

implemented data shaping through data cleaning and standardization

and extracted abnormal performance data on the basis of DBSCAN clustering algorithm.Relying on the real-time massive backbone network link performance data of multiple domestic operators to validated this algorithm

the results shows that compared with the manually manner

the recognition accuracy of the algorithm proposed to the network performance abnormal data is more than 90%

which can well fit for the analysis of real-time Internet network operation failure.

关键词

Keywords

references

李玥 . 机器学习的分类、聚类研究 [J ] . 电脑知识与技术 , 2020 , 16 ( 4 ): 161 - 162 .

LI Y . Research on classification and clustering of machine learning [J ] . Computer Knowledge and Technology , 2020 , 16 ( 4 ): 161 - 162 .

蔡志荣 . 基于熵权的模糊综合评价法在学习质量评价中的应用 [J ] . 计算机时代 , 2018 .( 12 ): 75 - 77 .

CAI Z R . Application of entropy weight based fuzzy comprehensive evaluation method in learning quality evaluation [J ] . Computer Era , 2018 .( 12 ): 75 - 77 .

刘竞妍 , 张可 , 王桂华 . 综合评价中数据标准化方法比较研究 [J ] . 数字技术与应用 , 2018 , 36 ( 6 ): 84 - 85 .

LIU J Y , ZHANG K , WANG G H . Comparative study on data standardization methods in comprehensive evaluation [J ] . Digital Technology ＆ Application , 2018 , 36 ( 6 ): 84 - 85 .

展金梅 , 陈君涛 . 聚类集成算法中度量方法 [J ] . 电子技术与软件工程 , 2020 ( 3 ): 170 - 171 .

CHEN J M , CHEN J T . Measurement method in clustering integration algorithm [J ] . Electronic Technology ＆ Software Engineering , 2020 ( 3 ): 170 - 171 .

贺玲 , 吴玲达 , 蔡益朝 . 数据挖掘中的聚类算法综述 [J ] . 计算机应用研究 , 2017 ,( 1 ): 10 - 13 .

HE L , WU L D , CAI Y C . Survey of clustering algorithms in data mining [J ] . Application Research of Computers , 2017 ( 1 ): 10 - 13 .

周爱武 , 于亚飞 . K-means聚类算法的研究 [J ] . 计算机技术与发展 , 2011 , 21 ( 2 ): 62 - 65 .

ZHOU A W , YU Y F . The research about clustering algorithm of K-means [J ] . Computer Technology and Development , 2011 , 21 ( 2 ): 62 - 65 .

闫玮 . 基于多种层次聚类的算法研究 [D ] . 西安:西安电子科技大学 , 2019 .

YAN W . Algorithms research based on multiple hierarchical clustering [D ] . Xi’an:Xidian University , 2019 .

ESTER M , KRIEGEL H P , XU X . A density-based algorithm for discovering clusters adensity-based algorithm for discovering clusters in large spatial databases with noise [C ] // Proceedings of International Conference on Knowledge Discovery ＆ Data Mining . New York:ACM Press , 1996 .

谢娟英 , 丁丽娟 . 完全自适应的谱聚类算法 [J ] . 电子学报 , 2019 , 47 ( 5 ): 1000 - 1008 .

XIE J Y , DING L J . The true self-adaptive spectral clustering algorithms [J ] . Acta Electronica Sinica , 2019 , 47 ( 5 ): 1000 - 1008 .

孙鹏 , 韩承德 , 曾涛 . S-DBSCAN:一种基于DBSCAN发现高密度簇的算法 [J ] . 高技术通讯 , 2012 , 22 ( 6 ): 589 - 595 .

SUN P , HAN C D , ZENG T . S-DBSCAN:an algorithm for finding high density clusters based on DBSCAN [J ] . Chinese High Technology Letters , 2012 , 22 ( 6 ): 589 - 595 .

SHAH G H , . An improved DBSCAN,a density based clustering algorithm with parameter selection for high dimensional data sets [C ] // Proceedings of Nirma University International Conference on Engineering . Piscataway:IEEE Press , 2013 .

冯振华 . 基于 DBSCAN 聚类算法的研究与应用 [D ] . 无锡:江南大学 , 2016 .

FENG Z H . Research and application of clustering algorithm based on DBSCAN [D ] . Wuxi:Jiangnan University , 2016 .

SUNITA J , PATAG K . Algorithm to determine ε-distance parameter in density based clustering [J ] . Expert Systems With Applications , 2014 ,( 6 ): 2939 - 2946 .

冯万兴 , 朱晔 , 郭钧天 , 等 . 基于改进的 DBSCAN 方法和多项式拟合的雷电短时预测 [J ] . 计算机工程与科学 , 2014 , 36 ( 10 ): 2028 - 2033 .

FENG W X , ZHU Y , GUO J T , et al . Lightning forecast based on the improved DBSCAN and polynomial fitting [J ] . Computer Engineering and Science , 2014 , 36 ( 10 ): 2028 - 2033 .

浏览量

204

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于可解释机器学习模型的电信行业客户流失预测研究

基于流量特征重构与映射的物联网DDoS攻击单流检测方法

基于5G语音质差自适应算法研究及应用

基于区块链与深度学习的空间分集协作频谱感知系统

基于柔性太阳能电池和超薄水凝胶薄膜的手势识别