基于大数据融合算法的DNS日志分析系统

廖明; 陈明; 周冀; 向小华; 李芳; 焦叶芬

doi:10.11959/j.issn.1000-0801.2019065

您当前的位置：

首页 >

文章列表页 >

基于大数据融合算法的DNS日志分析系统

运营技术广角 | 更新时间：2024-06-05

- 基于大数据融合算法的DNS日志分析系统
- DNS log analysis system based on big data fusion algorithm
- 电信科学 2019年35卷第5期页码：129-139
- 作者机构：
- 作者简介：
  
  [ "廖明（1970- ），男，中国移动通信集团重庆有限公司高级工程师，主要研究方向为互联网内容运营管理。" ]
  [ "陈明（1979- ），男，中国移动通信集团重庆有限公司高级工程师，主要研究方向为DNS与用户访问感知。" ]
  [ "周冀（1978- ），男，中国移动通信集团重庆有限公司高级工程师，主要研究方向为互联网内容管理。" ]
  [ "向小华（1986- ），男，中国移动通信集团重庆有限公司中级工程师，主要研究方向为互联网质量优化分析。" ]
  [ "李芳（1990- ），女，中国移动通信集团重庆有限公司中级工程师，主要研究方向为互联网OTT内容。" ]
  [ "焦叶芬（1978- ），女，中国移动通信集团重庆有限公司中级工程师，主要研究方向为网络质量管理。" ]
- 基金信息：
  
  中央高校基本科研业务费专项资金资助项目；国家自然科学基金资助项目;The Fundamental Research Funds for the Central Universities,The National Natural Science Foundation of China(61501042)
- DOI：10.11959/j.issn.1000-0801.2019065
  中图分类号： TP393
- 网络出版日期：2019-05，
  
  纸质出版日期：2019-05-20
- 稿件说明：
移动端阅览
廖明, 陈明, 周冀, 等. 基于大数据融合算法的DNS日志分析系统[J]. 电信科学, 2019,35(5):129-139.

Ming LIAO, Ming CHEN, Ji ZHOU, et al. DNS log analysis system based on big data fusion algorithm[J]. Telecommunications science, 2019, 35(5): 129-139.
廖明, 陈明, 周冀, 等. 基于大数据融合算法的DNS日志分析系统[J]. 电信科学, 2019,35(5):129-139. DOI： 10.11959/j.issn.1000-0801.2019065.

Ming LIAO, Ming CHEN, Ji ZHOU, et al. DNS log analysis system based on big data fusion algorithm[J]. Telecommunications science, 2019, 35(5): 129-139. DOI： 10.11959/j.issn.1000-0801.2019065.

摘要

总结了目前行业对于DNS日志的大数据分析存在的问题，并设计了一种基于大数据融合算法的DNS日志分析系统，该系统融合了备案信息库、网站库、域名库、IP 地址库、CNAME 域名库以及安全信息库六大信息库数据，具有强大的日志分析性能，分析内容范围全面，分析深度高，同时具有灵活的报表定制功能，为电信运营商提高管理效率、优化网络安全、提升本网率提供决策依据。

Abstract

The existing problems of big data analysis of DNS logs in the current industry were summarized

and a DNS log analysis system based on big data fusion algorithm was designed.The system integrates six information databases

such as record information database

website database

domain name database

IP address database

CNAME domain name database and security information database.It has powerful log analysis performance

comprehensive content analysis

and classification.With high analysis depth and flexible report customization function

it can provide decision-making basis for telecom operators to improve the management efficiency

optimize network security and enhance the network rate.

关键词

Keywords

references

漆晨曦 . 电信企业大数据分析、应用及管理发展策略 [J ] . 电信科学 , 2013 , 29 ( 3 ): 12 - 16 .

QI C X . Big data analysis,application and management development strategy of telecom enterprises [J ] . Telecommunications Science , 2013 , 29 ( 3 ): 12 - 16 .

刘觅 , 杨海川 , 李振华 . 运营商构建电信大数据生态之道 [J ] . 电信科学 , 2018 , 34 ( 1 ): 109 - 119 .

LIU M , YANG H C , LI Z H . The way for operators to build telecom big data ecology [J ] . Telecommunications Science , 2018 , 34 ( 1 ): 109 - 119 .

张云勇 . 电信运营商大数据发展建议 [J ] . 电信科学 , 2018 , 34 ( 1 ): 103 - 108 .

ZHANG Y Y . Suggestions for big data development of telecom operators [J ] . Telecommunications Science , 2018 , 34 ( 1 ): 103 - 108 .

黄璇婧 . 信令采集与监测系统研究和应用 [D ] . 上海:上海交通大学 , 2012 .

HUANG X J . Research and application of signaling acquisition and monitoring system [D ] . Shanghai:Shanghai Jiaotong University , 2012 .

汤雅妃 , 魏进武 , 张云勇 . 基于大数据的信令监测系统研究 [J ] . 邮电设计技术 , 2014 ( 7 ): 47 - 52 .

TANG Y F , WEI J W , ZHANG Y Y . Research on signaling monitoring system based on big data [J ] . Design Technology of Posts and Telecommunications , 2014 ( 7 ): 47 - 52 .

胡为艳 , 艾民 , 周光彬 , 等 . 基于大数据的信令监测系统的设计与实现 [J ] . 电视技术 , 2016 ( 1 ): 95 - 101 .

HU W Y , AI M , ZHOU G B , et al . Design and implementation of signaling monitoring system based on big data [J ] . TV Engineering , 2016 ( 1 ): 95 - 101 .

DHARMAPURIKAR S , KRISHNAMURTHY P , SPROULL T , et al . Deep packet inspection using parallel bloom filters [C ] // 11th Symposium on High Performance Interconnects,Aug 20-22,2003,Stanford,CA,USA . Piscataway:IEEE Press , 2003 : 44 - 51 .

黄昆 , 张大方 . 一种面向深度数据包检测的紧凑型正则表达式匹配算法 [J ] . 中国科学 , 2010 , 10 ( 40 ): 1062 - 1077 .

HUANG K , ZHANG D F . A compact regular expression matching algorithm for deep packet detection [J ] . CJUS , 2010 , 10 ( 40 ): 1062 - 1077 .

冉萌 , 韩玉辉 . DPI 技术在移动大数据中的应用 [J ] . 邮电设计技术 , 2016 ( 8 ): 33 - 36 .

RAN M , HAN Y H . Application of DPI technology in mobile big data [J ] . Design Technology of Posts and Telecommunications , 2016 ( 8 ): 33 - 36 .

BECCHI M , CROWLEY P . A hybrid finite automaton for practical deep packet inspection [C ] // ACM Conference on Emerging Network Experiment and Technology,Dec 10-13,2007,New York,USA . New York:ACM Press , 2007 .

KUMAR S , DHARMAPURIKAR S , YU F , et al . Algorithms to accelerate multiple regular expressions matching for deep packet inspection [J ] . ACM SIGCOMM Computer Communication Review , 2006 , 36 ( 4 ): 339 - 350 .

SNYDER M E , SUNDARAM R , THAKUR M . Preprocessing DNS log data for effective data mining [C ] // 2009 IEEE International Conference on Communications,June 14-18,2009,Dresden,Germany . Piscataway:IEEE Press , 2009 : 1 - 5 .

彭巍 , 贺晓东 , 陆小铭 , 等 . 运营商 DNS 海量数据分析技术优化和应用 [J ] . 电信科学 , 2018 , 34 ( 3 ): 138 - 144 .

PENG W , HE X D , LU X M , et al . Optimization and application of operator DNS massive data analysis technology [J ] . Telecommunications Science , 2018 , 34 ( 3 ): 138 - 144 .

申志伟 , 房秉毅 . 一种智能动态域名系统在大型电子商务中的应用方法 [J ] . 电信科学 , 2014 , 30 ( 1 ): 128 - 135 .

SHEN Z W , FANG B Y . Application of an intelligent dynamic domain name system in large e-commerce [J ] . Telecommunications Science , 2014 , 30 ( 1 ): 128 - 135 .

YEN T F , OPREA A , ONARLIOGLU K , et al . Beehive:large-scale log analysis for detecting suspicious activity in enterprise networks [C ] // Computer Security Applications Conference,Dec 9-13,Louisiana,USA . New York:ACM Press , 2013 : 199 - 208 .

NICHOLAS D , HUNTINGTON P . Micro-mining and segmented log file analysis:a method for enriching the data yield from internet log files [J ] . Journal of Information Science , 2003 , 29 ( 5 ): 391 - 404 .

JEON K S , PARK S J , CHUN S H , et al . A study on the big data log analysis for security [J ] . International Journal of Security and Its Applications , 2016 , 10 ( 1 ): 13 - 20 .

浏览量

311

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于区块链的多源网络大数据安全访问权限认证仿真

基于大数据的5G流量驻留比极限值研究

基于异构数据的电力短期负荷大数据预测方案

DT时代面向数据服务的新型基础设施架构

大数据安全特征与运营实践