电信运营商数据湖技术实施策略

胡军军; 谢晓军; 石彦彬; 喻琦

doi:10.11959/j.issn.1000-0801.2019029

您当前的位置：

首页 >

文章列表页 >

电信运营商数据湖技术实施策略

运营技术广角 | 更新时间：2024-06-05

- 电信运营商数据湖技术实施策略
- Implementation strategy of telecom operators’ data lake technology
- 电信科学 2019年35卷第2期页码：84-94
- 作者机构：
- 作者简介：
  
  [ "胡军军（1969- ），男，中国电信股份有限公司广州研究院IT研发中心高级工程师、总经理，主要研究方向为电信支撑系统、云计算/大数据、移动互联网商业模式、智能可穿戴设备等。" ]
  [ "谢晓军（1972- ），男，中国电信股份有限公司广州研究院IT研发中心高级工程师、技术总监，主要研究方向为BSS/OSS系统规划、设计、建设与运营的研究与支撑。" ]
  [ "石彦彬（1980- ），男，中国电信股份有限公司广州研究院IT研发中心高级工程师、高级业务主管，主要研究方向为 OSS 系统规划、设计、建设与运营的研究与支撑。" ]
  [ "喻琦（1985- ），男，中国电信股份有限公司广州研究院 IT 研发中心工程师，主要研究方向为OSS系统规划、设计、建设与运营的研究与支撑。" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2019029
  中图分类号： TP399
- 网络出版日期：2019-02，
  
  纸质出版日期：2019-02-20
- 稿件说明：
移动端阅览
胡军军, 谢晓军, 石彦彬, 等. 电信运营商数据湖技术实施策略[J]. 电信科学, 2019,35(2):84-94.

Junjun HU, Xiaojun XIE, Yanbin SHI, et al. Implementation strategy of telecom operators’ data lake technology[J]. Telecommunications science, 2019, 35(2): 84-94.
胡军军, 谢晓军, 石彦彬, 等. 电信运营商数据湖技术实施策略[J]. 电信科学, 2019,35(2):84-94. DOI： 10.11959/j.issn.1000-0801.2019029.

Junjun HU, Xiaojun XIE, Yanbin SHI, et al. Implementation strategy of telecom operators’ data lake technology[J]. Telecommunications science, 2019, 35(2): 84-94. DOI： 10.11959/j.issn.1000-0801.2019029.

摘要

首先，从分析电信运营商传统数据架构入手，识别当前面临的数据质量不高、实时性不够、灵活性不足及存储和应用相互制约等问题。然后，讨论引入数据湖技术的可行性，明确数据湖的存储规模化和低成本、数据“原汁原味”和方便易用、应用按需建模等特点，能够为电信运营商数据架构优化提供非常有益的参考。最后，提出数据统一存储、统一标准、近源采集、与应用分离的电信运营商数据湖建设方案，并针对数据湖数据分区、部署、入湖及应用数据动态加载、数据统一管理等关键要点给予明确的阐述。

Abstract

Firstly

the traditional data architecture of telecom operators was analyzed and the problems such as low quality

lack of real-time

lack of flexibility and mutual constraints of storage and application were identified.Then

the feasibility of introducing data lake technology was discussed

the storage scale and low cost of data lake

the originality of data and ease of use

and the application of on-demand modeling were clarified

which could provide great benefits for telecom operators’ data architecture optimization.Finally

the data lake construction plan of unified storage

unified standards

near-source acquisition

and application separation was proposed

and key points such as data lake data partitioning

deployment

lake entry and application data dynamic loading

and unified data management were clearly stated.

关键词

Keywords

references

AliResearch . Activating productivity:model upgrading and paradigm transfer in DT era [R ] . 2015 .

TMF . TM_Forum_open_digital_architecture_whitepaper_V2 [R ] . 2018 .

TMF . TMF630_REST_API_design_guidelines_3.0_R17.5.1 [R ] . 2018 .

DIXON J . Pentaho,Hadoop and data lakes [Z ] . 2015 .

Wikipedia . Data lake [Z ] . 2017 .

PASQUA J . Schema-on-read vs schema-on-write [Z ] . 2019 .

TMF . GB922 information framework models R18.0.0 [S ] . 2018 .

China Telecom . EDM 4.0 [S ] . 2011 .

PWC . The enterprise data lake:better integration and deeper analytics [S ] . 2014 .

WILDER-JAMES E . The data lake dream [J ] . 2014 .

HALEVY A , KORN F , NATALYA F . Managing Google’s data lake:an overview of the goods system [Z ] . 2016 .

HALEVY A , KORN F , NOY N F , et al . Goods:organizing Google’s datasets [J ] . 2016 .

AWS . Populating the AWS glue data catalog [Z ] . 2018 .

郭云峰 , 蔡珩 , 戈磊 . 基于大数据网格的电信IT系统智能运维体系 [J ] . 电信科学 , 2018 , 34 ( 6 ): 153 - 161 .

GUO Y F , CAI H , GE L . Telecom intelligent operation system based on big data grid [J ] . Telecommunications Science , 2018 , 34 ( 6 ): 153 - 161 .

浏览量

1144

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

统一数据湖技术研究和建设方案