统一数据湖技术研究和建设方案

刘志勇; 何忠江; 刘敬龙; 阮宜龙; 孟照方

doi:10.11959/j.issn.1000-0801.2021019

您当前的位置：

首页 >

文章列表页 >

统一数据湖技术研究和建设方案

工程与应用 | 更新时间：2024-06-05

- 统一数据湖技术研究和建设方案
- Technology research and construction scheme of unified data lake
- 电信科学 2021年37卷第1期页码：121-128
- 作者机构：
- 作者简介：
  
  [ "刘志勇（1965- ），男，中国电信集团有限公司云网运营部（大数据和 AI 中心）总经理、教授级高级工程师，主要研究方向为云网融合、大数据和AI等。" ]
  [ "何忠江（1980- ），男，中国电信集团有限公司云网运营部（大数据和 AI 中心）三级经理，主要研究方向为大数据应用规划、建设和AI应用等。" ]
  [ "刘敬龙（1973- ），男，中国电信集团有限公司云网运营部（大数据和 AI 中心）三级经理，主要研究方向为大数据平台规划、建设和AI平台规划、建设等。" ]
  [ "阮宜龙（1977- ），男，中国电信集团有限公司云网运营部（大数据和 AI中心）三级经理，主要研究方向为大数据平台规划、建设、运营等。" ]
  [ "孟照方（1984- ），男，中国电信集团有限公司云网运营部（大数据和AI中心）高级技术专家，主要研究方向为网络大数据平台规划、建设，位置能力研究开发等。" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2021019
  中图分类号： TP399
- 网络出版日期：2021-01，
  
  纸质出版日期：2021-01-20
- 稿件说明：
移动端阅览
刘志勇, 何忠江, 刘敬龙, 等. 统一数据湖技术研究和建设方案[J]. 电信科学, 2021,37(1):121-128.

Zhiyong LIU, Zhongjiang HE, Jinglong LIU, et al. Technology research and construction scheme of unified data lake[J]. Telecommunications science, 2021, 37(1): 121-128.
刘志勇, 何忠江, 刘敬龙, 等. 统一数据湖技术研究和建设方案[J]. 电信科学, 2021,37(1):121-128. DOI： 10.11959/j.issn.1000-0801.2021019.

Zhiyong LIU, Zhongjiang HE, Jinglong LIU, et al. Technology research and construction scheme of unified data lake[J]. Telecommunications science, 2021, 37(1): 121-128. DOI： 10.11959/j.issn.1000-0801.2021019.

摘要

从企业数字化转型要求和大数据平台面临的挑战分析入手，阐述了统一数据湖的建设思路和入湖原则，提出了采用逻辑统一、物理分散、统一数据目录、统一安全管理、应用解耦融合的BSS/MSS/OSS跨域融合的统一数据湖建设方案，并描述了统一数据湖建设实践经验。

Abstract

From the requirements of enterprise digital transformation and the challenges faced by big data platform

the construction ideas and principles of unified data lake were expounded.A unifid data lake construction scheme based on BSS/MSS/OSS cross domain fusion was proposed

which adopted logical unification

physical dispersion

unified data directory

unified security management and application of decoupling fusion.The construction practice of unified data lake was described in recent two years.

关键词

Keywords

references

DIXON J . Pentaho,Hadoop and data lakes [Z ] . 2015 .

Wikipedia Data lake [Z ] . 2017 .

胡军军 , 谢晓军 , 石彦彬 , 等 . 电信运营商数据湖技术实施策略 [J ] . 电信科学 , 2019 , 35 ( 2 ): 84 - 93 .

HU J J , XIE X J , SHI Y B , et al . Telecom operators’ data lake technology implementation strategy [J ] . Telecommunications Science , 2019 , 35 ( 2 ): 84 - 93 .

WILDER-JAMES . The data lake dream [Z ] . 2014 .

浏览量

751

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

电信运营商数据湖技术实施策略

云边端协同下多用户细粒度任务卸载调度策略

基于强化学习的边缘计算智能电网资源调度算法

云边协同中的资源调度优化

使能未来工厂的5G能力综述