基于Kudu的大数据平台实时业务处理能力提升方案

顾飞杨; 孔莹

doi:10.11959/j.issn.1000-0801.2019158

您当前的位置：

首页 >

文章列表页 >

基于Kudu的大数据平台实时业务处理能力提升方案

运营技术广角 | 更新时间：2024-06-05

- 基于Kudu的大数据平台实时业务处理能力提升方案
- Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform
- 电信科学 2019年35卷第10期页码：151-156
- 作者机构：
- 作者简介：
  
  [ "顾飞杨（1978- ），男，中国电信股份有限公司上海分公司企业信息化部数据中心副主任、工程师，主要研究方向为大数据技术以及应用等" ]
  [ "孔莹（1982- ），女，中国电信股份有限公司上海分公司企业信息化部数据中心副主任、工程师，主要研究方向为异地跨机房的大数据平台集群、数据快速迁移等" ]
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2019158
  中图分类号： TP311.13
- 网络出版日期：2019-10，
  
  纸质出版日期：2019-10-20
- 稿件说明：
移动端阅览
顾飞杨, 孔莹. 基于Kudu的大数据平台实时业务处理能力提升方案[J]. 电信科学, 2019,35(10):151-156.

Feiyang GU, Ying KONG. Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform[J]. Telecommunications science, 2019, 35(10): 151-156.
顾飞杨, 孔莹. 基于Kudu的大数据平台实时业务处理能力提升方案[J]. 电信科学, 2019,35(10):151-156. DOI： 10.11959/j.issn.1000-0801.2019158.

Feiyang GU, Ying KONG. Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform[J]. Telecommunications science, 2019, 35(10): 151-156. DOI： 10.11959/j.issn.1000-0801.2019158.

摘要

针对目前Hadoop大数据平台实时业务处理能力较差的难点，研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论，阐述了利用Kudu和Spark提供的主键索引和内存加速，有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。

Abstract

Aiming at the difficulty of real-time business processing capability of Hadoop big data platform

the theory of the most advanced Kudu column storage was studied as an effective complement of HDFS block storage

and the use of primary key index and memory acceleration provided by Kudu and Spark was illustrated to effectively solve the big data platform cannot support the technical implementation methods of business pain points such as real-time warehousing

incremental update and SQL-related query.The experimental results prove the effect of the method on improving the real-time business processing capability of the big data platform.

关键词

Keywords

references

汤劲松 , 蔡韵 , 王晓亮 , 等 . 电信运营商大数据基础能力建设与实践 [J ] . 电信科学 , 2018 , 34 ( 1 ): 158 - 165 .

TANG J S , CAI Y , WANG X L , et al . Construction and practice of big data fundamental ability for telecom operators [J ] . Telecommunications Science , 2018 , 34 ( 1 ): 158 - 165 .

王瑞通 , 李炜春 . 大数据基础存储系统技术研究 [J ] . 计算机技术与发展 , 2017 ( 8 ): 66 - 72 .

WANG R T , LI W C . Research of big data storage system technology [J ] . The Computer Technology and Development , 2017 ( 8 ): 66 - 72 .

陈涛 , 鲁萌 , 陈彦名 . 运营商大数据技术应用研究 [J ] . 电信科学 , 2017 , 33 ( 1 ): 130 - 134 .

CHEN T , LU M , CHEN Y M . Research on operators’ big data technologies and applications [J ] . Telecommunications Science , 2017 , 33 ( 1 ): 130 - 134 .

鲍远松 . 基于 Kudu 的结构化数据存储分析方案设计 [J ] . 信息技术与标准化 , 2017 ( 10 ): 60 - 63 .

BAO Y S . Structured data storage analysis scheme design based on Kudu [J ] . Information Technology and Standardization , 2017 ( 10 ): 60 - 63 .

浏览量

441

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于区块链的多源网络大数据安全访问权限认证仿真

基于大数据的5G流量驻留比极限值研究

基于异构数据的电力短期负荷大数据预测方案

DT时代面向数据服务的新型基础设施架构

大数据安全特征与运营实践