游戏大数据平台工作流引擎研究与实践

陈杰; 武娟; 苏洋; 唐勇

doi:10.3969/j.issn.1000-0801.2016.02.019

您当前的位置：

首页 >

文章列表页 >

游戏大数据平台工作流引擎研究与实践

运营技术广角 | 更新时间：2024-06-05

- 游戏大数据平台工作流引擎研究与实践
- Research and practice on working flow engine of big data platform for gaming service
- 电信科学 2016年32卷第2期页码：134-139
- 作者机构：
  
  1. 炫彩互动网络科技有限公司，江苏南京210029
  2. 中国电信股份有限公司广州研究院，广东广州 510630
- 作者简介：
  
  [ "陈杰（1974-），男，炫彩互动网络科技有限公司高级工程师，主要研究方向为互联网大型业务平台技术架构、大数据技术框架、通信技术和移动互联网等。" ]
  [ "武娟（1977-），女，中国电信股份有限公司广州研究院高级工程师，主要研究方向为云计算、大数据、数据网络、移动互联网技术等。" ]
  [ "苏洋（1988-），男，炫彩互动网络科技有限公司工程师，主要研究方向为大数据、移动互联网等。" ]
  [ "唐勇（1973-），男，炫彩互动网络科技有限公司高级工程师，主要研究方向为大数据、手机游戏运营平台等。" ]
- 基金信息：
- DOI：10.3969/j.issn.1000-0801.2016.02.019
  中图分类号： TP311
- 网络出版日期：2016-02，
  
  纸质出版日期：2016-02-15
- 稿件说明：
移动端阅览
陈杰, 武娟, 苏洋, 等. 游戏大数据平台工作流引擎研究与实践[J]. 电信科学, 2016,32(2):134-139.

Jie CHEN, Juan WU, Yang SU, et al. Research and practice on working flow engine of big data platform for gaming service[J]. Telecommunication science, 2016, 32(2): 134-139.
陈杰, 武娟, 苏洋, 等. 游戏大数据平台工作流引擎研究与实践[J]. 电信科学, 2016,32(2):134-139. DOI： 10.3969/j.issn.1000-0801.2016.02.019.

Jie CHEN, Juan WU, Yang SU, et al. Research and practice on working flow engine of big data platform for gaming service[J]. Telecommunication science, 2016, 32(2): 134-139. DOI： 10.3969/j.issn.1000-0801.2016.02.019.

摘要

随着业务人员对数据分析的需求不断增加，基于开源Hadoop的游戏大数据平台运行着越来越多相互依赖的作业任务。为了更加高效地完成作业管理和调度，升级了Zeus构建工作流引擎，优化Zeus任务启动过程，实现了多线程启动任务，缩短了启动时间。通过扩展Zeus系统，使其支持Oracle存储过程。同时，利用管道技术，实现了异构数据源的无缝高效共享和传输。

Abstract

The big data platform for gaming service is based on Hadoop open source technology. With the demand growth of the service operation staff，there are more and more jobs which depend on each other running on the big data platform. A new working flow engine was developed on Zeus to manage and schedule jobs efficiently. In order to shorten the start time，Zeus task starting process was optimized and multi-threaded start task was achieved. Zeus was also improved to support the Oracle stored procedure. Pipeline technology was used to seamless and efficient sharing and transmission of heterogeneous data sources.

关键词

Keywords

references

苏洋，刘晓军，唐勇，等 . 游戏大数据平台研究与实践 [J ] . 电信科学， 2014 ， 30 （ 10 ）： 21 - 26 .

SU Y ， LIU X J ， TANG Y ， et al . Research and practice of big data platform of games [J ] . Telecommunications Science ， 2014 ， 30 （ 10 ）： 21 - 26 .

Apache Oozie workflow scheduler for Hadoop [EB/OL ] . [ 2015 - 05 - 30 ] . http://oozie.apache.org/ http://oozie.apache.org/ .

Open-source workflow manager [E B/OL ] . [ 2014 - 02 - 19 ] . http://azkaban.github.io/ http://azkaban.github.io/ .

Workflow engines for Hadoop，Joe Crobak [EB/OL ] . [ 2012 - 07 - 05 ] . http://www.crobak.org/2012/07/workflow-engines-for-hadoop/ http://www.crobak.org/2012/07/workflow-engines-for-hadoop/ .

淘宝Hadoop作业平台宙斯Zeus [EB/OL ] . [ 2015 - 10 - 16 ] . https://github.com/alibaba/zeus https://github.com/alibaba/zeus .

Taobao Hadoop worker platform Zeus [EB/OL ] . [ 2015 - 10 - 16 ] . https://github.com/alibaba/zeus https://github.com/alibaba/zeus .

MAPREDUCE-2364 [EB/OL ] . [ 2011 - 03 - 07 ] . https://issues.apache.org/jira/browse/MAPREDUCE-2364 https://issues.apache.org/jira/browse/MAPREDUCE-2364 .

WHITE T . Hadoop权威指南（第3版）[M ] . 曾大聘，周傲英，译. 北京：清华大学出版社， 2015 ： 125 - 130 .

WHITE T . Hadoop：The Definite Guide [M ] . Translated by ZENG D R ， ZHOU A Y . Beijing ： Tsinghua University Press ， 2015 ： 125 - 130 .

浏览量

595

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

NFV开源技术

CORD应用与发展

DC/OS关键技术与应用场景

NFV标准与开源技术现状

基于SPlCE开源协议的云桌面技术架构研究