基于MapReduce的连续SkyIine查询

单观敏; 董一鸿; 何贤芒

doi:10.3969/j.issn.1000-0801.2014.05.014

您当前的位置：

首页 >

文章列表页 >

基于MapReduce的连续SkyIine查询

研究与开发 | 更新时间：2024-06-05

- 基于MapReduce的连续SkyIine查询
- Continuous Skyline Queries Based on MapReduce
- 电信科学 2014年30卷第5期页码：94-104
- 作者机构：
- 作者简介：
  
  [ "单观敏，男，宁波大学信息科学与工程学院硕士生，主要研究方向为数据挖掘。" ]
  [ "董一鸿，男，博士，宁波大学信息科学与工程学院教授，主要研究方向为移动数据库、数据挖掘和人工智能。" ]
  [ "何贤芒，男，博士，宁波大学信息科学与工程学院讲师，主要研究方向为数据挖掘和隐私保护。" ]
- 基金信息：
  
  宁波市自然科学基金资助项目(61202007);宁波市自然科学基金资助项目(2013A610063)
- DOI：10.3969/j.issn.1000-0801.2014.05.014
  中图分类号：
- 网络出版日期：2014-05，
  
  纸质出版日期：2014-05-15
- 稿件说明：
移动端阅览
单观敏, 董一鸿, 何贤芒. 基于MapReduce的连续SkyIine查询[J]. 电信科学, 2014,30(5):94-104.

Guanmin Shan, Yihong Dong, Xianmang He. Continuous Skyline Queries Based on MapReduce[J]. Telecommunications science, 2014, 30(5): 94-104.
单观敏, 董一鸿, 何贤芒. 基于MapReduce的连续SkyIine查询[J]. 电信科学, 2014,30(5):94-104. DOI： 10.3969/j.issn.1000-0801.2014.05.014.

Guanmin Shan, Yihong Dong, Xianmang He. Continuous Skyline Queries Based on MapReduce[J]. Telecommunications science, 2014, 30(5): 94-104. DOI： 10.3969/j.issn.1000-0801.2014.05.014.

摘要

随着Web网络和无线传感器网络的不断发展，大数据的出现对数据查询和处理产生了挑战。研究了MapReduce框架下移动对象的并行Skyline计算问题，采用基于角度划分的方法解决负载平衡问题，并提出了一种过滤策略进行剪枝提高计算效率，在此基础上分别实现了静态Skyline算法和基于事件跟踪的MR-Track算法。最后通过对比实验验证了算法的有效性。

Abstract

With the development of Web and wireless sensor networks

the appearance of big data has brought a great challenge to data query and process. The parallel Skyline computing issue of a moving query object under the MapReduce framework was studied. To solve the problem of load balance

a method based on angle partition was adopted. Then a filtering method was introduced to improve the efficiency. On the basis of those methods

a static Skyline algorithm and an event tracking algorithm named MR-Track were implemented respectively. Finally

many experiments were made to verify the effective and efficient of MR-Track algorithm.

关键词

Keywords

references

Borzsonyi S , Kossmann D , Stocker K . The Skyline operator . Proceedings of the International Conference on Data Engineering （ICDE） , Heidelberg, Germany , 2011 : 421 ～ 430

Dean J , Ghemawat S . MapReduce: simplified data processing on large clusters . Communications of the ACM , 2005 , 51 （ 1 ）: 107 ～ 113

Tan K L , Eng P K , Ooi B C . Efficient progressive skyline computation . Proceedings of the VLDB , Roma,Italy , 2001 : 301 ～ 310

Kossmann D , Ramsak F , Rost S . Shooting stars in the sky: an online algorithm for skyline queries . Proceedings of the Very Large Data Bases（VLDB） , Hong Kong, China , 2002 : 275 ～ 286

Papadias D , Tao Y F , Fu G , et al . An optimal and progressive algorithm for skyline queries . Proceedings of ACM Management of Data（SIGMOD） , California, USA , 2003 : 467 ～ 478

Balke W T , Güntzer U , Zheng J X . Efficient distributed Skylining for web information systems . Proceedings of International Conference on Extending Database Technology （EDBT） , Heraklion, Crete, Greece , 2004 : 256 ～ 273

Cui B , Lu H , Xu Q Q , et al . Parallel distributed processing of constrained Skyline queries by ltering . Proceedings of International Conference on Data Engineering（ICDE） , Cancun, Mexico , 2008 : 546 ～ 555

Huang Z Y , Lu H , Ooi B C , et al . Continuous skyline queries for moving objects . IEEE Transactions on Knowledge and Data Engineering , 2006 , 18 （ 12 ）: 1645 ～ 1658

Tian L , Wang L , Zou P , et al . Continuous monitoring of skyline 9 Tian L, Wang L, Zou P, et al . Continuous monitoring of skyline

付世昌，董一鸿，唐燕琳等 . 基于事件的位置不确定移动对象连续概率Skyline查询．自动化学报， 2011 , 37 （ 7 ）: 836 ～ 848

Vlachou A , Doulkeridis C , Kotidis Y . Angle-based space partitioning for efficient parallel skyline computation . Proceedings of ACM Management of Data （SIGMOD） , Vancouver, BC, Canada , 2008 : 227 ～ 238

Park S , Kim T , Park J , et al . Parallel skyline computation on multicore architectures . Proceedings of IEEE 25th International Conference on Date of Conference （ICDE） , Shanghai, China , 2009 : 760 ～ 771

Kohler H , Yang J , Zhou X F . Efficient parallel skyline processing using hyperplane projections . Proceedings of the ACM SIGMOD International Conference on Management of Data , Athens, Greece , 2011 : 85 ～ 96

张波良，周水庚，关佶红 . MapReduce框架下的Skyline计算．计算机科学与探索， 2011 , 5 （ 5 ）: 385 ～ 397

Chen L , Hwang K , Wu J . MapReduce Skyline query processing with a new angular partitioning approach . Proceedings of Parallel and Distributed Processing Symposium Workshops ＆ PhD Forum （IPDPSW） , Shanghai, China , 2012 : 2262 ～ 2270

丁琳琳，信俊昌，王国仁 . 基于MapReduce的海量数据高效Skyline查询处理．计算机学报， 2011 , 34 （ 10 ）: 1785 ～ 1796

雷婷，王涛，曲武等 . 云环境下基于超球面投影分区的Skyline计算．计算机科学， 2013 , 40 （ 6 ）: 164 ～ 171

Xiao Y Y , Lu K , Deng H F . Location-dependent skyline query processing in mobile databases . Proceedings of Web Information Systems and Applications Conference（WISA） , Hohhot,China , 2010

ChoroChronos . http://www.chorochronos.org/ http://www.chorochronos.org/

浏览量

224

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于用户移动网络接入位置的高效分布式相似矩阵计算方法

电网数据存储技术选型的研究

运营商DNS海量数据分析技术优化和应用

基于PaaS技术的大数据云化平台实践

基于Hadoop的电信大数据采集方案研究与实现