A Distributed Data-Crawling Technology for Microblog API

Shunhua Chen; Xiaotong Wang; Zhifeng Hao; Ruichu Cai; Xiaojun Xiao; Yu Lu

doi:10.3969/j.issn.1000-0801.2013.08.025

您当前的位置：

首页 >

文章列表页 >

A Distributed Data-Crawling Technology for Microblog API

Operational innovation BBS | 更新时间：2024-06-05

- A Distributed Data-Crawling Technology for Microblog API
- Telecommunications Science Vol. 29, Issue 8, Pages: 146-150(2013)
- 作者机构：
  
  1. 广东工业大学计算机学院广州 510006
  2. 广州优亿信息科技有限公司广州 510630
- 作者简介：
- 基金信息：
- DOI：10.3969/j.issn.1000-0801.2013.08.025
  CLC：
- Published Online：2013-08，
  
  Published：20 August 2013
- 稿件说明：
移动端阅览
Shunhua Chen, Xiaotong Wang, Zhifeng Hao, et al. A Distributed Data-Crawling Technology for Microblog API[J]. Telecommunications science, 2013, 29(8): 146-150.
DOI：

Shunhua Chen, Xiaotong Wang, Zhifeng Hao, et al. A Distributed Data-Crawling Technology for Microblog API[J]. Telecommunications science, 2013, 29(8): 146-150. DOI： 10.3969/j.issn.1000-0801.2013.08.025.

摘要

随着微博用户的迅猛增长，越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集，提出了基于微博API的分布式抓取技术，通过模拟微博登录自动授权，合理控制API的调用频次，结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制，避免了数据的重复爬取和重复存储，提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。

Abstract

As more and more users begin to use microblog

people eagerly want to dig interesting patterns from the microblog data.How to efficiently collect data from the service provider is one of the main challenges.To address this issue

a distributed crawling solution based on microblog API was present.The distributed crawling solution simulates microblog login

automatically gets authorized

and control the invoked frequency of the API with a task controller.A time trigger method with memory database was also proposed to avoid extra trivial data duplication and improve efficiency of the system.In the distributed framework

the crawling tasks can be assigned to distributed clients independently

which ensures the high scalability and flexibility of the crawling procedure.The feasibility of the crawler technology according to Sina microblog instance was verified.

关键词

Keywords

references

王亮 . SNS社交网络发展现状及趋势 . 现代电信科技， 2009 （ 6 ）

王娟 . 微博客用户的使用动机与行为 . 山东大学硕士学位论文， 2010

李保秀 . 微博社交网络舆情监测指标体系构建 . 科技广场， 2012 （ 4 ）

漆晨曦 . 电信企业大数据分析、应用及管理发展策略 . 电信科学， 2013 （ 3 ）

唐波 . 网络爬虫的设计与实现 . 电脑知识与技术， 2009 , 11 （ 5 ）: 2867 ～ 2868

王晶，朱珂，汪斌强 . 基于信息数据分析的微博研究综述 . 计算机应用， 2012 , 32 （ 7 ）: 2027 ～ 2029 , 2037

新浪接口约束 . http://open.weibo.com/wiki/%E5%BE%AE%E5%8D%9AAPI http://open.weibo.com/wiki/%E5%BE%AE%E5%8D%9AAPI

廉捷，周欣，曹伟等 . 新浪微博数据挖掘方案 . 清华大学学报， 2011 , 51 （ 10 ）: 1300 ～ 1305

周鑫，彭斯俊，罗熹 . 基于新浪微博开放平台的用户数据挖掘 . 中国科技论文在线， http://www.docin.com/p-531480044.html http://www.docin.com/p-531480044.html

李军，陈震，黄霁威 . 微博影响力评价研究 . 信息网络安全， 2012 , 3 （ 7 ）

Views

737

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

⁰