Skip to content

最强微博爬虫,用户、话题、评论一网打尽。

License

Notifications You must be signed in to change notification settings

xiongda777/WeiboSuperSpider

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

40 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

作者简介

作者 inspurer
QQ交流群 861016679
个人博客 https://inspurer.github.io/

2021/7/17 更新

2021新版本微博超级爬虫来了

包括三个部分,微博话题爬虫,微博评论爬虫,微博转发爬虫,简介如下

微博话题爬虫可以根据关键词,按照时间段,爬取保存指定微博,出错了重新运行能继续抓取。

微博评论爬虫可以爬取想要的微博的评论,及其评论的回复,可以抓取上万条评论之多。

微博转发爬虫可以爬取微博的转发信息,以及转发微博的转发等,无限递归。

详细信息可以参考系列文章,地址如下:

2021 新版微博话题爬虫发布

2021 新版微博评论及其子评论爬虫发布

2021 微博最新转发爬虫发布

后续更新,欢迎微信扫描下方二维码或者在微信内搜索 微信公众号:月小水长(ID:inspurer) 进行关注;

WeiboSuperScrapy

最强微博爬虫,用户、话题、评论一网打尽。

GUI 功能集中版

运行 GUI.py 即可爬取用户/话题微博

运行 WeiboCommentScrapy.py 并修改里面的微博id (wid) 即可爬取指定微博的所有评论。

无 GUI 功能独立版

单独的 py 文件分别对立一个 功能

WeiboCommentScrapy.py 爬取评论

WeiboTopicScrapy.py 爬取指定关键词的所有微博,突破了 50 页的限制,可指定截至日期时间段搜索(比如 20200101-20200102)

WeiboSuperCommentScrapy.py 可爬取一条微博的所有评论,更为强大

Reference

https://www.jianshu.com/p/8dc04794e35f

About

最强微博爬虫,用户、话题、评论一网打尽。

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%