雪球网或者东方财富或者同花顺目前已经提供了很多种股票筛选方式,但是筛选方式是根据个人操作 风格来定义的,三个网站有限的筛选方式显然不能满足广大股民、程序员特别是数据分析控的要求。基于此,作者设计了一个可以任意拓展,实现任意数据搜集与分析的爬虫程序,满足股友们的需要,只要你能想到的数据搜集与分析策略它都能实现
https://github.com/decaywood/XueQiuSuperSpider
抓取51job,拉钩和直聘的数据
https://github.com/xianyunyh/spider_job
很多网站对爬虫都会有 IP 访问频率的限制。如果你的爬虫只用一个 IP 来爬取,那就只能设置爬取间隔,来避免被网站屏蔽。但是这样爬虫的效率会大大下降,这个时候就需要使用代理 IP 来爬取数据。一个 IP 被屏蔽了,换一个 IP 继续爬取。此项目就是提供给你免费代理的。
https://github.com/gavin66/proxy_list
爬虫基于 Scrapy,灵活简单、易扩展,方便二次开发。使用 Scrapy-Redis 作为分布式中间件,可同时部署多个爬虫实例,以提升采集效率。Web后台管理基于React,Material Design 设计风格。
https://github.com/k1995/BaiduyunSpider
如果你想基于沪深股市行情数据进行一些工作,它可以帮助你导出指定时间范围内所有沪深A股的行情数据和一些技术指标,包括代码、名称、开盘、收盘、最高、最低、成交量、均线、KDJ等。 如果你对于技术分析有兴趣,它可以帮你根据你自定义的策略在所有沪深A股的范围内进行选股,并回测选股策略的收益情况(详细说明后面会有)。这样就能够非常方便快捷地测试和调整基于技术分析的选股策略。