2.txt

作者：谢科
链接：https://www.zhihu.com/question/20899988/answer/24923424
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。因为学习A的经验可以帮助你学习B。因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会需要学会的东西的。当然，你可以争论说需要先懂python，不然怎么学会python做爬虫呢？但是事实上，你完全可以在做这个爬虫的过程中学习python :D看到前面很多答案都讲的“术”——用什么软件怎么爬，那我就讲讲“道”和“术”吧——爬虫怎么工作以及怎么在python实现。先长话短说summarize一下：你需要学习基本的爬虫工作原理基本的http抓取工具，scrapyBloom Filter: Bloom Filters by Example如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rqrq和Scrapy的结合：darkrho/scrapy-redis · GitHub后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)以下是短话长说：说说当初写的一个集群爬下整个豆瓣的经验吧。1）首先你要明白爬虫怎样工作。想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。那么在python里怎么实现呢？很简单import Queue

initial_page = "http://www.renminribao.com"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直进行直到海枯石烂
    if url_queue.size()>0:
        current_url = url_queue.get()    #拿出队例中第一个的url
        store(current_url)               #把这个url代表的网页存储好
        for next_url in extract_urls(current_url): #提取把这个url里链向的url
            if next_url not in seen:      
                seen.put(next_url)
                url_queue.put(next_url)
    else:
        break
写得已经很伪代码了。所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。2）效率如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。3）集群化抓取爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)考虑如何用python实现：在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。代码于是写成#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
    to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
    if request == 'GET':
        if distributed_queue.size()>0:
            send(distributed_queue.get())
        else:
            break
    elif request == 'POST':
        bf.put(request.url)
        
好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub4）展望及后处理虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。但是如果附加上你需要这些后续处理，比如有效地存储（数据库应该怎样安排）有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...及时更新（预测这个网页多久会更新一次）如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，“路漫漫其修远兮,吾将上下而求索”。所以，不要问怎么入门，直接上路就好了：）
作者：何明科
链接：https://www.zhihu.com/question/33255013/answer/82949972
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

没有被邀请，但是依旧逼格满满地说，这个问题简直就是为我准备的。<img src="https://pic1.zhimg.com/50/8e6f8f84144ba23918e99f9e8feab974_hd.png" data-rawwidth="346" data-rawheight="246" class="content_image" width="346">第一部分：吐槽+吹牛（特此说明，本文不针对quant投资的大神）本人工科本科，毕业后做战略管理咨询，其后做过股票交易员以及VC/PE投资。所呆的机构基本都是行业内的顶尖公司，而个人表现基本都是明星级员工。说到此处，我已经感觉到无数飞过来的臭鸡蛋的风声，都来自于各位professional service的人士。下图是我被臭鸡蛋砸中的样子，只是我的颜值略逊于她。<img src="https://pic1.zhimg.com/50/8c419bd6c409e1f2fa464695082127b8_hd.png" data-rawwidth="319" data-rawheight="220" class="content_image" width="319">但是，我说的是真话。原因不是我业务好，而是我工具用得好、程序写得好。简单一句话总结：我是做咨询/投资里面最会写程序的，也是写程序里面最懂咨询/投资的。以下为一些亮瞎合金眼的案例：在咨询的日常工作中，写过一套基于VBA优化及生成PPT和连通Powerpoint-Excel-Word数据的软件，离职读MBA前被Global IT买走，因为公司给了我MBA的学费及生活费，免费给了，在公司广为流传在某咨询项目中，写过一套帮助某国际消费品牌基于内部海量数据来规划渠道商和代理商布局的软件，将以前需要一个sales team一整天才能完成的工作缩到一个人一小时内完成，并作为重要成果在整个亚洲推广在某咨询项目中，写过一套工具，实现将Excel中每天都在更新的甘特图及流程图按规定格式同步到给客户的高标准高逼格PPT中。因为这是一个新品牌车系的上市项目，流程图极其复杂，每次更新都要耗费行政助理团队整个通宵的时间，还不能保证完全正确。这套工具，解放助理不用stand-by，按时按点回家洗洗睡睡。在基金的日常工作中，写过一套VBA工具并结合Bloomberg接口，每日抓取目标公司的各类信息并发送日报，将一个专职助理半天的工作基本缩减到零在咨询/基金的日常工作中，做过无数的Financial Model，面对老板及客户的各种花式虐狗需求，根据假设算出结论或者根据结论算出假设，程序自动完成；而且Financial Model的复用性极高，而且财务三张表自动配平。（说起根据结论算出假设，这个听起来不靠谱的需求，做过这一行的同学，一定会懂啥叫用户需求）将咨询这种累死累活的工作，做成了朝九晚五，按我们以前老板的话说：我是在用coding做consulting。日常工作中，几个实习生或者数据分析员要花一整天才能整理好的数据，被我花半小时完成的Python或者VBA秒杀，这种案例就不多说了如果没有上面的工具，所有从业人员的表情都是下面这样的。<img src="https://pic2.zhimg.com/50/fa1a114369cfcaea1f185ac60a78c151_hd.png" data-rawwidth="500" data-rawheight="375" class="origin_image zh-lightbox-thumb" width="500" data-original="https://pic2.zhimg.com/fa1a114369cfcaea1f185ac60a78c151_r.png">特别是遇到作的老板或者客户，从早做到晚，做到死也做不完呀。<img src="https://pic2.zhimg.com/50/6cf837c2c8ffc00e87bc948bef48e75d_hd.png" data-rawwidth="808" data-rawheight="634" class="origin_image zh-lightbox-thumb" width="808" data-original="https://pic2.zhimg.com/6cf837c2c8ffc00e87bc948bef48e75d_r.png">有了这些数据大法，表情就是下面这样的了。<img src="https://pic3.zhimg.com/50/215951877b85cef474e0f5d3fb452a02_hd.png" data-rawwidth="750" data-rawheight="749" class="origin_image zh-lightbox-thumb" width="750" data-original="https://pic3.zhimg.com/215951877b85cef474e0f5d3fb452a02_r.png">说到这里，我再次感觉到无数飞过来的臭鸡蛋的风声，都来自于各位编程大牛。我看到的情景如下图，扔鸡蛋的人更多了。<img src="https://pic1.zhimg.com/50/6a9b28be85b56d13114cb0c503045cc8_hd.png" data-rawwidth="300" data-rawheight="301" class="content_image" width="300">因为这些程序实在没啥难度呀，又不是函数编程，又不是Deep Learning。但这却是骨感的现实，只能说明两个事实：Professional service对技术的应用简直low爆了，或者说在数据处理方面基本没有，仅限于Office系列。亲眼所见一个知名对冲基金的研究员，一页一页得手工翻看搜房的网站，并用Ctrl C+Ctrl V记录搜房所有自有经纪人的信息到Excel，并统计他们当前的成交量。然后每周做一次，查看每个经纪人的成交量增量。通过这样的数据分析来判断搜房转型到自由经纪人业务之后，模式是否成功。因为工作量实在巨大，后来只好请了一票实习生来做。跨界就是优势，懂业务懂技术，就是能做出改变。世界越来越平、技术越来越开源，越来越多的公司或者模式并不是单纯靠技术优势，而是靠对用户需求对业务的了解以及迅速满足需求。第二部分：数据的三大法宝如同自己约的炮含泪也要打完，吹这么多牛，一定要给出干货来填坑。现在祭出三大法宝：Excel、VBA以及爬虫。要想把数据做好，不仅仅是要找到数据，还要把数据清洗好和分析好。所以我不仅仅给出找数据的法宝，而是给了一套。Excel是迄今为止最简单最便捷得处理数据的方式，下至四则运算，上至各类统计分析、矩阵运算及线性规划都可以搞定，所以一定要熟练掌握。网上资料很多，在此就不赘述了。但是Excel深不可测，基本没有天花板，千万不要以为会了VLookup及一些快捷键就可以耀武扬威了。至少需要把矩阵乘法、向量乘法、Offset/ Cells/ Row/ Range等函数用到极致，这样大多数Financial Model会做得非常灵活，而且各种数据查询及匹配工作会达到部分SQL的处理水平。VBA会让Office的能力提升一个档次，除了完成函数不能完成的一些任务，最有价值的是能够在Office的各套软件之间实现信息同步。之上提到的许多软件都是基于VBA完成的，最重要的没有版权问题。不过学习办法也不难，参见Excel VBA 如何快速学习？ - 何明科的回答，至于高阶技能参考粉丝回馈：程序让你更性感 - 数据冰山 - 知乎专栏。爬虫我需要细说一下和重点说一下。因为这是解决题主多次提到的数据找不到的问题。所谓爬虫当然不是下图的虫子。<img src="https://pic3.zhimg.com/50/74c2e7b72f4b49530edd9ab1bf3c002e_hd.png" data-rawwidth="156" data-rawheight="122" class="content_image" width="156">而是这样的虫子，其实就是一套自动读取网页和解析网页的程序而已。用python或者Go等程序语言写出爬虫程序来自动抓取网络数据，利用正则表达式等技术手段将脏数据清洗并结构化放入到数据库或者Excel，然后作分析以及长期监控。<img src="https://pic2.zhimg.com/50/51a64d78515de0ee671f78184eeb1421_hd.png" data-rawwidth="199" data-rawheight="152" class="content_image" width="199">网络上的数据越来越多，越来越能代表生活中的真实现象。通过爬虫加正则这种自动化的工具，能够耗很少的人工就可以将数据和信息采集并结构化，后续通过更多的分析工具完成许多有商业价值的分析并获取所谓的insight（将信息转化为知识和洞察）。还记得上面提到的那个肉眼数搜房网网页的分析员的故事吗？然而其实这就是一个程序员用Python做好爬虫、结构化数据和最后分析的简单事情，于是出手相助才有了如下的分析。轻松将搜房在各个城市的经纪人数量及单产搞清楚并按时监督，计算搜房在自有经纪人业务线的产出不是问题。http://xueqiu.com/3917381252/45640644<img src="https://pic1.zhimg.com/50/c5dff9a3d88aa668a7ba38bcf25c3d6c_hd.png" data-rawwidth="480" data-rawheight="302" class="origin_image zh-lightbox-thumb" width="480" data-original="https://pic1.zhimg.com/c5dff9a3d88aa668a7ba38bcf25c3d6c_r.png"><img src="https://pic3.zhimg.com/50/c727090967de1de3861c00515138477a_hd.png" data-rawwidth="480" data-rawheight="302" class="origin_image zh-lightbox-thumb" width="480" data-original="https://pic3.zhimg.com/c727090967de1de3861c00515138477a_r.png">另外，还有基金在投资挂号网之前，让着帮忙做些数据统计和调研，于是有了下面的回答：如何评价挂号网？ - 何明科的回答。下面的图表结合了从挂号网抓取的数据以及宏观数据。<img src="https://pic1.zhimg.com/50/d31d97274fadb3ea27098dffc540e878_hd.png" data-rawwidth="481" data-rawheight="289" class="origin_image zh-lightbox-thumb" width="481" data-original="https://pic1.zhimg.com/d31d97274fadb3ea27098dffc540e878_r.png">当然，给基金干活，数据的可视化很重要，于是用了文图 ，将图表画得很炫，逼格顿时提高。并不觉得比顶级咨询公司的PPT差到哪里。即使比他们差了，用他们的格式在网上实现一遍也就可以了，然后还可以共享给大家。一些炫目图标的效果如下。下图是关于世界各国的智商分布（http://wentu.io/publish#fd5da46583e2c60f）<img src="https://pic4.zhimg.com/50/8c8026723dc94cedfb3132dee40169b7_hd.png" data-rawwidth="655" data-rawheight="467" class="origin_image zh-lightbox-thumb" width="655" data-original="https://pic4.zhimg.com/8c8026723dc94cedfb3132dee40169b7_r.png">下图是重庆小面如何风靡全国的 - 数据冰山 - 知乎专栏。<img src="https://pic1.zhimg.com/50/ddafa0cf0282d8120b0ecf661b865910_hd.png" data-rawwidth="600" data-rawheight="315" class="origin_image zh-lightbox-thumb" width="600" data-original="https://pic1.zhimg.com/ddafa0cf0282d8120b0ecf661b865910_r.png"><img src="https://pic2.zhimg.com/50/423bd6cd2fa696c4ec4b846252dfc7dd_hd.png" data-rawwidth="600" data-rawheight="290" class="origin_image zh-lightbox-thumb" width="600" data-original="https://pic2.zhimg.com/423bd6cd2fa696c4ec4b846252dfc7dd_r.png">下图是RIO是如何席卷大江南北的？ - 数据冰山 - 知乎专栏<img src="https://pic3.zhimg.com/50/e6a5ccdd54b3cc3b08d0367c11e904c6_hd.png" data-rawwidth="486" data-rawheight="342" class="origin_image zh-lightbox-thumb" width="486" data-original="https://pic3.zhimg.com/e6a5ccdd54b3cc3b08d0367c11e904c6_r.png">另外，还可做许多比较酷的事情，获取真正的insight，如下的东西无论是咨询项目还是投资项目，或许都能用得到，绝对都能让老板虎躯一震，让客户娇喘连连。看看咖啡的推广到底如何：为什么麦当劳和肯德基都开始注重现磨咖啡的推广，其优势与星巴克等传统咖啡行业相比在哪里？ - 何明科的回答帮助自己买车：一年当中买车的最佳时间为何时？ - 何明科的回答看看最近是否适合换工作：互联网行业哪个职位比较有前途？ - 数据冰山 - 知乎专栏看看最近的房价和走势：下半年深圳房价将如何发展 - 数据冰山 - 知乎专栏,深圳的房价是在三个月内暴涨起来的吗？ - 数据冰山 - 知乎专栏, 学区房到底闹哪样？ - 数据冰山 - 知乎专栏满足吃货的好奇心：重庆小面如何风靡全国的 - 数据冰山 - 知乎专栏最后的大杂烩：能利用爬虫技术做到哪些很酷很有趣很有用的事情？ - 何明科的回答技术方面，Python写爬虫非常方便，调试正则这个网站很不错Online regex tester and debugger: JavaScript, Python, PHP, and PCRE。第三部分：等待改变的Professional Service行业咨询、投行、投资、审计、律师等等，笼统得被称之为Professional Service，一直是以高大上形象出现的，往往瞧不上屌丝草根居多的技术行业。然而时代在变化，技术的力量在不断崛起，并摧毁和变革越来越多的行业。然而，Professional Service除了在上个世纪用上Office、互联网以及手机之后，整个行业并没有引入太多的技术，特别是在数据获取、分析及可视化方面。再隔十年回头看如今的咨询/投行/投资行业对技术的运用，会如同我们现在回望上世纪七十年代左右，我们的前辈在纸上或黑板上画PPT、在纸上算数然后展现给客户看的情景：真心觉得好落后。下图是波士顿咨询公司创始人及战略大师布鲁斯·亨德森智库（Bruce Henderson Institute），在黑板上给客户演示著名的波士顿2x2矩阵，桌子上没有电脑，而是一堆草稿纸。<img src="https://pic1.zhimg.com/50/e78dc5c2fd072b5845e95f27b1c1cf88_hd.png" data-rawwidth="684" data-rawheight="1066" class="origin_image zh-lightbox-thumb" width="684" data-original="https://pic1.zhimg.com/e78dc5c2fd072b5845e95f27b1c1cf88_r.png">所以我一直希望将技术引入到这个我曾经工作多年的行业，做出些改变。让所有从业人员的工作更轻松，让所有从业人员为客户带来更大的价值。在这篇回答中（你用 Python 做过什么有趣的数据挖掘/分析项目？ - 何明科的回答），对我的这个理想其实有所交代。基于以上的初心，已经尝试着开发了两款产品。让上面提到的数据相关的工作更加简单和有效。第一款：选址应用选址是现在许多公司头疼的难题，以前完全是拍脑袋。因此我们开发出这样一套工具，帮助公司能够更理性更多维度得选址。下图，我们抓取多个数据源并完成拼接，根据用户的快递地址，勾画出某时尚品牌用户的住址，帮助其选址在北京开门店。<img src="https://pic3.zhimg.com/50/6ff5943bdd69d316d7cfd843102394fa_hd.png" data-rawwidth="1383" data-rawheight="618" class="origin_image zh-lightbox-thumb" width="1383" data-original="https://pic3.zhimg.com/6ff5943bdd69d316d7cfd843102394fa_r.png">下图，我们抓取多个数据源并完成拼接，根据大型超市及便利店与某类型餐馆在广州地区的重合情况，帮助某饮料品牌选定最应该进入的零售店面。<img src="https://pic1.zhimg.com/50/74ac6a67e01f1887f3e52e0ebc4ba65c_hd.png" data-rawwidth="1456" data-rawheight="569" class="origin_image zh-lightbox-thumb" width="1456" data-original="https://pic1.zhimg.com/74ac6a67e01f1887f3e52e0ebc4ba65c_r.png">第二款：数据可视化我们在工作中也深刻觉得以前制作图表和展示数据的方式太low、太繁琐，我们希望去改变这个现状，于是开发了一套基于Web来制作图表的工具文图。远有Excel/Powerpoint对标，近有Tableau对标。下图是文图丰富的案例库及模板库。<img src="https://pic4.zhimg.com/50/8eeebbbdcaf08202a86ff5abf27c0a7b_hd.png" data-rawwidth="1803" data-rawheight="795" class="origin_image zh-lightbox-thumb" width="1803" data-original="https://pic4.zhimg.com/8eeebbbdcaf08202a86ff5abf27c0a7b_r.png">下图是简单的使用界面及丰富的图表类型。<img src="https://pic1.zhimg.com/50/fc6982098b72d68d06fba11361e4a7d8_hd.png" data-rawwidth="1473" data-rawheight="715" class="origin_image zh-lightbox-thumb" width="1473" data-original="https://pic1.zhimg.com/fc6982098b72d68d06fba11361e4a7d8_r.png">下一步的工作：与微信的整合，一键生成适合于微信传播的截图以及公众号格式文章，便于在社交媒体的传播收集更多数据，目前已经覆盖40多家网站，涵盖衣食住行等多个方面将数据SaaS化和开源，便于各类公司及用户使用。（咨询投行等Professional Service人士一定会懂的，你们每年不知道要重复多少遍更新各类宏观微观的经济和行业数据，现在只需要调用KPI）最后，希望有一天它能部分替代已经在江湖上混迹二三十年的PowerPoint及Excel。我们现在的模式大致如下：中国目前数据分析数据挖掘市场情形是怎样的，机会多吗？前景如何？ - 何明科的回答。
作者：Danilo
链接：https://www.zhihu.com/question/27621722/answer/81070075
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

为后来的同学解释一下彩蛋怎么回事，顺便对昨晚12点之后收不到彩蛋的同学抱歉（鞠躬），被屏蔽了彩蛋是如果赞了这条答案会自动收到一条随机的私信，里面是一则短笑话笑话是在某网站上爬下来的，一共几十条随机发送起因是昨天写完原答案，突然想到如果加上彩蛋会不会很多人点赞（说我不是骗赞自己也不信）于是写了个小脚本，跑了起来试了一下第一次高潮出现在回答完30分钟后，突然多了一两百的赞，由于私信发送时间间隔太短，挂掉了修复后坚持到了晚上十二点，本机和VPS都不能再持续发送私信，于是停掉了今早起来发现赞又多了3000，崩溃的我决定还是不接着发了。。。代码和逻辑如下：// 代码不全，只有主要的逻辑
// 用到的库如下：

var request = require('superagent');
var cheerio = require('cheerio');
var fs = require('fs');

// 首先是这样的一个接口，可以取到某个答案所有赞同的人数
// 每次取会返回10条数据，是编译好的HTML模版，还有下一组数据的地址
// 遍历这10条数据并取到所有人的ID即可
// config 是Cookie、Host、Referer等配置

var sourceLink = 'https://www.zhihu.com/answer/' + code + '/voters_profile';

function getVoterList(link, fn) {
var next = '';
if (postListLength && !sleepIng) {
console.log('waiting');
sleepIng = true;
return setTimeout(function () {
sleepIng = false;
sleep = 1;
getVoterList(link, fn);
}, 1000 * 60);
}
request.get(link)
.set(config)
.end(function (err, res) {
if (err || !res.ok) {
return console.log(err);
}
var result = JSON.parse(res.text), voterList = '', $;

if (result.paging && result.paging.next) {
next = result.paging.next;
}

if (result.payload && result.payload.length) {
voterList = result.payload.join('');
$ = cheerio.load(voterList);

$('.zm-rich-follow-btn').each(function () {
var id = $(this).attr('data-id');

if (voterIdList.indexOf(id) === -1 && oldIdList.indexOf(id) === -1) {
console.log('new id: ', id);
voterIdList.push(id);
} else {
dupIdLen += 1;
}
});
}

if (next && dupIdLen < 20) {
setTimeout(function () {
getVoterList('https://www.zhihu.com' + next, fn);
}, 3000);
} else {
dupIdLen = 0;
fn();
}
});
}

// 在爬取完该接口后，新的点赞人数会暂存在数组中，遍历该数组，并发送请求
// 如请求发送成功，将各ID保存在某一个文件中，如发送失败，等几分钟后重试

function sendPost() {
var hasError = false;
var tempArr = [];
postListLength = voterIdList.length;
console.log('send post');

if (voterIdList.length) {
voterIdList.forEach(function (id, i) {

if (hasError) {
// 处理发送失败的情况，等待5分钟重试
if (!sleepIng) {
console.log('waiting');
sleepIng = true;
return setTimeout(function () {
sleepIng = false;
sleep = 1;
sendPost();
}, 1000 * 60 * 5);
}

return console.log('has error');
}

var index = (function () {
return i;
})(i);
var postIndex = index > postList.length ? index % postList.length : index;

setTimeout(function () {
// 一波发送完成之前不会启动下一波私信发送
postListLength--;
request.post('https://www.zhihu.com/inbox/post')
.send({
member_id: id,
content: postList[postIndex],
token: '',
_xsrf: '' // 这里是发送者的Cookie
})
.set(config)
.set({"Accept": "*/*"})
.set({"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8"})
.end(function (err, res) {
console.log('hasError: ', hasError);
console.log(new Date());
console.log(res.text);
var resObj = {};

try {
resObj = JSON.parse(res.text);
} catch (e) {
console.log(e);

if (!sleepIng) {
hasError = true;
sleep = 5;
console.log('waiting');
sleepIng = true;
return setTimeout(function () {
sleepIng = false;
sleep = 1;
sendPost();
}, 1000 * 60 * 5);
}
}

if (err || !res.ok || resObj.r !== 0) {
console.log(err);
hasError = true;
sleep = 5;
tempArr = voterIdList.slice(0, index);
oldIdList = oldIdList.concat(tempArr);
fs.writeFile('./idlist.json', oldIdList, function (err) {
if (err) console.log(err);
});
}
});
}, 20 * 1000 * index * sleep);

if (index === voterIdList.length - 1) {
console.log('last');
oldIdList = oldIdList.concat(voterIdList);
voterIdList = [];
setTimeout(function () {
console.log('run again');
getVoterList(sourceLink, sendPost);
}, 1000 * 60 * 15);

fs.writeFile('./idlist.json', oldIdList, function (err) {
if (err) console.log(err);
});

console.log('done ');
}
});
} else {
setTimeout(function () {
console.log('run again');
getVoterList(sourceLink, sendPost);
}, 1000 * 60);
}
}
代码花了半个小时写的，比较糙，不过跑了一下确实能用，既然已经不发了就不改了，有同学要求就发上来了PS 知乎的策略应该有变化，昨晚12点之前只要对同一个人两条私信不重复，把握好发送时间间隔就没问题，12点之后我的VPS已经不能用了，时间间隔再久也会返回500错误，1点后我的本机也不行了，不断的返回500和403，Cookie也有更新，索性就停掉了这是昨晚爬到的ID&lt;img src="https://pic3.zhimg.com/50/c5b1bfc4f8fc2788d4fd7d5aad081a0e_hd.png" data-rawwidth="1270" data-rawheight="906" class="origin_image zh-lightbox-thumb" width="1270" data-original="https://pic3.zhimg.com/c5b1bfc4f8fc2788d4fd7d5aad081a0e_r.png"&gt;还有我的视角所看的我的私信列表＝ ＝&lt;img src="https://pic3.zhimg.com/50/e77934b2365659981ca660990d0d9b66_hd.png" data-rawwidth="730" data-rawheight="905" class="origin_image zh-lightbox-thumb" width="730" data-original="https://pic3.zhimg.com/e77934b2365659981ca660990d0d9b66_r.png"&gt;就酱＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝某人有一天书荒了，想要看豆瓣上的高分书，然而豆瓣并没有提供按评分的检索，于是拜托我写一个小东西，要求是能按现有标签来分类检索豆瓣图书，并按分数从高到低排序需求不难，就是数据没有，于是写了个爬虫按标签爬下来豆瓣所有的书爬的时候只爬了分类的列表，这样有书籍的名称，链接，评分，分类，够用了，而且一次请求可以拿到较多的数据，并发不高的情况下能较快的爬完豆瓣所有的书爬数据的时间大概两个多小时左右，每次请求间隔3秒，倒是没被屏蔽代码用node写的，包括外网访问的服务器，基本满足了某人的需要，现在跑在我自己的VPS上，有域名可以直接访问爬完知道豆瓣热门标签下大概有6万多本书，是会不断更新的，所以还要定期爬一下更新一下数据下面是预览，时间所限页面写的糙了点，反正用户就一个－ －&lt;img src="https://pic3.zhimg.com/50/8f321ad177b7f820d98aa71c3c0f9aca_hd.png" data-rawwidth="1661" data-rawheight="964" class="origin_image zh-lightbox-thumb" width="1661" data-original="https://pic3.zhimg.com/8f321ad177b7f820d98aa71c3c0f9aca_r.png"&gt;&lt;img src="https://pic4.zhimg.com/50/9c6b853653c8247f316393a3fccb5053_hd.png" data-rawwidth="1663" data-rawheight="964" class="origin_image zh-lightbox-thumb" width="1663" data-original="https://pic4.zhimg.com/9c6b853653c8247f316393a3fccb5053_r.png"&gt;&lt;img src="https://pic2.zhimg.com/50/fcf79abbadc896c6874fe2309a91503d_hd.png" data-rawwidth="434" data-rawheight="777" class="origin_image zh-lightbox-thumb" width="434" data-original="https://pic2.zhimg.com/fcf79abbadc896c6874fe2309a91503d_r.png"&gt;
作者：高野良
链接：https://www.zhihu.com/question/20899988/answer/58388759
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

看了大部分回答不禁叹口气，主要是因为看到很多大牛在回答像“如何入门爬虫”这种问题的时候，一如当年学霸讲解题目，跳步无数，然后留下一句“不就是这样推嘛”，让一众小白菜鸟一脸懵逼。。作为一个0起步（之前连python都不会），目前总算掌握基础，开始向上进阶的菜鸟，深知其中的不易，所以我会在这个回答里，尽可能全面、细节地分享给大家从0学习爬虫的各种步骤，如果对你有帮助，请点赞~-------------------------------------------------------------------------------------------------#我要写爬虫！#Ver.1.2 #Based on: Python 2.7#Author:高野良#原创内容，转载请注明出处首先！你要对爬虫有个明确的认识，这里引用毛主席的思想：&lt;img src="https://pic4.zhimg.com/50/4098627230457e1171b9ec2051772837_hd.jpg" data-rawwidth="164" data-rawheight="220" class="content_image" width="164"&gt;在战略上藐视：“所有网站皆可爬”：互联网的内容都是人写出来的，而且都是偷懒写出来的（不会第一页是a，下一页是8），所以肯定有规律，这就给人有了爬取的可能，可以说，天下没有不能爬的网站“框架不变”：网站不同，但是原理都类似，大部分爬虫都是从 发送请求——获得页面——解析页面——下载内容——储存内容 这样的流程来进行，只是用的工具不同在战术上重视：持之以恒，戒骄戒躁：对于初学入门，不可轻易自满，以为爬了一点内容就什么都会爬了，爬虫虽然是比较简单的技术，但是往深学也是没有止境的（比如搜索引擎等）！只有不断尝试，刻苦钻研才是王道！（为何有种小学作文即视感）                                ||                                ||                                V然后，你需要一个宏伟的目标，来让你有持续学习的动力（没有实操项目，真的很难有动力）我要爬整个豆瓣！...我要爬整个草榴社区！我要爬知乎各种妹子的联系方式*&^#%^$#&lt;img src="https://pic4.zhimg.com/50/9264555e01047baf9f88b1919d21c5ab_hd.jpg" data-rawwidth="580" data-rawheight="287" class="origin_image zh-lightbox-thumb" width="580" data-original="https://pic4.zhimg.com/9264555e01047baf9f88b1919d21c5ab_r.jpg"&gt;                                ||                                ||                                V接着，你需要扪心自问一下，自己的python基本功吼不吼啊？吼啊！——OK，开始欢快地学习爬虫吧 ！不吼？你还需要学习一个！赶紧回去看廖雪峰老师的教程，2.7的。至少这些功能和语法你要有基本的掌握 ：list，dict：用来序列化你爬的东西切片：用来对爬取的内容进行分割，生成条件判断（if等）：用来解决爬虫过程中哪些要哪些不要的问题循环和迭代（for while ）：用来循环，重复爬虫动作文件读写操作：用来读取参数、保存爬下来的内容等                                ||                                ||                                V然后，你需要补充一下下面几个内容，作为你的知识储备：（注：这里并非要求“掌握”，下面讲的两点，只需要先了解，然后通过具体项目来不断实践，直到熟练掌握）1、网页的基本知识：基本的HTML语言知识（知道href等大学计算机一级内容即可）理解网站的发包和收包的概念（POST GET）稍微一点点的js知识，用于理解动态网页（当然如果本身就懂当然更好啦）2、一些分析语言，为接下来解析网页内容做准备NO.1  正则表达式：扛把子技术，总得会最基础的：&lt;img src="https://pic3.zhimg.com/50/69c995e57e29ab383d0717211e8f1c8e_hd.png" data-rawwidth="799" data-rawheight="1719" class="origin_image zh-lightbox-thumb" width="799" data-original="https://pic3.zhimg.com/69c995e57e29ab383d0717211e8f1c8e_r.png"&gt;NO.2  XPATH：高效的分析语言，表达清晰简单，掌握了以后基本可以不用正则参考：XPath 教程&lt;img src="https://pic3.zhimg.com/50/83020a6e8bfc4d3c38f7c36377da0d46_hd.png" data-rawwidth="612" data-rawheight="255" class="origin_image zh-lightbox-thumb" width="612" data-original="https://pic3.zhimg.com/83020a6e8bfc4d3c38f7c36377da0d46_r.png"&gt;NO.3  Beautifulsoup：美丽汤模块解析网页神器,一款神器，如果不用一些爬虫框架（如后文讲到的scrapy），配合request，urllib等模块（后面会详细讲），可以编写各种小巧精干的爬虫脚本官网文档：Beautiful Soup 4.2.0 文档参考案例：&lt;img src="https://pic4.zhimg.com/50/5d5b7de4dcaf69fa89ab4f5ef8bdbf3f_hd.png" data-rawwidth="734" data-rawheight="267" class="origin_image zh-lightbox-thumb" width="734" data-original="https://pic4.zhimg.com/5d5b7de4dcaf69fa89ab4f5ef8bdbf3f_r.png"&gt;&lt;img src="https://pic3.zhimg.com/50/4a1f7a23745479544a88a42f20748856_hd.png" data-rawwidth="737" data-rawheight="551" class="origin_image zh-lightbox-thumb" width="737" data-original="https://pic3.zhimg.com/4a1f7a23745479544a88a42f20748856_r.png"&gt;                                ||                                ||                                V接着，你需要一些高效的工具来辅助（同样，这里先了解，到具体的项目的时候，再熟悉运用）NO.1   F12 开发者工具：看源代码：快速定位元素分析xpath：1、此处建议谷歌系浏览器,可以在源码界面直接右键看&lt;img src="https://pic3.zhimg.com/50/8be689bc054b6fc2077feca4b99d056e_hd.png" data-rawwidth="861" data-rawheight="449" class="origin_image zh-lightbox-thumb" width="861" data-original="https://pic3.zhimg.com/8be689bc054b6fc2077feca4b99d056e_r.png"&gt;NO.2  抓包工具：推荐httpfox，火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好，可以方便查看网站收包发包的信息&lt;img src="https://pic1.zhimg.com/50/e1c9d44b06a3b9d199c62f0c0e84c3b8_hd.png" data-rawwidth="893" data-rawheight="627" class="origin_image zh-lightbox-thumb" width="893" data-original="https://pic1.zhimg.com/e1c9d44b06a3b9d199c62f0c0e84c3b8_r.png"&gt;NO.3  XPATH CHECKER (火狐插件）：非常不错的xpath测试工具，但是有几个坑，都是个人踩过的，，在此告诫大家：     1、xpath checker生成的是绝对路径，遇到一些动态生成的图标（常见的有列表翻页按钮等），飘忽不定的绝对路径很有可能造成错误，所以这里建议在真正分析的时候，只是作为参考     2、记得把如下图xpath框里的“x:”去掉，貌似这个是早期版本xpath的语法，目前已经和一些模块不兼容（比如scrapy），还是删去避免报错&lt;img src="https://pic1.zhimg.com/50/87c0ab00e3397e0bf8418b0fd693c298_hd.png" data-rawwidth="700" data-rawheight="408" class="origin_image zh-lightbox-thumb" width="700" data-original="https://pic1.zhimg.com/87c0ab00e3397e0bf8418b0fd693c298_r.png"&gt;NO.4  正则表达测试工具：在线正则表达式测试 ，拿来多练练手，也辅助分析！里面有很多现成的正则表达式可以用，也可以进行参考！                                ||                                ||                                Vok！这些你都基本有一些了解了，现在开始进入抓取时间，上各种模块吧！python的火，很大原因就是各种好用的模块，这些模块是居家旅行爬网站常备的——urlliburllib2requests                                ||                                ||                                V不想重复造轮子，有没有现成的框架？华丽丽的scrapy(这块我会重点讲，我的最爱）||||V遇到动态页面怎么办？selenium（会了这个配合scrapy无往不利，是居家旅行爬网站又一神器，下一版更新的时候会着重安利，因为这块貌似目前网上的教程还很少）phantomJS（不显示网页的selenium）||||V遇到反爬虫策略验证码之类咋整？（不想折腾的直接第四个）PILopencvpybrain打码平台||||V然后是数据库，这里我认为开始并不需要非常深入，在需要的时候再学习即可mysqlmongodbsqllite||||V爬来的东西怎么用？numpy 数据分析，类似matlab的模块pandas（基于numpy的数据分析模块，相信我，如果你不是专门搞TB级数据的，这个就够了）||||V进阶技术多线程、分布式———————————— 乱入的分割线 —————————————然后学习编程关键的是学以致用，天天捧一本书看不如直接上手操练，下面我通过实际的例子来讲解爬虫——比如最近，楼主在豆瓣上认识了一个很可爱的妹子，发现她一直会更新签名和日志，所以没事就会去她主页看看，但一直没有互相加好友（作为一只高冷的天蝎，怎么可以轻易加好友嘛！而且加了好友，你更新什么都会收到推送，那多没意思啊！一点神秘感都没有了！），可还是想及时获得妹子的最新动态，怎么办？&lt;img src="https://pic2.zhimg.com/50/dd6fd1c0cb91ebad9bacd7d11a56bd09_hd.jpg" data-rawwidth="400" data-rawheight="400" class="content_image" width="400"&gt;于是我就写了个70几行的python脚本，包含爬虫+邮件模块，跑在家里的一台闲置笔记本上，通过计划任务每准点抓取妹子的签名和最新文章一次，发送到我的邮箱。。嗯，其实是很简单的技术，，代码如下所示：于是我就写了个70几行的python脚本，包含爬虫+邮件模块，跑在家里的一台闲置笔记本上，通过计划任务每准点抓取妹子的签名和最新文章一次，发送到我的邮箱。。嗯，其实是很简单的技术，，代码如下所示：于是我就写了个70几行的python脚本，包含爬虫+邮件模块，跑在家里的一台闲置笔记本上，通过计划任务每准点抓取妹子的签名和最新文章一次，发送到我的邮箱。。嗯，其实是很简单的技术，，代码如下所示：#-*-coding:utf-8-*- #编码声明，不要忘记！
import requests  #这里使用requests，小脚本用它最合适！
from lxml import html    #这里我们用lxml，也就是xpath的方法

#豆瓣模拟登录，最简单的是cookie，会这个方法，80%的登录网站可以搞定
cookie = {} 

raw_cookies = ''#引号里面是你的cookie，用之前讲的抓包工具来获得

for line in raw_cookies.split(';'):
    key,value = line.split("=", 1)
    cookie[key] = value #一些格式化操作，用来装载cookies

#重点来了！用requests，装载cookies，请求网站
page = requests.get('#妹纸的豆瓣主页#',cookies=cookie)

#对获取到的page格式化操作，方便后面用XPath来解析
tree = html.fromstring(page.text)

#XPath解析，获得你要的文字段落！
intro_raw = tree.xpath('//span[@id="intro_display"]/text()')

#简单的转码工作，这步根据需要可以省略
for i in intro_raw:
    intro = i.encode('utf-8')

print intro #妹子的签名就显示在屏幕上啦

#接下来就是装载邮件模块，因为与本问题关联不大就不赘述啦~
怎么样~是不是很简单~V1.2更新日志：
修改了一些细节和内容顺序
编辑于 2016-10-261.5K​85 条评论​分享​收藏​感谢​收起迦伦程序媛，๏̯͡๏ 谢谢，赞赞，举高高543 人赞同了该回答如果学会了python的基本语法，我认为入门爬虫是很容易的。
 我写的第一个爬虫大概只需要10分钟，自学的 scrapyd ,  看官方文档花了20分钟，因为我英文不是很好，很多单词需要搜索一下。

官方文档链接 https://docs.scrapy.org/en/latest/intro/tutorial.html ）

(scrapy 并不是入门必须的，所以你可以看完我的答案再酌情考虑 scrapy ）
 再接触到了 requests , lxml ，配合基本库 urllib, urllib2 就几乎无所不能了。后来有人推荐我用 BeatufulSoup  之类的库，但其实原理都差不多。一、入门爬虫的干货 0. 爬虫的基本思路  a. 通过URL或者文件获取网页， b. 分析要爬取的目标内容所在的位置 c. 用元素选择器快速提取(Raw) 目标内容 d. 处理提取出来的目标内容 （ 通常整理合成一个 Json）  e. 存储处理好的目标内容 （比如放到 MongoDB 之类的数据库，或者写进文件里。） 1. 为什么我入门爬虫那么快，我是不是在装逼？ 答：我自己总结了一下，在接触爬虫之前：        a. 我挺了解HTTP 协议（看了《HTTP权威指南》）， b. 我写过基于Flask框架的后端（大概三年前@萧井陌 在知乎上推荐Flask框架，然后我就自学了，用的是《Flask Web开发：基于Python的Web应用开发实战 》）   c. 我写过前端(HTML+CSS+JS)，了解什么是DOM ，会一点jquery。  d. 正则也是勉强够用的。  e. 本人大学也是计算机专业，学习挺认真的。  f. 所以算是厚积薄发。 2. 那么毫无专业基础，也没有前后端基础的人应该怎么办？ 答：那当然要超过半小时啦。先花点时间去大概了解以下内容：  a. HTTP协议的请求方法，请求头部，请求数据 b. 大概了解一下什么是 cookie  c. 学一点HTML和元素选择器  d. 学会使用Chrome 的 开发者工具
      磨刀不误砍柴工，当然如果有人带着，这些大概1-2小时就能过到能凑合用的程度了。如果没人带，就上网搜索学习一下，也很快的，估摸最多十小时。 ps, 阮一峰老师的技术入门博客写得很不错，除此之外，博客园也有很多好资源。
3. 放一个新鲜出炉的代码，看懂就能入门了：<img src="https://pic3.zhimg.com/50/v2-80ea37925ad2b9938ae0ede4bf068396_hd.png" data-rawwidth="759" data-rawheight="727" class="origin_image zh-lightbox-thumb" width="759" data-original="https://pic3.zhimg.com/v2-80ea37925ad2b9938ae0ede4bf068396_r.png">4. Python 爬虫常用的库是哪些？入门应该掌握哪些库？答：网上有很多相关的资料，但是我个人觉得新入门的人，不需要也不应该一下子接触所有的库。正如幼儿刚开始学说话的时候，不应该同时教普通话粤语闽南语英语。 我个人认为，学会 requests 和 lxml ，就可以入门爬虫了。
      其他的常用库，自己搜，但注意贪多嚼不烂。 （我整理出来的被小马甲人喷了，我很不开心，所以我自己存好删了）二、一点点涉及爬虫进阶的分界线 0. 知乎上很多爬虫代码，一个函数几十行，是很不好的。应该尽量减少重复代码。 1. 重要的事情说三次，函数不是越长越好， 好代码应该简单易懂好维护！函数不是越长越好， 好代码应该简单易懂好维护！ 函数不是越长越好， 好代码应该简单易懂好维护！ (放在进阶是因为能做到这一点的爬虫代码不多，很多都一团乱麻，坑死接盘侠)2. Scrapy + MongoDB + Redis  分布式爬虫系统其实不复杂。a）. Redis 用来存储要爬取的网页队列，也就是任务队列 b）. MongoDB  用来存储爬取的内容结果。c) . Scrapy  里放爬虫crawler , 分别爬取不同的网页内容，
 ps：分布式这个东西，听起来很恐怖，但是拆开了也就这样。所以不用害怕。*************************-----  讲事故的分割线  ----- ************************* 
曾经在某创业公司被赶鸭子上架（我最初是一个后端程序员，现在成分有点复杂，一言难尽），要在一星期内跟一个分布式爬取各大网商（包括淘宝天猫京东等十几家网商，Scrapy + MongoDB + Redis）的数据。当时差点吓坏我了，因为没写过爬虫。  然后leader 给我的线索只有 基本框架是 Scrapy。 
也许是无知者无畏， 也没想到去问谁，就自己看了 Scrapy 的文档，半小时就写出来了。后来就很顺利把分布式爬虫系统搭起来了。

还爬了谷歌、百度、Bing、 Pinterest 、Instagram 等大量和当时公司业务相关的数据。 就这样，我做到了。当然，加了不少班。ps:  用很多的机器，代表需要爬取的爬取的数据量很多，但是和项目的复杂程度不一定相关。所以不要害怕。害怕也没用，需求来了，一边颤抖一边加班也要写完代码的。
作者：丁二七
链接：https://www.zhihu.com/question/33255013/answer/56112253
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一、券商研究报告下载
（收费）
彭博 万得 WIND
汤森路透 Capital IQ
巨灵金融服务平台 同花顺
慧博投研资讯 慧博投研资讯-中国最大最专业的投资研究平台
（免费）渐飞 渐飞研究报告-全国最大的股票研究报告分享平台 研究报告，投资股票，证投资，行业研究，市场分析报告二、其他来源
人大经济论坛 人大经济论坛-国内最大的经济、管理、金融、统计在线教育和咨询网站
人大经济研究所 http://ier.ruc.edu.cn/
百度文库，百度云 豆丁网
新浪爱问 谷歌 （filetype:pdf）
维普，万方等平台 各大咨询公司
www.aol.com里面的搜索引擎功能有google提供，搜索结果与google一样，如果google无法登陆，可以用这个网站代替
全景网：财经资讯 全景网：权威财经资讯网站三、各大咨询公司报告下载页面
德勤中国 | 审计, 企业管理咨询, 财务咨询, 风险管理, 税务服务及行业洞察。
Deloitte | Audit, Consulting, Financial, Risk Management, Tax Services。
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx。
McKinsey Greater China。
IBM  - 全球企业咨询服务部。
http://www.bcg.com.cn/cn/newsand ... s_publications.html。
商业评论网—打造最有影响力的管理者社区。
http://www.ey.com/CN/ZH/home/library。
贝恩观点     贝恩公司。
https://china.mckinseyquarterly.com/home.aspx。
http://www.pwccn.com/home/eng/libraryindex.html。
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx。
http://www.booz.com/global/home/ ... ding-research-on-ma。四、上市公司公告
香港证监会上市公司公告
http://www.hkexnews.hk/listedco/ ... h_active_main_c.asp
美国证监会上市公司公告
http://www.sec.gov/edgar/searchedgar/companysearch.html
中国上市公司公告
http://www.cninfo.com.cn/information/companyinfo/html五、统计局网站信息汇总
国家统计局 http://www.stats.gov.cn/
【北京】北京市统计信息网 http://www.bjstats.gov.cn/
【天津】天津市统计信息网 http://www.stats-tj.gov.cn/
【河北】河北省统计局 http://www.hetj.gov.cn/
【河南】河南省统计局 http://www.ha.stats.gov.cn/
【黑龙江】黑龙江省统计信息网 http://www.hlj.stats.gov.cn/
【吉林】吉林省统计信息网 http://tjj.jl.gov.cn/
【辽宁】辽宁省统计信息网 http://www.ln.stats.gov.cn/
【山东】山东统计信息网 http://www.stats-sd.gov.cn/
【江苏】江苏省统计局http://www.jssb.gov.cn
【江西】江西省统计局 http://www.jxstj.gov.cn/Index.shtml
【安徽】安徽统计信息网 http://www.ahtjj.gov.cn/
【山西】山西统计信息网 http://www.stats-sx.gov.cn/
【陕西】陕西统计信息网 http://www.sn.stats.gov.cn/
【湖北】湖北省统计局 http://www.stats-hb.gov.cn/
【湖南】湖南统计信息网 http://www.rcinfo.gov.cn/tjwh/tjwh/tjwh.files/hntj.gov.htm
【贵州】贵州省统计局 http://www.gz.stats.gov.cn/
【四川】四川统计局 http://www.sc.stats.gov.cn/sctj/
【云南】云南省统计局 http://www.stats.yn.gov.cn
【甘肃】甘肃统计信息网 http://www.gstj.gov.cn/
【青海】青海统计信息网 http://www.qhtjj.gov.cn/
【宁夏】宁夏统计信息网 http://www.nxtj.gov.cn/
【福建】福建省统计局 http://www.stats-fj.gov.cn/
【广东】广东统计信息网 http://www.gdstats.gov.cn
【广西】广西统计信息网 http://www.gxtj.gov.cn/
【浙江】浙江统计局 http://www.zj.stats.gov.cn/
【新疆】新疆统计信息网 http://www.xjtj.gov.cn/
【海南】海南统计局 http://www.hi.stats.gov.cn/
【上海】上海统计局 http://www.stats-sh.gov.cn/
【内蒙古】内蒙古统计局 http://www.nmgtj.gov.cn/
【重庆】重庆统计信息网 http://www.cqtj.gov.cn/六、投行网站
http://macabacus.com/ http://www.wallstreetoasis.com/ http://www.ibankingfaq.com/
IPO http://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php
IPO http://www.aastocks.com/sc/ipo/sponsor.aspx
juling http://terminal.chinaef.com/index.action
MA http://www.mergermarket.com/info/七、其他资源网站
统计学软件网站 http://www.ats.ucla.edu/stat/
下载软件 http://app.hustonline.net/index
注册国家图书馆 http://www.nlc.gov.cn/MIT data base
http://libraries.mit.edu/multi/research-guides.html http://data.un.org/ http://libguides.mit.edu/market http://libguides.mit.edu/corpreports八、数据库整理
1、国研网数据库
http://edu.drcnet.com.cn/DRCNet.Edu.Web/
特点：统计数据库包含宏观数据、金融、教育、行业数据等，但是宏观数据年度跨度不大。适合对个别指标进行跨省、跨时间的统一检索。另外有全文数据库等，包含一些专家学者的文章，可以作为参考。
2、中经网
http://162.105.138.185:90/scorpi ... 1014&amp;height=708
特点：以宏观数据为主，包含国家一级、31个省以及200多个市的数据，与国研网的统计数据库类似，统计项目没有国研网多，但是有些指标年份跨度更大。适合统一检索。
3、资讯行
http://www.bjinfobank.com/IrisBin/Select.dll?Special?db=TJ
特点：非常全的数据库，几乎囊括了所有最新的年鉴。适合寻找数据的来源。缺点在于：没有1995年之前的年鉴，数据不是表格形式，需要自己修改。（可行的方法包括：粘贴到word中，把空白（^w)替换为制表符（^t），或者直接粘贴到excel2007，进行数据分列）。
4、统计局数据库
http://219.235.129.58/indicatorYearQuery.do
特点：最近几年刚出的，还在完善中。可以对统计局出版的年鉴数据进行统一检索。（和1、2很相似）有时候能找到1、2所没有的数据。
5、年鉴
http://www.stats.gov.cn/tjsj/ndsj/
包括历年统计年鉴以及普查数据、专题数据等，适合浏览年鉴。实际上，目前很多最新年鉴，包括《新中国六十年统计资料汇编》、《2010年统计摘要》等都可以在网上下载到excel版本。
6、知网
http://epub.edu.cnki.net/grid2008/index.htm
6.1文献
http://epub.edu.cnki.net/grid2008/index/ZKCALD.htm
非常全的学术文献数据库，包括了期刊、学位论文、学术会议论文等。这个加上维普的话，基本上可以把中国比较好的期刊论文都包括了。
6.2年鉴
中国统计年鉴数据库（挖掘版）
http://tongji.cnki.net/Kns55/Nav ... OEFIV2ZBPT0=&amp;p=
提供对统计年鉴的统一检索，但是效果不理想，比较凌乱。列出了500部左右的年鉴，比较全，但是不一定有最新的。可以先在资讯行搜索数据指标所属的年鉴，再在这里找到年鉴。
7、维普
http://162.105.138.192/index.asp
有些知网上找不到的文章可以在这里找到，文章很全。
8、英文数据库
http://www.lib.pku.edu.cn/portal ... ew_sub_nvgt_db.psml
有BVD统计数据库，包括各国的宏观数据、金融数据、企业数据，有JSTOR,含有重要英文文献，有Elsevier Science--学术期刊数据库（science direct），非常全的英文期刊文献。
另外还有：
http://springer.lib.tsinghua.edu.cn/ http://onlinelibrary.wiley.com/
9、人大经济论坛
http://www.pinggu.org/bbs/
会有一些经济学书籍、年鉴、软件的下载。
10、图书馆主页搜索相关的年鉴，也可以提供年鉴下载，但是好像不提供最新一期的。其实，google和百度也是常用的数据来源。图书馆的数据库都是可以凭借校内的IP直接登录的，如果在校外的话可以使用代理服务器或者VPN。在校外要登录学校的数据库，可以采用如下办法：1，代理，https://its.pku.edu.cn/cysz/proxysz.jsp。2，vpn，https://its.pku.edu.cn/wlfw/vpn-o2-web.jsp。但是两个都不稳定。九、如何寻找国外的数据
1、搜集美国相关的数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》（Economic Report of President），提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年，甚至个别的可追溯到1929年。可能你已经留意到了，好多有关美国的图形，都是采用《总统经济报告》（2005）所附数据生成的。这些数据可以免费下载，网址是www.access.gpo.gov/eop/。
如果需要一应俱全安的数据，一个宝贵的权威来源是，美国商务部统计局出版的《美国统计概要》（Statistical Abstract of the United States），相当一部分数据可以免费下载，网址是www.census.gov/statab/www/。
如果想获得最近数据的详细资料，一个不错的选择是，美国商务经济分析局每月出版的《当代商业纵览》（Survey of Current Business）。网址是，www.bea.doc.gov。
2、如何搜集国外其他经济体的数据
对富裕国家来说，最有用的资料来源于经济合作与发展组织（Organization of Economic Cooperation and Development，简称OECD）。经济合作与发展组织的成员包括：奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来，世界上的富裕国家大都属于该组织，其产出占世界产出的70%左右。OECD的网址是www.oecd.org，提供三种极为有用的数据。
《OECD经济展望》（OECD Economic Outlook），每年出版两次，提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代，而且具有很好的一致性。
《OECD就业展望》（OECD Employment Outlook），每年出版一次，专门提供劳动力市场的数据。 《OECD历史统计》（OECD Historical Statistics），不定期出版，将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区，可以从其它国际组织那里获得相关数据，比如国际货币基金组织（International Monetary Fund，简称IMF），其网址是www.imf.org。IMF提供《国际金融统计年鉴》（International Financial Statistics Yearbook），它主要提供成员国的金融数据，但也包括一些总体数据，比如GDP、失业和通货膨胀等。
至于若干国家长期的统计数据，两个不可多得的数据来源是，Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据，在宾夕法尼亚大学国际比较中心（Center for International Comparisons at the University of Pennsylvania）网站上可以下载，http://pwt.econ.upenn.edu/。Madison数据库提供了自1820年以来56个经济体的数据。
最后，如果还没有找到你要的数据，不妨登陆下面的两个网站，也许是根稻草。哈佛商学院的宏观经济学资源网站www.hbs.edu./units/bgie/internet/，提供了大量连接。由密西西比大学Bill Goffe维护的一个网站http://rfe.wustl.edu，不仅列出了数据来源，而且还列出了有关经济的其他信息来源。十、综合性数据
SEC EDGAR数据库
美国国会两院记录、商务部经济数据、伯克莱圆桌会议、斯坦福法律经济词典
http://town.hall.org/radio/JEC
Web统计资源指南（密执安大学）
Statistical Resources on the Web (University of Michigan)由密执安大学文献中心建立。这是一个内容广泛、编排细致的资源指南。包括以下类目：工商业、生活消费、图表、经济学、财政金融、国际经济、国际贸易、劳动与就业等。 http://www.lib.umich.edu/libhome/Do...nter/stats.html
报价公司
提供有价证券的数据、信息。如有价证券一览表、快报
http://finance.lycos.com/qc/default.aspx
产品价格指数（PPI）详细报告
每月一次的产品价格指数报告和数据。包括最终产品和中间产品到原材料等）。
http://stats.bls.gov/ppihome.htm
房产起价和建筑许可Housing Starts and Building Permits (US Census Bureau)
在这里可以看到美国人口普查局最近发布的经济指标。包括私有房产起价和当月、当年的建筑许可摘要。
http://www.census.gov/pub/indicator/www/housing.html
高校财经数据库
收录 12个在线数据库，超过三百万篇商业报告和文章。
http://www.bjinfobank.com/
国际股票市场数据库
包括国际股票市场的价格图表、交易量、共同基金图、上市公司简介等
http://www.stockmaster.com/
国民收入和产品帐户National Income and Product Accounts (University of Virginia)
这是佛吉尼亚大学社会科学数据中心的杰作。可检索自1959年以来的数据。主要包括：政府收入和支出；收入、就业、工业产品；国民生产和收入；个人收入和消费；数量和价格指数；存款和投资等。
http://www.lib.virginia.edu/socsci/nipa/
华通数据中心
宏观经济信息、行业(产业)发展报告、企业(公司)信息、产品市场分析
http://data.acmr.com.cn/
环境安全数据库
多伦多大学和平与冲突研究项目组维护，涉及发展中国家环境压力与暴力冲突
http://www.library.utoronto.ca/pcs/database/libintro.htm
经济数据（国际）EconData (International)
马里兰大学提供的国际性EconData时间序列数据库。新用户要先看数据库说明。文件是PK压缩格式。
http://www.inform.umd.edu/EdRes/Top.../International/
经济数据（美国马里兰大学）EconData (University of Maryland)
可以下载大量的时间序列数据和查看数据的工具。也可以下载一些指令和工作论文。数据覆盖了全球及美国经济。数据文件用PKZip格式压缩。
http://www.inform.umd.edu:8080/EdRe...a/Econdata.html
经济数据和链接（美国加州大学Fresno分校）Econ Data & Links (CAL State Fresno)
由美国加州大学Fresno分校建立。该站点提供了大量表格和统计数据，以及很多相关站点的链接，内容从收入、财富到贫困问题都有。
http://www.csufresno.edu/Economics/econ_EDL.htm
经济学数据Economics Data
是WebEc的一部分。以良好的编排方式将数据和经济学站点排列出来。可参见经济学与计算网页，上面提供了很多软件链接。
http://www.helsinki.fi/WebEc/webecc8d.html
经济学网络
这是一个内容非常丰富的资源中心，有大量美国和世界经济与金融市场的在线图表、经济指南、每周经济分析与简评，以及指向其它资源的链接。所有文件都是PDF格式。由德国驻纽约Morgan Grenfell的首席经济学家Ed Yardeni博士提供。
http://www.yardeni.com/
联储经济数据Federal Reserve Economic Data (FRED)
是美国联邦储备银行圣路易斯分行提供的一种很出色的服务。再该站点上，除了有经济研究方面的研究论文和工作论文以外，还提供了有价值的关于美国经济各方面的当前和历史数据。
http://www.stls.frb.org/fred/
联合国数据信息（耶鲁大学）Numeric Data for UN Information (Yale University)
上面有各种数值型数据的链接。由耶鲁大学图书馆维护。
http://www.library.yale.edu/un/un2d.htm
联合国统计年鉴Statistics Yearbook (UN)
主要包括统计数据和指标（如月度统计公报）、统计方法、统计源与参考工具等内容。注册后可以在一段时间以内免费使用统计数据和指标，其它资源不需注册。
http://www.un.org/Depts/unsd/mbsreg.htm
贸易和环境数据库
搜集了几百个贸易与环境的案例，按28种不同标准分类
http://www.american.edu/projects/mandala/TED/ted.htm
美国的贫困问题Poverty in the United States
该站点上提供了美国人口普查局前几年的人口系列报告。可以估算在贫困线以下的美国居民、家庭和个人的情况。文件是PDF格式。
http://www.census.gov/hhes/www/poverty.html
美国家庭的货币收入Money Income in the United States
这是美国人口普查局的系列人口报告的调查数据。对美国的家庭和个人 经济状况的估计；包括年龄、种族、性别、地区、教育程度、收入情况、工作状况等变量。文件为PDF格式。
http://www.census.gov/ftp/pub/hhes/www/incom.html
美国经济指标与数据Economic Indicators and Data (via Census Bureau)
美国人口普查局的最新经济指标。包括： 耐用消费品厂商的运输和定货；房屋起价；商品与服务的国际贸易；制造业和商业创新及销售；制造业的出货、技改和订货；月度批发贸易；月度零售贸易及月度时间序列数据。该站点上还有一个观察当前美国经济状况的小册子，每月出版。常设指标有：GNP、进出口、就业及收入、价格等。有图表，可检索。
http://www.census.gov/ftp/pub/indic...ww/indicat.html
美国历史上的人口普查数据
提供了描述1790-1860年间美国经济的数据。由哈佛大学维护
http://fisher.lib.virginia.edu/collections/stats/histcensus/
美国历史上的人口普查数据浏览United States Historical Census Data Browser
该站点提供了描述1790-1860年间美国经济的数据。由哈佛大学维护。
http://icg.harvard.edu/census/
美国明尼阿波利斯联邦储备银行经济研究和数据（联机）Federal Reserve Banks (Online)
美国明尼阿波利斯联邦储备银行经济研究和数据,大量经济数据可供查找。
http://woodrow.mpls.frb.fed.us/
美国统计（美国商业部）STAT USA ( Department of Commerce)
是美国商业部的一个站点。提供美国联邦政府发布的商业、经济、贸易活动的权威信息。站点上包括有尝联机服务的数据库，也有一些免费的数据库，如经济分析局（Bureau of Economic Analysis Economic Information）、美国国家贸易数据银行（the National Trade Data Bank）等提供的其它数据。
http://www.stat-usa.gov/
能源技术数据交换(ETDE)与能源数据库
收集与交换能源研究与技术的信息,能源文献收藏量为世界第一
http://www.etde.org/
日本统计Statistics in Japan
该站点提供了大量的关于日本的数据和指向其它统计站点的链接。由日本信息网络提供。
http://www.jinjapan.org/stat/
世界统计表格
世界统计表格是IMF的年度报告，由世界银行出版，提供了世界各国经济、社会数据指标集。
http://www.worldbank.org/html/extpb...NG/wdt-home.htm http://www.ciesin.org/IC/wbank/wtables.html
个人所得税Statistics of Income: Individual Income Tax Returns
美国国家税收局（Internal Revenue Service）关于个人税收的年度报告。有税收数量和总量，以及各种收入来源。
http://www.irs.ustreas.gov/tax_stats/ind.html
数据中华
商业数据网站,产业研究、竞争情报分析、市场调查、资信调查等
http://www.allchinadata.com/
统计资源指南Statistical Resources Guide
由Mansfield大学图书馆建立。超文本链接指向统计站点，或介绍印刷型资料。以美国为主，兼有国际性内容，内容涉及经济、社会等各方面。是一个非常有用的资源指南。
http://www.clark.net/pub/lschank/web/govstats.html
网上数据（加州大学圣迭戈分校）Data on the Net (UC San Diego )
收集了关于美国经济和其它数据的站点，有注释，可检索。
http://odwin.ucsd.edu/idata/
政府数据（NetEYE Inc）Government Data (NetEYE, Inc)
由商业服务机构streetEYE建立。全面收集了全球的数据资源。包括美国、加拿大、拉丁美洲、欧洲、远东地区以及国际组织等。
http://www.streeteye.com/index/gov.html
中国产业经济信息网
产业经济的相关数据，部分内容可试用
http://www.cinic.org.cn/
中国导航网
中国导航网，专业的行业研究机构，权威的数据资源，覆盖全国的调研机构，真诚的服务。
http://www.chinaguiding.cn
中国经济信息网数据库
中国经济统计、行业、地区经济、企业等数据库
http://www.cei.gov.cn/default.aspx?tab=157
中国自然数据库
中国资源、环境、人口、社会经济等相关数据的集合。
http://www.naturalresources.csdb.cn/index.asp十一、利用搜索引擎
1、http://scholar.google.com/
虽然还是Beta版，但个人已觉得现在已经是很好很强大了，Google学术搜索滤掉了普通搜索结果中大量的垃圾信息，排列出文章的不同版本以及被其它文章的引用次数。略显不足的是，它搜索出来的结果没有按照权威度（譬如影响因子、引用次数）依次排列，在中国搜索出来的，前几页可能大部分为中文的一些期刊的文章。
2、http://www.scirus.com
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一，由Elsevier科学出版社开发，用于搜索期刊和专利，效果很不错！Scirus覆盖的学科 范围包括：农业与生物学，天文学，生物科学，化学与化工，计算机科学，地球与行星科学，经济、金融与管理科学，工程、能源与技术，环境科学，语言学，法 学，生命科学，材料科学，数学，医学，神经系统科学，药理学，物理学，心理学，社会与行为科学，社会学等。
3、http://www.base-search.net/
BASE是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎，提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160 个开放资源（超过200 万个文档）的数据。
4、http://www.vascoda.de/
Vascoda是一个交叉学科门户网站的原型，它注重特定主题的聚合，集成了图书馆的收藏、文献数据库和附加的学术内容。
5、http://www.goole.com/
与google比较了一下发现，能搜索到一些google搜索不到的好东东 。它界面简洁，功能强大，速度快，YAHOO、网易都采用了它的搜索技术。各位可以一试。
6、http://www.a9.com
Google在同一水平的搜索引擎。是http://Amazon.com推出的，Web result部分是基于Google的，所以保证和Google在同一水平，另外增加了Amazon的在书本内搜索的功能和个性化功能：主要是可以记录你的搜索历史。现在还是Beta，不过试用后感觉很好，向大家推荐一试 ，不过缺憾是现在书本内搜索没有中文内容。7、http://www.ixquick.com
严格意义上讲不是搜索引擎，是连接搜索引擎和网络用户的信息立交桥。新一代的搜索引擎应运而生，Ixquick meta－search正是目前最具光芒的新星。但是对于大多数国内用户来说，Ixquick还很陌生。Ixquick众多独特的功能我不一一介绍了，只 介绍我们最关心的，搜索数据库密码。
使用方法：先进入Ixquick，以“Proquest”数据库为例。填入Proquest Username Password History Online后点击search，看看出来的结果，第一页中第6个，proquest的username和password赫然在目，别急，再看第4个结 果“HB Thompson Subscription Online Databases”，即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/，进入 后发现这是一个密码页，选择Magazines & Journals栏，就有 EBSCO、Electric Library Elementary、Electric Library Elementary、ProQuest Platinum (in school)、ProQuest Platinum (remote)等众多数据库的密码，都有uesrname和password，随便试一下EBSCO，OK，成功登陆。
8、http://vivisimo.com/
cmu的作品，对搜索的内容进行分类，这样可以有效地做出选择，比较有特色。可实现分类检索，检索速度也很好，如EBSCO 密码几分钟就可找一大堆 .
http://search.epnet.com/，User ID: mountain，Password: ridge，这个密码可以试试。
9、http://www.findarticles.com/
一个检索免费paper的好工具。 进入网页以后，可以看到他有三个功能，driectory web article ，其中article对我们很有帮助，你可以尝试输入你要找的文章，会有很多发现的！
10、http://www.sciseek.com/Sample
感觉不是很好用，内容也不是太多，主要靠用户添加网址，提供信息的搜索引擎，搜索功能也比较差，输入常见的关键词，往往找不到相匹配的内容。
11、http://www.chmoogle.com
现点击后或跳转到http://www.emolecules.com，在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商，与Chemblink有点相似，但提供的化学品理化信息没有Chemblink详细，与其不同的是该搜索引擎可提供化学品结构式搜索（主页上有在线绘制化学结构式的搜索框）。
12、http://www.ojose.com/
OJOSE (Online JournalSearch Engine，在线期刊搜索引擎)是一个强大的免费科学搜索引擎，通过OJOSE，你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
13、http://citeseer.ist.psu.edu/
一个关于计算机和信息科学的搜索引擎。
14、http://hpsearch.uni-trier.de/
专家个人主页搜索引擎
15、http://cnplinker.cnpeak.com/
为 了给读者用户提供一个方便快捷的查阅国外各类期刊文献的综合网络平台，中图公司组织开发了cnpLINKer（cnpiec LINK service）在线数据库检索系统，并正式开通运行。cnpLINKer即“中图链接服务”，目前主要提供约3600种国外期刊的目次和文摘的查询检 索、电子全文链接及期刊国内馆藏查询功能.并时时与国外出版社保持数据内容的一致性和最新性。点评：只提供了外文检索的功能，但是无法得到全文。个人认为不是很理想。
16、http://guoxue.baidu.com/
百度国学目前能提供上起先秦、下至清末历代文化典籍的检索和阅读。内容涉及经、史、子、集各部。
17、http://infomine.ucr.edu/
NFOMIN是由加州大学、维克森林大学、加州国立大学、底特律大学等大学图书管理员建立的学术搜索引擎。它主要为大学职员、学生和研究人员提供在线学术资源。十二、互联网和传媒
1、资讯类
新浪科技 http://tech.sina.com.cn/
腾讯科技 http://tech.qq.com/
艾瑞网 http://www.iresearch.cn/
艺恩网 http://www.entgroup.cn/
虎嗅网 http://wwww.huxiu.com/
36kr http://36kr.com/
钛媒体 http://www.tmtpost.com/
游戏大观 http://www.gamelook.com.cn/
亿欧网 http://www.iyiou.com/
媒介360 http://www.chinamedia360.com/main
2、数据类
中国票房 http://www.cbooo.cn/
中国互联网络信息中心 http://www.cnnic.net.cn/
艾瑞网 http://www.iresearch.com.cn/report/viewlist.aspx
易观智库 http://www.analysys.cn/
游戏产业网 http://www.cgigc.com.cn/list/79644663134.html
百度指数 http://index.baidu.com/
大数据导航 http://hao.199it.com/
CSM（电视收视率） http://www.csm.com.cn/
微排片 http://www.weipaipian.com十三、医药行业
1、样本医院数据
（1）化药、生物药和中药注射剂 http://pdb.pharmadl.com/
（2）中成药、化药 http://www.menet.com.cn/
（3）国外样本医院数据彭博上有类似PDB的数据库
2、药品中标价格
百度虫，药智网，健康网 （付费），米内网（付费）
3、药品招标政策
各省药品招标平台
4、医疗器械数据
基本没有，米内网有付费数据库（没见过）、海关信息网
5、中药材数据
中药材天地网、万得的EDB、中药材东方网
6、药品审批
药智网、药监局、CDE网站
7、医药行业政策
国家药监局、发改委、中国政府网、卫计委等等
8、国内外行业协会和咨询机构
例IMS Health、XX医药协会
9、新闻网站/微信
赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社十四、策略常用网站
1、国内网站
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
财政部 www.mof.gov.cn/
海关总署 http://www.customs.gov.cn/tabid/400/Default.aspx
中央结算公司 www.chinabond.com.cn/
发改委 www.sdpc.gov.cn/
审计署 www.audit.gov.cn/
2、国外网站
the world bank： http://www.worldbank.org/
united states census：http://www.icpsr.umich.edu/
BEA: http://www.bea.gov/
CBO: http: //http://www.cbo.gov/
world federation of exchanges: http://www.world-exchanges.org/
最常用wind股票数据库十五、银行业
1、新闻资讯
中证网 http://www.cs.com.cn/xwzx/hg/
一财网 http://www.yicai.com/economy/
财新网 http://finance.caixin.com/bank/
华尔街见闻 http://wallstreetcn.com/news?cid=19
新浪财经 http://finance.sina.com.cn/
证券时报网 http://www.stcn.com/
中国金融新闻网 http://www.financialnews.com.cn/yh/xw/
2、公告、数据查找
中国货币网 http://www.chinamoney.com.cn/index.html
巨潮网 http://www.cninfo.com.cn/
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
银监会 http://www.cbrc.gov.cn/index.html
上海证券交易所 www.sse.com.cn/
深圳证券交易所 www.szse.cn/
最常用wind股票数据库十六、有色金属行业
1、日报网站
（1）宏观新闻：央行快讯 http://t.news.fx168.com/bank/
（2）行业新闻：中国金属网 http://www.metalchina.com，上海有色网 http://www.smm.cn/index_2015.html，百川咨询 http://www.baiinfo.com
（3）公司公告：巨潮 http://www.cninfo.com.cn
2、其他常用站
高工锂电 http://www.gg-lb.com/default_index_new.php
真锂研究 http://www.realli.net
深交所互动易（查看投资者互动资料） http://irm.cninfo.com.cn/szse/
中金网（有色金属） http://www.metalsinfo.com/news/
银 https://www.silverinstitute.org/site/publications/
银 http://financial.thomsonreuters. ... /articles/gfms.html
新三板咨讯 http://www.sanban18.com
格隆汇港股 http://www.gelonghui.com/portal.php十七、英语技能建议
1、总结： 听，读/复述，记录三者缺一不可FT商学院 http://www.ftchinese.com/channel/mba.htmlFT双语阅读 http://www.ftchinese.com/channel/english.htmlFT英语速读测试 http://www.ftchinese.com/channel ... utm_medium=referral2、推荐材料和网站最实用的听力网站：http://www.hxen.com/englishlistening/页面上方有这么多的选项，可以根据自己的水平选择不同的听力材料，很多材料都有文本甚至有中文翻译，是非常难得的资料！ 每天花15分钟，选2-3篇新闻练听力，对照文本和翻译，并把实用的内容记录下来，非常有帮助。提示： VOA慢速：速度非常慢，属于难得最低的材料。VOA标准：常速新闻，难度中等。BBC：标准英式发音，难度较大。NPR: 速度较快，难度较高的美国广播新闻。十八、培养market sense的几个必备网站
1、新浪财经国内最全面，最权威的财经网站，设为浏览器主页，http://finance.sina.com.cn/，各个栏目的质量都很高，有很多值得挖掘的内容绝对的国内财经头条，其中右方的专题策划非常值得一看主页下方很多国内权威杂志的链接，可以免费阅读2、21世纪商业评论http://www.21cbr.com/ 最前沿的商业资讯，文章很有深度，可订阅电子邮件3、FT中文网http://www.ftchinese.com/，权威，可同时读中英文文章，可订阅电子邮件4、华尔街中文网http://cn.wsj.com/gb/ 同样权威，可同时读中英文文章，可订阅电子邮件5、推荐网站视频：罗辑思维，赢在中国（经典的创业节目），中国经营者，CCTV-2 经济半小时，一虎一席谈，财富人生。编辑于 2017-02-213.8K​76 条评论​分享​收藏​感谢​收起林骏翔忙于追求更好的人生。205 人赞同了该回答我主要针对题主提的问题回答吧，抛砖引玉。看了其它知友的回答，关于数据网站方面的内容都挺全面的（不过居然看到了VOA英语和逻辑思维等是怎么回事）。一、找到了数据，却无法溯源，而数据不能使用的时候？数据说法不一，而没有一个官方的来源，无法抉择的时候？这两个问题有些类似，都是需要找到一个官方的来源。股票基本面财务数据：当然最正统的来源是上市公司的年报：上交所：上海证券交易所深交所：深圳证券交易所港股：http://www.hkex.com.hk/chi/index_c.htm美股：SEC.gov | Home更方便获取年报的网站应该是巨潮资讯网，当然单间公司也可以到公司的官网去下载。一般上市公司网站都有相关栏目。一般叫“投资者关系”。官方经济数据：统计局：中华人民共和国国家统计局美联储：Board of Governors of the Federal Reserve System石油：OPEC：OPEC : Home（OPEC每月都会发布月度报告，这也是很多新闻的来源）伦敦贵金属交易所：London Metal Exchange: Home（伦敦金等）外汇：国家外汇管理局：http://www.safe.gov.cn/等等。有太多了，由于前面很多答主已经列举了很多来源，所以就不再花时间堆链接了，都大同小异。方法：主要说说一下个人找来源的简单方法，姑且叫它“关键字溯源法”吧。其实就是从财经新闻中寻找那些关键字，然后在搜索引擎上寻找它的网站。除去一些伪相关等无意义的财经新闻外，一些新闻是由专业的财经记者写的，一些是引用一些业内著名人士的分析的，还有一些则是翻译外国的一些文件或新闻。在这些新闻内容中，多多少少会有一些机构组织名称（通常是英文名）是容易被我们忽视的，而这些恰恰是关键信息来源，甚至比你看的新闻更加客观。这是一个很久以前的可能不起眼的新闻，以它为例子：2014年全球十大黄金生产商排名&lt;img src="https://pic1.zhimg.com/50/40ee5f4f61d7fb3580b3e31da11ab34c_hd.png" data-rawwidth="632" data-rawheight="539" class="origin_image zh-lightbox-thumb" width="632" data-original="https://pic1.zhimg.com/40ee5f4f61d7fb3580b3e31da11ab34c_r.png"&gt;文中列出了十大黄金矿商的产量（这里暂且不论新闻的真实性，如果需要验证的话，可以到相应国家的股市上看或在Google上查询一下，再严格点可以深入各个公司的年报细看。），这里提供了大量的信息：1.十大黄金矿商的名称；2.数据来源（左下角GFMS）。搜索一下GFMS（外国网站当然用Google。虽然即使是中文也比百度满屏广告要好。）：&lt;img src="https://pic4.zhimg.com/50/9e7251a05e775aeb2c9b51572203a173_hd.png" data-rawwidth="1175" data-rawheight="523" class="origin_image zh-lightbox-thumb" width="1175" data-original="https://pic4.zhimg.com/9e7251a05e775aeb2c9b51572203a173_r.png"&gt;于是我们得知了它是全球领先的贵金属咨询公司，如果还不放心数据的真实性（毕竟这是二手数据了），我们可以直接搜索公司的名称，年报是最标准不过的了。于是我们得知了它是全球领先的贵金属咨询公司，如果还不放心数据的真实性（毕竟这是二手数据了），我们可以直接搜索公司的名称，年报是最标准不过的了。比如搜索Goldcorp，进入其官网下载年报打开，所有的信息一目了然（外国的年报做得很精美）。&lt;img src="https://pic2.zhimg.com/50/5fb09d120ba69a7b6d0b1c30628ea96d_hd.png" data-rawwidth="557" data-rawheight="618" class="origin_image zh-lightbox-thumb" width="557" data-original="https://pic2.zhimg.com/5fb09d120ba69a7b6d0b1c30628ea96d_r.png"&gt;在这几百页的PDF里，你看到的就不仅是产量这么简单了。包括维持成本（All-in sustaining costs）等等。你也可以对它们进行整合得出数据：&lt;img src="https://pic3.zhimg.com/50/a9a338b886e8ec299485ba3e8fb59a4a_hd.png" data-rawwidth="688" data-rawheight="445" class="origin_image zh-lightbox-thumb" width="688" data-original="https://pic3.zhimg.com/a9a338b886e8ec299485ba3e8fb59a4a_r.png"&gt;如果对大宗商品感兴趣，从这方面入手也是一个切入点，也可以看看外国企业开采黄金的成本等等。可以作出一些调研分析。对于行研有一定的帮助。如果你对看到的新闻追根溯源，能够发现很多对分析有用的东西，比如美国能源署EIA2015展望（现在应该2016了吧。）&lt;img src="https://pic1.zhimg.com/50/6bbc47270b571139b5b1fb93ce08519c_hd.png" data-rawwidth="493" data-rawheight="456" class="origin_image zh-lightbox-thumb" width="493" data-original="https://pic1.zhimg.com/6bbc47270b571139b5b1fb93ce08519c_r.png"&gt;2015世界风险报告&lt;img src="https://pic3.zhimg.com/50/a04336f4c1246e5ccf1af2a9ff0f669a_hd.png" data-rawwidth="593" data-rawheight="504" class="origin_image zh-lightbox-thumb" width="593" data-original="https://pic3.zhimg.com/a04336f4c1246e5ccf1af2a9ff0f669a_r.png"&gt;&lt;img src="https://pic3.zhimg.com/50/dad7bbbb1a7d7fc95f71a550eeb73cda_hd.png" data-rawwidth="784" data-rawheight="501" class="origin_image zh-lightbox-thumb" width="784" data-original="https://pic3.zhimg.com/dad7bbbb1a7d7fc95f71a550eeb73cda_r.png"&gt;等等有意思的文件。还有很多的东西可以去挖掘。二、有些数据就是找不到，不知道如何阐述某个问题的时候？有些数据的确是找不到的，这时候就需要自己预测了。最常用的方法就是利用计量经济学的方法建立经济模型，根据已知的因素进行线性回归分析，进一步去预测某些数据。之前见过一个人，在投行工作期间研究高速公路上市公司，需要未来几年计划铺设的公里数，有些政府网站会提供相关数据，但是有些政府网站并没有提供，网上也没有任何相关数据。最终他根据几个已知的数据，比如历史铺设的公里数、GDP增长率等等自己建立了一个经济模型进行预测，结果据说还挺准确的。比较常用的统计软件就是SPSS、R这些了吧。涉及到的具体问题比较复杂，也需要根据具体问题来分析。三、有些数据明明就有，却来自于某些咨询公司，标价动不动就是上千刀！现有的数据库往往太贵，一般人承受不起。所以当一些数据可以从网页上获取得到，却没有相应的接口时，就需要用爬虫了。1.Excel（相信很多人都会，不了解的可以看看）Excel可以选择复制粘贴的方式，但效率较低，且无法更新。所以在Excel中调用数据是更为明智的做法。优点：简单快捷，不需要太多的计算机知识；数据能够自动更新。缺点：不使用大规模爬取数据；效率较低。具体做法是：在网上找到想要的表格数据&lt;img src="https://pic4.zhimg.com/50/f0c4b4cca7ad5ffbaa663f4eae9daa57_hd.png" data-rawwidth="690" data-rawheight="417" class="origin_image zh-lightbox-thumb" width="690" data-original="https://pic4.zhimg.com/f0c4b4cca7ad5ffbaa663f4eae9daa57_r.png"&gt;复制网站，打开Excel，选择数据-自网站&lt;img src="https://pic4.zhimg.com/50/bd1d9d556aaccedbd8af65b46ce9b2bb_hd.png" data-rawwidth="500" data-rawheight="343" class="origin_image zh-lightbox-thumb" width="500" data-original="https://pic4.zhimg.com/bd1d9d556aaccedbd8af65b46ce9b2bb_r.png"&gt;在弹出框的地址栏中输入网址，进去后，在需要的表格左上方会有黄色的框黑色的箭头，点击便是选中表格。&lt;img src="https://pic4.zhimg.com/50/d0cb3de903b1d3d1619396ec6c08d327_hd.png" data-rawwidth="533" data-rawheight="249" class="origin_image zh-lightbox-thumb" width="533" data-original="https://pic4.zhimg.com/d0cb3de903b1d3d1619396ec6c08d327_r.png"&gt;选中后点击导入就可以了。2.爬虫+数据库（构建自己的数据库）上面的Excel算个“小爬虫”了。但真正高效的还是得用程序编写。个人使用的是Python+MongoDB，当然使用其它的组合也可以。优点：可以大规模的获取数据；效率高；可以构建个性化的数据库。缺点：需要学习编程；可能面临反爬虫的问题等。以我前几天做的举个例子，想要求出A股所有上市公司的资本回报率（Return of Invested Capital ,ROIC），无奈它不是一个会计科目，也不是常用的财务指标，没发现有网站提供这个信息（提供了其实也得用爬虫，寻找的时间成本也高），所以需要自己计算。而完整的财务报表也没有免费的API提供，只有一些网页提供了。所以最终我写了爬虫爬了约5000个网站，搜集了约100000条的财务数据把它算出来了。具体做法是：(1)写出爬虫，将信息爬取下来。具体对应的库：网页操作：urllib：https://pypi.python.org/pypi/urllib3requests：Requests: HTTP for Humans爬虫及爬虫框架：BeautifulSoup：Beautiful Soup Documentationlxml：The lxml.etree Tutorialscrapy：Scrapy入门教程pyspider：pyspider(2)将数据写入数据库中（调用方便快捷，可重复利用）。数据库：pymongo：PyMongo 3.2.2 Documentationsqlite3：11.13. sqlite3 — DB-API 2.0 interface for SQLite databasesMySQLdb：GitHub - farcepest/MySQLdb1: MySQL database connector for Python (legacy version)(3)从数据库调出并作计算。科学计算：numpy：NumPy — Numpypandas：Python Data Analysis Libraryscipy：SciPy.org — SciPy.org(4)数据可视化。画图：matplotlib：http://www.labri.fr/perso/nrougier/teaching/matplotlib/同时pandas也能够画图（有时二三步也可调换，先计算好后将计算结果写入数据库。）通过该种方法，就可以在各个网站上将需要的数据（可获取的或不可获取的）放进自己的数据库，下次需要调用的时候就可以轻易调用了。对于一次性的数据，甚至不用写入数据库，调用一遍并进行计算就可以得到想要的数据了。对于研究相关领域有很大用处。
作者：丁二七
链接：https://www.zhihu.com/question/33255013/answer/56112253
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一、券商研究报告下载
（收费）
彭博 万得 WIND
汤森路透 Capital IQ
巨灵金融服务平台 同花顺
慧博投研资讯 慧博投研资讯-中国最大最专业的投资研究平台
（免费）渐飞 渐飞研究报告-全国最大的股票研究报告分享平台 研究报告，投资股票，证投资，行业研究，市场分析报告二、其他来源
人大经济论坛 人大经济论坛-国内最大的经济、管理、金融、统计在线教育和咨询网站
人大经济研究所 http://ier.ruc.edu.cn/
百度文库，百度云 豆丁网
新浪爱问 谷歌 （filetype:pdf）
维普，万方等平台 各大咨询公司
www.aol.com里面的搜索引擎功能有google提供，搜索结果与google一样，如果google无法登陆，可以用这个网站代替
全景网：财经资讯 全景网：权威财经资讯网站三、各大咨询公司报告下载页面
德勤中国 | 审计, 企业管理咨询, 财务咨询, 风险管理, 税务服务及行业洞察。
Deloitte | Audit, Consulting, Financial, Risk Management, Tax Services。
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx。
McKinsey Greater China。
IBM  - 全球企业咨询服务部。
http://www.bcg.com.cn/cn/newsand ... s_publications.html。
商业评论网—打造最有影响力的管理者社区。
http://www.ey.com/CN/ZH/home/library。
贝恩观点     贝恩公司。
https://china.mckinseyquarterly.com/home.aspx。
http://www.pwccn.com/home/eng/libraryindex.html。
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx。
http://www.booz.com/global/home/ ... ding-research-on-ma。四、上市公司公告
香港证监会上市公司公告
http://www.hkexnews.hk/listedco/ ... h_active_main_c.asp
美国证监会上市公司公告
http://www.sec.gov/edgar/searchedgar/companysearch.html
中国上市公司公告
http://www.cninfo.com.cn/information/companyinfo/html五、统计局网站信息汇总
国家统计局 http://www.stats.gov.cn/
【北京】北京市统计信息网 http://www.bjstats.gov.cn/
【天津】天津市统计信息网 http://www.stats-tj.gov.cn/
【河北】河北省统计局 http://www.hetj.gov.cn/
【河南】河南省统计局 http://www.ha.stats.gov.cn/
【黑龙江】黑龙江省统计信息网 http://www.hlj.stats.gov.cn/
【吉林】吉林省统计信息网 http://tjj.jl.gov.cn/
【辽宁】辽宁省统计信息网 http://www.ln.stats.gov.cn/
【山东】山东统计信息网 http://www.stats-sd.gov.cn/
【江苏】江苏省统计局http://www.jssb.gov.cn
【江西】江西省统计局 http://www.jxstj.gov.cn/Index.shtml
【安徽】安徽统计信息网 http://www.ahtjj.gov.cn/
【山西】山西统计信息网 http://www.stats-sx.gov.cn/
【陕西】陕西统计信息网 http://www.sn.stats.gov.cn/
【湖北】湖北省统计局 http://www.stats-hb.gov.cn/
【湖南】湖南统计信息网 http://www.rcinfo.gov.cn/tjwh/tjwh/tjwh.files/hntj.gov.htm
【贵州】贵州省统计局 http://www.gz.stats.gov.cn/
【四川】四川统计局 http://www.sc.stats.gov.cn/sctj/
【云南】云南省统计局 http://www.stats.yn.gov.cn
【甘肃】甘肃统计信息网 http://www.gstj.gov.cn/
【青海】青海统计信息网 http://www.qhtjj.gov.cn/
【宁夏】宁夏统计信息网 http://www.nxtj.gov.cn/
【福建】福建省统计局 http://www.stats-fj.gov.cn/
【广东】广东统计信息网 http://www.gdstats.gov.cn
【广西】广西统计信息网 http://www.gxtj.gov.cn/
【浙江】浙江统计局 http://www.zj.stats.gov.cn/
【新疆】新疆统计信息网 http://www.xjtj.gov.cn/
【海南】海南统计局 http://www.hi.stats.gov.cn/
【上海】上海统计局 http://www.stats-sh.gov.cn/
【内蒙古】内蒙古统计局 http://www.nmgtj.gov.cn/
【重庆】重庆统计信息网 http://www.cqtj.gov.cn/六、投行网站
http://macabacus.com/ http://www.wallstreetoasis.com/ http://www.ibankingfaq.com/
IPO http://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php
IPO http://www.aastocks.com/sc/ipo/sponsor.aspx
juling http://terminal.chinaef.com/index.action
MA http://www.mergermarket.com/info/七、其他资源网站
统计学软件网站 http://www.ats.ucla.edu/stat/
下载软件 http://app.hustonline.net/index
注册国家图书馆 http://www.nlc.gov.cn/MIT data base
http://libraries.mit.edu/multi/research-guides.html http://data.un.org/ http://libguides.mit.edu/market http://libguides.mit.edu/corpreports八、数据库整理
1、国研网数据库
http://edu.drcnet.com.cn/DRCNet.Edu.Web/
特点：统计数据库包含宏观数据、金融、教育、行业数据等，但是宏观数据年度跨度不大。适合对个别指标进行跨省、跨时间的统一检索。另外有全文数据库等，包含一些专家学者的文章，可以作为参考。
2、中经网
http://162.105.138.185:90/scorpi ... 1014&amp;height=708
特点：以宏观数据为主，包含国家一级、31个省以及200多个市的数据，与国研网的统计数据库类似，统计项目没有国研网多，但是有些指标年份跨度更大。适合统一检索。
3、资讯行
http://www.bjinfobank.com/IrisBin/Select.dll?Special?db=TJ
特点：非常全的数据库，几乎囊括了所有最新的年鉴。适合寻找数据的来源。缺点在于：没有1995年之前的年鉴，数据不是表格形式，需要自己修改。（可行的方法包括：粘贴到word中，把空白（^w)替换为制表符（^t），或者直接粘贴到excel2007，进行数据分列）。
4、统计局数据库
http://219.235.129.58/indicatorYearQuery.do
特点：最近几年刚出的，还在完善中。可以对统计局出版的年鉴数据进行统一检索。（和1、2很相似）有时候能找到1、2所没有的数据。
5、年鉴
http://www.stats.gov.cn/tjsj/ndsj/
包括历年统计年鉴以及普查数据、专题数据等，适合浏览年鉴。实际上，目前很多最新年鉴，包括《新中国六十年统计资料汇编》、《2010年统计摘要》等都可以在网上下载到excel版本。
6、知网
http://epub.edu.cnki.net/grid2008/index.htm
6.1文献
http://epub.edu.cnki.net/grid2008/index/ZKCALD.htm
非常全的学术文献数据库，包括了期刊、学位论文、学术会议论文等。这个加上维普的话，基本上可以把中国比较好的期刊论文都包括了。
6.2年鉴
中国统计年鉴数据库（挖掘版）
http://tongji.cnki.net/Kns55/Nav ... OEFIV2ZBPT0=&amp;p=
提供对统计年鉴的统一检索，但是效果不理想，比较凌乱。列出了500部左右的年鉴，比较全，但是不一定有最新的。可以先在资讯行搜索数据指标所属的年鉴，再在这里找到年鉴。
7、维普
http://162.105.138.192/index.asp
有些知网上找不到的文章可以在这里找到，文章很全。
8、英文数据库
http://www.lib.pku.edu.cn/portal ... ew_sub_nvgt_db.psml
有BVD统计数据库，包括各国的宏观数据、金融数据、企业数据，有JSTOR,含有重要英文文献，有Elsevier Science--学术期刊数据库（science direct），非常全的英文期刊文献。
另外还有：
http://springer.lib.tsinghua.edu.cn/ http://onlinelibrary.wiley.com/
9、人大经济论坛
http://www.pinggu.org/bbs/
会有一些经济学书籍、年鉴、软件的下载。
10、图书馆主页搜索相关的年鉴，也可以提供年鉴下载，但是好像不提供最新一期的。其实，google和百度也是常用的数据来源。图书馆的数据库都是可以凭借校内的IP直接登录的，如果在校外的话可以使用代理服务器或者VPN。在校外要登录学校的数据库，可以采用如下办法：1，代理，https://its.pku.edu.cn/cysz/proxysz.jsp。2，vpn，https://its.pku.edu.cn/wlfw/vpn-o2-web.jsp。但是两个都不稳定。九、如何寻找国外的数据
1、搜集美国相关的数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》（Economic Report of President），提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年，甚至个别的可追溯到1929年。可能你已经留意到了，好多有关美国的图形，都是采用《总统经济报告》（2005）所附数据生成的。这些数据可以免费下载，网址是www.access.gpo.gov/eop/。
如果需要一应俱全安的数据，一个宝贵的权威来源是，美国商务部统计局出版的《美国统计概要》（Statistical Abstract of the United States），相当一部分数据可以免费下载，网址是www.census.gov/statab/www/。
如果想获得最近数据的详细资料，一个不错的选择是，美国商务经济分析局每月出版的《当代商业纵览》（Survey of Current Business）。网址是，www.bea.doc.gov。
2、如何搜集国外其他经济体的数据
对富裕国家来说，最有用的资料来源于经济合作与发展组织（Organization of Economic Cooperation and Development，简称OECD）。经济合作与发展组织的成员包括：奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来，世界上的富裕国家大都属于该组织，其产出占世界产出的70%左右。OECD的网址是www.oecd.org，提供三种极为有用的数据。
《OECD经济展望》（OECD Economic Outlook），每年出版两次，提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代，而且具有很好的一致性。
《OECD就业展望》（OECD Employment Outlook），每年出版一次，专门提供劳动力市场的数据。 《OECD历史统计》（OECD Historical Statistics），不定期出版，将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区，可以从其它国际组织那里获得相关数据，比如国际货币基金组织（International Monetary Fund，简称IMF），其网址是www.imf.org。IMF提供《国际金融统计年鉴》（International Financial Statistics Yearbook），它主要提供成员国的金融数据，但也包括一些总体数据，比如GDP、失业和通货膨胀等。
至于若干国家长期的统计数据，两个不可多得的数据来源是，Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据，在宾夕法尼亚大学国际比较中心（Center for International Comparisons at the University of Pennsylvania）网站上可以下载，http://pwt.econ.upenn.edu/。Madison数据库提供了自1820年以来56个经济体的数据。
最后，如果还没有找到你要的数据，不妨登陆下面的两个网站，也许是根稻草。哈佛商学院的宏观经济学资源网站www.hbs.edu./units/bgie/internet/，提供了大量连接。由密西西比大学Bill Goffe维护的一个网站http://rfe.wustl.edu，不仅列出了数据来源，而且还列出了有关经济的其他信息来源。十、综合性数据
SEC EDGAR数据库
美国国会两院记录、商务部经济数据、伯克莱圆桌会议、斯坦福法律经济词典
http://town.hall.org/radio/JEC
Web统计资源指南（密执安大学）
Statistical Resources on the Web (University of Michigan)由密执安大学文献中心建立。这是一个内容广泛、编排细致的资源指南。包括以下类目：工商业、生活消费、图表、经济学、财政金融、国际经济、国际贸易、劳动与就业等。 http://www.lib.umich.edu/libhome/Do...nter/stats.html
报价公司
提供有价证券的数据、信息。如有价证券一览表、快报
http://finance.lycos.com/qc/default.aspx
产品价格指数（PPI）详细报告
每月一次的产品价格指数报告和数据。包括最终产品和中间产品到原材料等）。
http://stats.bls.gov/ppihome.htm
房产起价和建筑许可Housing Starts and Building Permits (US Census Bureau)
在这里可以看到美国人口普查局最近发布的经济指标。包括私有房产起价和当月、当年的建筑许可摘要。
http://www.census.gov/pub/indicator/www/housing.html
高校财经数据库
收录 12个在线数据库，超过三百万篇商业报告和文章。
http://www.bjinfobank.com/
国际股票市场数据库
包括国际股票市场的价格图表、交易量、共同基金图、上市公司简介等
http://www.stockmaster.com/
国民收入和产品帐户National Income and Product Accounts (University of Virginia)
这是佛吉尼亚大学社会科学数据中心的杰作。可检索自1959年以来的数据。主要包括：政府收入和支出；收入、就业、工业产品；国民生产和收入；个人收入和消费；数量和价格指数；存款和投资等。
http://www.lib.virginia.edu/socsci/nipa/
华通数据中心
宏观经济信息、行业(产业)发展报告、企业(公司)信息、产品市场分析
http://data.acmr.com.cn/
环境安全数据库
多伦多大学和平与冲突研究项目组维护，涉及发展中国家环境压力与暴力冲突
http://www.library.utoronto.ca/pcs/database/libintro.htm
经济数据（国际）EconData (International)
马里兰大学提供的国际性EconData时间序列数据库。新用户要先看数据库说明。文件是PK压缩格式。
http://www.inform.umd.edu/EdRes/Top.../International/
经济数据（美国马里兰大学）EconData (University of Maryland)
可以下载大量的时间序列数据和查看数据的工具。也可以下载一些指令和工作论文。数据覆盖了全球及美国经济。数据文件用PKZip格式压缩。
http://www.inform.umd.edu:8080/EdRe...a/Econdata.html
经济数据和链接（美国加州大学Fresno分校）Econ Data & Links (CAL State Fresno)
由美国加州大学Fresno分校建立。该站点提供了大量表格和统计数据，以及很多相关站点的链接，内容从收入、财富到贫困问题都有。
http://www.csufresno.edu/Economics/econ_EDL.htm
经济学数据Economics Data
是WebEc的一部分。以良好的编排方式将数据和经济学站点排列出来。可参见经济学与计算网页，上面提供了很多软件链接。
http://www.helsinki.fi/WebEc/webecc8d.html
经济学网络
这是一个内容非常丰富的资源中心，有大量美国和世界经济与金融市场的在线图表、经济指南、每周经济分析与简评，以及指向其它资源的链接。所有文件都是PDF格式。由德国驻纽约Morgan Grenfell的首席经济学家Ed Yardeni博士提供。
http://www.yardeni.com/
联储经济数据Federal Reserve Economic Data (FRED)
是美国联邦储备银行圣路易斯分行提供的一种很出色的服务。再该站点上，除了有经济研究方面的研究论文和工作论文以外，还提供了有价值的关于美国经济各方面的当前和历史数据。
http://www.stls.frb.org/fred/
联合国数据信息（耶鲁大学）Numeric Data for UN Information (Yale University)
上面有各种数值型数据的链接。由耶鲁大学图书馆维护。
http://www.library.yale.edu/un/un2d.htm
联合国统计年鉴Statistics Yearbook (UN)
主要包括统计数据和指标（如月度统计公报）、统计方法、统计源与参考工具等内容。注册后可以在一段时间以内免费使用统计数据和指标，其它资源不需注册。
http://www.un.org/Depts/unsd/mbsreg.htm
贸易和环境数据库
搜集了几百个贸易与环境的案例，按28种不同标准分类
http://www.american.edu/projects/mandala/TED/ted.htm
美国的贫困问题Poverty in the United States
该站点上提供了美国人口普查局前几年的人口系列报告。可以估算在贫困线以下的美国居民、家庭和个人的情况。文件是PDF格式。
http://www.census.gov/hhes/www/poverty.html
美国家庭的货币收入Money Income in the United States
这是美国人口普查局的系列人口报告的调查数据。对美国的家庭和个人 经济状况的估计；包括年龄、种族、性别、地区、教育程度、收入情况、工作状况等变量。文件为PDF格式。
http://www.census.gov/ftp/pub/hhes/www/incom.html
美国经济指标与数据Economic Indicators and Data (via Census Bureau)
美国人口普查局的最新经济指标。包括： 耐用消费品厂商的运输和定货；房屋起价；商品与服务的国际贸易；制造业和商业创新及销售；制造业的出货、技改和订货；月度批发贸易；月度零售贸易及月度时间序列数据。该站点上还有一个观察当前美国经济状况的小册子，每月出版。常设指标有：GNP、进出口、就业及收入、价格等。有图表，可检索。
http://www.census.gov/ftp/pub/indic...ww/indicat.html
美国历史上的人口普查数据
提供了描述1790-1860年间美国经济的数据。由哈佛大学维护
http://fisher.lib.virginia.edu/collections/stats/histcensus/
美国历史上的人口普查数据浏览United States Historical Census Data Browser
该站点提供了描述1790-1860年间美国经济的数据。由哈佛大学维护。
http://icg.harvard.edu/census/
美国明尼阿波利斯联邦储备银行经济研究和数据（联机）Federal Reserve Banks (Online)
美国明尼阿波利斯联邦储备银行经济研究和数据,大量经济数据可供查找。
http://woodrow.mpls.frb.fed.us/
美国统计（美国商业部）STAT USA ( Department of Commerce)
是美国商业部的一个站点。提供美国联邦政府发布的商业、经济、贸易活动的权威信息。站点上包括有尝联机服务的数据库，也有一些免费的数据库，如经济分析局（Bureau of Economic Analysis Economic Information）、美国国家贸易数据银行（the National Trade Data Bank）等提供的其它数据。
http://www.stat-usa.gov/
能源技术数据交换(ETDE)与能源数据库
收集与交换能源研究与技术的信息,能源文献收藏量为世界第一
http://www.etde.org/
日本统计Statistics in Japan
该站点提供了大量的关于日本的数据和指向其它统计站点的链接。由日本信息网络提供。
http://www.jinjapan.org/stat/
世界统计表格
世界统计表格是IMF的年度报告，由世界银行出版，提供了世界各国经济、社会数据指标集。
http://www.worldbank.org/html/extpb...NG/wdt-home.htm http://www.ciesin.org/IC/wbank/wtables.html
个人所得税Statistics of Income: Individual Income Tax Returns
美国国家税收局（Internal Revenue Service）关于个人税收的年度报告。有税收数量和总量，以及各种收入来源。
http://www.irs.ustreas.gov/tax_stats/ind.html
数据中华
商业数据网站,产业研究、竞争情报分析、市场调查、资信调查等
http://www.allchinadata.com/
统计资源指南Statistical Resources Guide
由Mansfield大学图书馆建立。超文本链接指向统计站点，或介绍印刷型资料。以美国为主，兼有国际性内容，内容涉及经济、社会等各方面。是一个非常有用的资源指南。
http://www.clark.net/pub/lschank/web/govstats.html
网上数据（加州大学圣迭戈分校）Data on the Net (UC San Diego )
收集了关于美国经济和其它数据的站点，有注释，可检索。
http://odwin.ucsd.edu/idata/
政府数据（NetEYE Inc）Government Data (NetEYE, Inc)
由商业服务机构streetEYE建立。全面收集了全球的数据资源。包括美国、加拿大、拉丁美洲、欧洲、远东地区以及国际组织等。
http://www.streeteye.com/index/gov.html
中国产业经济信息网
产业经济的相关数据，部分内容可试用
http://www.cinic.org.cn/
中国导航网
中国导航网，专业的行业研究机构，权威的数据资源，覆盖全国的调研机构，真诚的服务。
http://www.chinaguiding.cn
中国经济信息网数据库
中国经济统计、行业、地区经济、企业等数据库
http://www.cei.gov.cn/default.aspx?tab=157
中国自然数据库
中国资源、环境、人口、社会经济等相关数据的集合。
http://www.naturalresources.csdb.cn/index.asp十一、利用搜索引擎
1、http://scholar.google.com/
虽然还是Beta版，但个人已觉得现在已经是很好很强大了，Google学术搜索滤掉了普通搜索结果中大量的垃圾信息，排列出文章的不同版本以及被其它文章的引用次数。略显不足的是，它搜索出来的结果没有按照权威度（譬如影响因子、引用次数）依次排列，在中国搜索出来的，前几页可能大部分为中文的一些期刊的文章。
2、http://www.scirus.com
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一，由Elsevier科学出版社开发，用于搜索期刊和专利，效果很不错！Scirus覆盖的学科 范围包括：农业与生物学，天文学，生物科学，化学与化工，计算机科学，地球与行星科学，经济、金融与管理科学，工程、能源与技术，环境科学，语言学，法 学，生命科学，材料科学，数学，医学，神经系统科学，药理学，物理学，心理学，社会与行为科学，社会学等。
3、http://www.base-search.net/
BASE是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎，提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160 个开放资源（超过200 万个文档）的数据。
4、http://www.vascoda.de/
Vascoda是一个交叉学科门户网站的原型，它注重特定主题的聚合，集成了图书馆的收藏、文献数据库和附加的学术内容。
5、http://www.goole.com/
与google比较了一下发现，能搜索到一些google搜索不到的好东东 。它界面简洁，功能强大，速度快，YAHOO、网易都采用了它的搜索技术。各位可以一试。
6、http://www.a9.com
Google在同一水平的搜索引擎。是http://Amazon.com推出的，Web result部分是基于Google的，所以保证和Google在同一水平，另外增加了Amazon的在书本内搜索的功能和个性化功能：主要是可以记录你的搜索历史。现在还是Beta，不过试用后感觉很好，向大家推荐一试 ，不过缺憾是现在书本内搜索没有中文内容。7、http://www.ixquick.com
严格意义上讲不是搜索引擎，是连接搜索引擎和网络用户的信息立交桥。新一代的搜索引擎应运而生，Ixquick meta－search正是目前最具光芒的新星。但是对于大多数国内用户来说，Ixquick还很陌生。Ixquick众多独特的功能我不一一介绍了，只 介绍我们最关心的，搜索数据库密码。
使用方法：先进入Ixquick，以“Proquest”数据库为例。填入Proquest Username Password History Online后点击search，看看出来的结果，第一页中第6个，proquest的username和password赫然在目，别急，再看第4个结 果“HB Thompson Subscription Online Databases”，即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/，进入 后发现这是一个密码页，选择Magazines & Journals栏，就有 EBSCO、Electric Library Elementary、Electric Library Elementary、ProQuest Platinum (in school)、ProQuest Platinum (remote)等众多数据库的密码，都有uesrname和password，随便试一下EBSCO，OK，成功登陆。
8、http://vivisimo.com/
cmu的作品，对搜索的内容进行分类，这样可以有效地做出选择，比较有特色。可实现分类检索，检索速度也很好，如EBSCO 密码几分钟就可找一大堆 .
http://search.epnet.com/，User ID: mountain，Password: ridge，这个密码可以试试。
9、http://www.findarticles.com/
一个检索免费paper的好工具。 进入网页以后，可以看到他有三个功能，driectory web article ，其中article对我们很有帮助，你可以尝试输入你要找的文章，会有很多发现的！
10、http://www.sciseek.com/Sample
感觉不是很好用，内容也不是太多，主要靠用户添加网址，提供信息的搜索引擎，搜索功能也比较差，输入常见的关键词，往往找不到相匹配的内容。
11、http://www.chmoogle.com
现点击后或跳转到http://www.emolecules.com，在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商，与Chemblink有点相似，但提供的化学品理化信息没有Chemblink详细，与其不同的是该搜索引擎可提供化学品结构式搜索（主页上有在线绘制化学结构式的搜索框）。
12、http://www.ojose.com/
OJOSE (Online JournalSearch Engine，在线期刊搜索引擎)是一个强大的免费科学搜索引擎，通过OJOSE，你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
13、http://citeseer.ist.psu.edu/
一个关于计算机和信息科学的搜索引擎。
14、http://hpsearch.uni-trier.de/
专家个人主页搜索引擎
15、http://cnplinker.cnpeak.com/
为 了给读者用户提供一个方便快捷的查阅国外各类期刊文献的综合网络平台，中图公司组织开发了cnpLINKer（cnpiec LINK service）在线数据库检索系统，并正式开通运行。cnpLINKer即“中图链接服务”，目前主要提供约3600种国外期刊的目次和文摘的查询检 索、电子全文链接及期刊国内馆藏查询功能.并时时与国外出版社保持数据内容的一致性和最新性。点评：只提供了外文检索的功能，但是无法得到全文。个人认为不是很理想。
16、http://guoxue.baidu.com/
百度国学目前能提供上起先秦、下至清末历代文化典籍的检索和阅读。内容涉及经、史、子、集各部。
17、http://infomine.ucr.edu/
NFOMIN是由加州大学、维克森林大学、加州国立大学、底特律大学等大学图书管理员建立的学术搜索引擎。它主要为大学职员、学生和研究人员提供在线学术资源。十二、互联网和传媒
1、资讯类
新浪科技 http://tech.sina.com.cn/
腾讯科技 http://tech.qq.com/
艾瑞网 http://www.iresearch.cn/
艺恩网 http://www.entgroup.cn/
虎嗅网 http://wwww.huxiu.com/
36kr http://36kr.com/
钛媒体 http://www.tmtpost.com/
游戏大观 http://www.gamelook.com.cn/
亿欧网 http://www.iyiou.com/
媒介360 http://www.chinamedia360.com/main
2、数据类
中国票房 http://www.cbooo.cn/
中国互联网络信息中心 http://www.cnnic.net.cn/
艾瑞网 http://www.iresearch.com.cn/report/viewlist.aspx
易观智库 http://www.analysys.cn/
游戏产业网 http://www.cgigc.com.cn/list/79644663134.html
百度指数 http://index.baidu.com/
大数据导航 http://hao.199it.com/
CSM（电视收视率） http://www.csm.com.cn/
微排片 http://www.weipaipian.com十三、医药行业
1、样本医院数据
（1）化药、生物药和中药注射剂 http://pdb.pharmadl.com/
（2）中成药、化药 http://www.menet.com.cn/
（3）国外样本医院数据彭博上有类似PDB的数据库
2、药品中标价格
百度虫，药智网，健康网 （付费），米内网（付费）
3、药品招标政策
各省药品招标平台
4、医疗器械数据
基本没有，米内网有付费数据库（没见过）、海关信息网
5、中药材数据
中药材天地网、万得的EDB、中药材东方网
6、药品审批
药智网、药监局、CDE网站
7、医药行业政策
国家药监局、发改委、中国政府网、卫计委等等
8、国内外行业协会和咨询机构
例IMS Health、XX医药协会
9、新闻网站/微信
赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社十四、策略常用网站
1、国内网站
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
财政部 www.mof.gov.cn/
海关总署 http://www.customs.gov.cn/tabid/400/Default.aspx
中央结算公司 www.chinabond.com.cn/
发改委 www.sdpc.gov.cn/
审计署 www.audit.gov.cn/
2、国外网站
the world bank： http://www.worldbank.org/
united states census：http://www.icpsr.umich.edu/
BEA: http://www.bea.gov/
CBO: http: //http://www.cbo.gov/
world federation of exchanges: http://www.world-exchanges.org/
最常用wind股票数据库十五、银行业
1、新闻资讯
中证网 http://www.cs.com.cn/xwzx/hg/
一财网 http://www.yicai.com/economy/
财新网 http://finance.caixin.com/bank/
华尔街见闻 http://wallstreetcn.com/news?cid=19
新浪财经 http://finance.sina.com.cn/
证券时报网 http://www.stcn.com/
中国金融新闻网 http://www.financialnews.com.cn/yh/xw/
2、公告、数据查找
中国货币网 http://www.chinamoney.com.cn/index.html
巨潮网 http://www.cninfo.com.cn/
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
银监会 http://www.cbrc.gov.cn/index.html
上海证券交易所 www.sse.com.cn/
深圳证券交易所 www.szse.cn/
最常用wind股票数据库十六、有色金属行业
1、日报网站
（1）宏观新闻：央行快讯 http://t.news.fx168.com/bank/
（2）行业新闻：中国金属网 http://www.metalchina.com，上海有色网 http://www.smm.cn/index_2015.html，百川咨询 http://www.baiinfo.com
（3）公司公告：巨潮 http://www.cninfo.com.cn
2、其他常用站
高工锂电 http://www.gg-lb.com/default_index_new.php
真锂研究 http://www.realli.net
深交所互动易（查看投资者互动资料） http://irm.cninfo.com.cn/szse/
中金网（有色金属） http://www.metalsinfo.com/news/
银 https://www.silverinstitute.org/site/publications/
银 http://financial.thomsonreuters. ... /articles/gfms.html
新三板咨讯 http://www.sanban18.com
格隆汇港股 http://www.gelonghui.com/portal.php十七、英语技能建议
1、总结： 听，读/复述，记录三者缺一不可FT商学院 http://www.ftchinese.com/channel/mba.htmlFT双语阅读 http://www.ftchinese.com/channel/english.htmlFT英语速读测试 http://www.ftchinese.com/channel ... utm_medium=referral2、推荐材料和网站最实用的听力网站：http://www.hxen.com/englishlistening/页面上方有这么多的选项，可以根据自己的水平选择不同的听力材料，很多材料都有文本甚至有中文翻译，是非常难得的资料！ 每天花15分钟，选2-3篇新闻练听力，对照文本和翻译，并把实用的内容记录下来，非常有帮助。提示： VOA慢速：速度非常慢，属于难得最低的材料。VOA标准：常速新闻，难度中等。BBC：标准英式发音，难度较大。NPR: 速度较快，难度较高的美国广播新闻。十八、培养market sense的几个必备网站
1、新浪财经国内最全面，最权威的财经网站，设为浏览器主页，http://finance.sina.com.cn/，各个栏目的质量都很高，有很多值得挖掘的内容绝对的国内财经头条，其中右方的专题策划非常值得一看主页下方很多国内权威杂志的链接，可以免费阅读2、21世纪商业评论http://www.21cbr.com/ 最前沿的商业资讯，文章很有深度，可订阅电子邮件3、FT中文网http://www.ftchinese.com/，权威，可同时读中英文文章，可订阅电子邮件4、华尔街中文网http://cn.wsj.com/gb/ 同样权威，可同时读中英文文章，可订阅电子邮件5、推荐网站视频：罗辑思维，赢在中国（经典的创业节目），中国经营者，CCTV-2 经济半小时，一虎一席谈，财富人生。编辑于 2017-02-213.8K​76 条评论​分享​收藏​感谢​收起林骏翔忙于追求更好的人生。205 人赞同了该回答我主要针对题主提的问题回答吧，抛砖引玉。看了其它知友的回答，关于数据网站方面的内容都挺全面的（不过居然看到了VOA英语和逻辑思维等是怎么回事）。一、找到了数据，却无法溯源，而数据不能使用的时候？数据说法不一，而没有一个官方的来源，无法抉择的时候？这两个问题有些类似，都是需要找到一个官方的来源。股票基本面财务数据：当然最正统的来源是上市公司的年报：上交所：上海证券交易所深交所：深圳证券交易所港股：http://www.hkex.com.hk/chi/index_c.htm美股：SEC.gov | Home更方便获取年报的网站应该是巨潮资讯网，当然单间公司也可以到公司的官网去下载。一般上市公司网站都有相关栏目。一般叫“投资者关系”。官方经济数据：统计局：中华人民共和国国家统计局美联储：Board of Governors of the Federal Reserve System石油：OPEC：OPEC : Home（OPEC每月都会发布月度报告，这也是很多新闻的来源）伦敦贵金属交易所：London Metal Exchange: Home（伦敦金等）外汇：国家外汇管理局：http://www.safe.gov.cn/等等。有太多了，由于前面很多答主已经列举了很多来源，所以就不再花时间堆链接了，都大同小异。方法：主要说说一下个人找来源的简单方法，姑且叫它“关键字溯源法”吧。其实就是从财经新闻中寻找那些关键字，然后在搜索引擎上寻找它的网站。除去一些伪相关等无意义的财经新闻外，一些新闻是由专业的财经记者写的，一些是引用一些业内著名人士的分析的，还有一些则是翻译外国的一些文件或新闻。在这些新闻内容中，多多少少会有一些机构组织名称（通常是英文名）是容易被我们忽视的，而这些恰恰是关键信息来源，甚至比你看的新闻更加客观。这是一个很久以前的可能不起眼的新闻，以它为例子：2014年全球十大黄金生产商排名&lt;img src="https://pic1.zhimg.com/50/40ee5f4f61d7fb3580b3e31da11ab34c_hd.png" data-rawwidth="632" data-rawheight="539" class="origin_image zh-lightbox-thumb" width="632" data-original="https://pic1.zhimg.com/40ee5f4f61d7fb3580b3e31da11ab34c_r.png"&gt;文中列出了十大黄金矿商的产量（这里暂且不论新闻的真实性，如果需要验证的话，可以到相应国家的股市上看或在Google上查询一下，再严格点可以深入各个公司的年报细看。），这里提供了大量的信息：1.十大黄金矿商的名称；2.数据来源（左下角GFMS）。搜索一下GFMS（外国网站当然用Google。虽然即使是中文也比百度满屏广告要好。）：&lt;img src="https://pic4.zhimg.com/50/9e7251a05e775aeb2c9b51572203a173_hd.png" data-rawwidth="1175" data-rawheight="523" class="origin_image zh-lightbox-thumb" width="1175" data-original="https://pic4.zhimg.com/9e7251a05e775aeb2c9b51572203a173_r.png"&gt;于是我们得知了它是全球领先的贵金属咨询公司，如果还不放心数据的真实性（毕竟这是二手数据了），我们可以直接搜索公司的名称，年报是最标准不过的了。于是我们得知了它是全球领先的贵金属咨询公司，如果还不放心数据的真实性（毕竟这是二手数据了），我们可以直接搜索公司的名称，年报是最标准不过的了。比如搜索Goldcorp，进入其官网下载年报打开，所有的信息一目了然（外国的年报做得很精美）。&lt;img src="https://pic2.zhimg.com/50/5fb09d120ba69a7b6d0b1c30628ea96d_hd.png" data-rawwidth="557" data-rawheight="618" class="origin_image zh-lightbox-thumb" width="557" data-original="https://pic2.zhimg.com/5fb09d120ba69a7b6d0b1c30628ea96d_r.png"&gt;在这几百页的PDF里，你看到的就不仅是产量这么简单了。包括维持成本（All-in sustaining costs）等等。你也可以对它们进行整合得出数据：&lt;img src="https://pic3.zhimg.com/50/a9a338b886e8ec299485ba3e8fb59a4a_hd.png" data-rawwidth="688" data-rawheight="445" class="origin_image zh-lightbox-thumb" width="688" data-original="https://pic3.zhimg.com/a9a338b886e8ec299485ba3e8fb59a4a_r.png"&gt;如果对大宗商品感兴趣，从这方面入手也是一个切入点，也可以看看外国企业开采黄金的成本等等。可以作出一些调研分析。对于行研有一定的帮助。如果你对看到的新闻追根溯源，能够发现很多对分析有用的东西，比如美国能源署EIA2015展望（现在应该2016了吧。）&lt;img src="https://pic1.zhimg.com/50/6bbc47270b571139b5b1fb93ce08519c_hd.png" data-rawwidth="493" data-rawheight="456" class="origin_image zh-lightbox-thumb" width="493" data-original="https://pic1.zhimg.com/6bbc47270b571139b5b1fb93ce08519c_r.png"&gt;2015世界风险报告&lt;img src="https://pic3.zhimg.com/50/a04336f4c1246e5ccf1af2a9ff0f669a_hd.png" data-rawwidth="593" data-rawheight="504" class="origin_image zh-lightbox-thumb" width="593" data-original="https://pic3.zhimg.com/a04336f4c1246e5ccf1af2a9ff0f669a_r.png"&gt;&lt;img src="https://pic3.zhimg.com/50/dad7bbbb1a7d7fc95f71a550eeb73cda_hd.png" data-rawwidth="784" data-rawheight="501" class="origin_image zh-lightbox-thumb" width="784" data-original="https://pic3.zhimg.com/dad7bbbb1a7d7fc95f71a550eeb73cda_r.png"&gt;等等有意思的文件。还有很多的东西可以去挖掘。二、有些数据就是找不到，不知道如何阐述某个问题的时候？有些数据的确是找不到的，这时候就需要自己预测了。最常用的方法就是利用计量经济学的方法建立经济模型，根据已知的因素进行线性回归分析，进一步去预测某些数据。之前见过一个人，在投行工作期间研究高速公路上市公司，需要未来几年计划铺设的公里数，有些政府网站会提供相关数据，但是有些政府网站并没有提供，网上也没有任何相关数据。最终他根据几个已知的数据，比如历史铺设的公里数、GDP增长率等等自己建立了一个经济模型进行预测，结果据说还挺准确的。比较常用的统计软件就是SPSS、R这些了吧。涉及到的具体问题比较复杂，也需要根据具体问题来分析。三、有些数据明明就有，却来自于某些咨询公司，标价动不动就是上千刀！现有的数据库往往太贵，一般人承受不起。所以当一些数据可以从网页上获取得到，却没有相应的接口时，就需要用爬虫了。1.Excel（相信很多人都会，不了解的可以看看）Excel可以选择复制粘贴的方式，但效率较低，且无法更新。所以在Excel中调用数据是更为明智的做法。优点：简单快捷，不需要太多的计算机知识；数据能够自动更新。缺点：不使用大规模爬取数据；效率较低。具体做法是：在网上找到想要的表格数据&lt;img src="https://pic4.zhimg.com/50/f0c4b4cca7ad5ffbaa663f4eae9daa57_hd.png" data-rawwidth="690" data-rawheight="417" class="origin_image zh-lightbox-thumb" width="690" data-original="https://pic4.zhimg.com/f0c4b4cca7ad5ffbaa663f4eae9daa57_r.png"&gt;复制网站，打开Excel，选择数据-自网站&lt;img src="https://pic4.zhimg.com/50/bd1d9d556aaccedbd8af65b46ce9b2bb_hd.png" data-rawwidth="500" data-rawheight="343" class="origin_image zh-lightbox-thumb" width="500" data-original="https://pic4.zhimg.com/bd1d9d556aaccedbd8af65b46ce9b2bb_r.png"&gt;在弹出框的地址栏中输入网址，进去后，在需要的表格左上方会有黄色的框黑色的箭头，点击便是选中表格。&lt;img src="https://pic4.zhimg.com/50/d0cb3de903b1d3d1619396ec6c08d327_hd.png" data-rawwidth="533" data-rawheight="249" class="origin_image zh-lightbox-thumb" width="533" data-original="https://pic4.zhimg.com/d0cb3de903b1d3d1619396ec6c08d327_r.png"&gt;选中后点击导入就可以了。2.爬虫+数据库（构建自己的数据库）上面的Excel算个“小爬虫”了。但真正高效的还是得用程序编写。个人使用的是Python+MongoDB，当然使用其它的组合也可以。优点：可以大规模的获取数据；效率高；可以构建个性化的数据库。缺点：需要学习编程；可能面临反爬虫的问题等。以我前几天做的举个例子，想要求出A股所有上市公司的资本回报率（Return of Invested Capital ,ROIC），无奈它不是一个会计科目，也不是常用的财务指标，没发现有网站提供这个信息（提供了其实也得用爬虫，寻找的时间成本也高），所以需要自己计算。而完整的财务报表也没有免费的API提供，只有一些网页提供了。所以最终我写了爬虫爬了约5000个网站，搜集了约100000条的财务数据把它算出来了。具体做法是：(1)写出爬虫，将信息爬取下来。具体对应的库：网页操作：urllib：https://pypi.python.org/pypi/urllib3requests：Requests: HTTP for Humans爬虫及爬虫框架：BeautifulSoup：Beautiful Soup Documentationlxml：The lxml.etree Tutorialscrapy：Scrapy入门教程pyspider：pyspider(2)将数据写入数据库中（调用方便快捷，可重复利用）。数据库：pymongo：PyMongo 3.2.2 Documentationsqlite3：11.13. sqlite3 — DB-API 2.0 interface for SQLite databasesMySQLdb：GitHub - farcepest/MySQLdb1: MySQL database connector for Python (legacy version)(3)从数据库调出并作计算。科学计算：numpy：NumPy — Numpypandas：Python Data Analysis Libraryscipy：SciPy.org — SciPy.org(4)数据可视化。画图：matplotlib：http://www.labri.fr/perso/nrougier/teaching/matplotlib/同时pandas也能够画图（有时二三步也可调换，先计算好后将计算结果写入数据库。）通过该种方法，就可以在各个网站上将需要的数据（可获取的或不可获取的）放进自己的数据库，下次需要调用的时候就可以轻易调用了。对于一次性的数据，甚至不用写入数据库，调用一遍并进行计算就可以得到想要的数据了。对于研究相关领域有很大用处。编辑于 2016-05-20205​8 条评论​分享​收藏​感谢​收起
作者：丁二七
链接：https://www.zhihu.com/question/33255013/answer/56112253
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一、券商研究报告下载
（收费）
彭博 万得 WIND
汤森路透 Capital IQ
巨灵金融服务平台 同花顺
慧博投研资讯 慧博投研资讯-中国最大最专业的投资研究平台
（免费）渐飞 渐飞研究报告-全国最大的股票研究报告分享平台 研究报告，投资股票，证投资，行业研究，市场分析报告二、其他来源
人大经济论坛 人大经济论坛-国内最大的经济、管理、金融、统计在线教育和咨询网站
人大经济研究所 http://ier.ruc.edu.cn/
百度文库，百度云 豆丁网
新浪爱问 谷歌 （filetype:pdf）
维普，万方等平台 各大咨询公司
www.aol.com里面的搜索引擎功能有google提供，搜索结果与google一样，如果google无法登陆，可以用这个网站代替
全景网：财经资讯 全景网：权威财经资讯网站三、各大咨询公司报告下载页面
德勤中国 | 审计, 企业管理咨询, 财务咨询, 风险管理, 税务服务及行业洞察。
Deloitte | Audit, Consulting, Financial, Risk Management, Tax Services。
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx。
McKinsey Greater China。
IBM  - 全球企业咨询服务部。
http://www.bcg.com.cn/cn/newsand ... s_publications.html。
商业评论网—打造最有影响力的管理者社区。
http://www.ey.com/CN/ZH/home/library。
贝恩观点     贝恩公司。
https://china.mckinseyquarterly.com/home.aspx。
http://www.pwccn.com/home/eng/libraryindex.html。
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx。
http://www.booz.com/global/home/ ... ding-research-on-ma。四、上市公司公告
香港证监会上市公司公告
http://www.hkexnews.hk/listedco/ ... h_active_main_c.asp
美国证监会上市公司公告
http://www.sec.gov/edgar/searchedgar/companysearch.html
中国上市公司公告
http://www.cninfo.com.cn/information/companyinfo/html五、统计局网站信息汇总
国家统计局 http://www.stats.gov.cn/
【北京】北京市统计信息网 http://www.bjstats.gov.cn/
【天津】天津市统计信息网 http://www.stats-tj.gov.cn/
【河北】河北省统计局 http://www.hetj.gov.cn/
【河南】河南省统计局 http://www.ha.stats.gov.cn/
【黑龙江】黑龙江省统计信息网 http://www.hlj.stats.gov.cn/
【吉林】吉林省统计信息网 http://tjj.jl.gov.cn/
【辽宁】辽宁省统计信息网 http://www.ln.stats.gov.cn/
【山东】山东统计信息网 http://www.stats-sd.gov.cn/
【江苏】江苏省统计局http://www.jssb.gov.cn
【江西】江西省统计局 http://www.jxstj.gov.cn/Index.shtml
【安徽】安徽统计信息网 http://www.ahtjj.gov.cn/
【山西】山西统计信息网 http://www.stats-sx.gov.cn/
【陕西】陕西统计信息网 http://www.sn.stats.gov.cn/
【湖北】湖北省统计局 http://www.stats-hb.gov.cn/
【湖南】湖南统计信息网 http://www.rcinfo.gov.cn/tjwh/tjwh/tjwh.files/hntj.gov.htm
【贵州】贵州省统计局 http://www.gz.stats.gov.cn/
【四川】四川统计局 http://www.sc.stats.gov.cn/sctj/
【云南】云南省统计局 http://www.stats.yn.gov.cn
【甘肃】甘肃统计信息网 http://www.gstj.gov.cn/
【青海】青海统计信息网 http://www.qhtjj.gov.cn/
【宁夏】宁夏统计信息网 http://www.nxtj.gov.cn/
【福建】福建省统计局 http://www.stats-fj.gov.cn/
【广东】广东统计信息网 http://www.gdstats.gov.cn
【广西】广西统计信息网 http://www.gxtj.gov.cn/
【浙江】浙江统计局 http://www.zj.stats.gov.cn/
【新疆】新疆统计信息网 http://www.xjtj.gov.cn/
【海南】海南统计局 http://www.hi.stats.gov.cn/
【上海】上海统计局 http://www.stats-sh.gov.cn/
【内蒙古】内蒙古统计局 http://www.nmgtj.gov.cn/
【重庆】重庆统计信息网 http://www.cqtj.gov.cn/六、投行网站
http://macabacus.com/ http://www.wallstreetoasis.com/ http://www.ibankingfaq.com/
IPO http://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php
IPO http://www.aastocks.com/sc/ipo/sponsor.aspx
juling http://terminal.chinaef.com/index.action
MA http://www.mergermarket.com/info/七、其他资源网站
统计学软件网站 http://www.ats.ucla.edu/stat/
下载软件 http://app.hustonline.net/index
注册国家图书馆 http://www.nlc.gov.cn/MIT data base
http://libraries.mit.edu/multi/research-guides.html http://data.un.org/ http://libguides.mit.edu/market http://libguides.mit.edu/corpreports八、数据库整理
1、国研网数据库
http://edu.drcnet.com.cn/DRCNet.Edu.Web/
特点：统计数据库包含宏观数据、金融、教育、行业数据等，但是宏观数据年度跨度不大。适合对个别指标进行跨省、跨时间的统一检索。另外有全文数据库等，包含一些专家学者的文章，可以作为参考。
2、中经网
http://162.105.138.185:90/scorpi ... 1014&amp;height=708
特点：以宏观数据为主，包含国家一级、31个省以及200多个市的数据，与国研网的统计数据库类似，统计项目没有国研网多，但是有些指标年份跨度更大。适合统一检索。
3、资讯行
http://www.bjinfobank.com/IrisBin/Select.dll?Special?db=TJ
特点：非常全的数据库，几乎囊括了所有最新的年鉴。适合寻找数据的来源。缺点在于：没有1995年之前的年鉴，数据不是表格形式，需要自己修改。（可行的方法包括：粘贴到word中，把空白（^w)替换为制表符（^t），或者直接粘贴到excel2007，进行数据分列）。
4、统计局数据库
http://219.235.129.58/indicatorYearQuery.do
特点：最近几年刚出的，还在完善中。可以对统计局出版的年鉴数据进行统一检索。（和1、2很相似）有时候能找到1、2所没有的数据。
5、年鉴
http://www.stats.gov.cn/tjsj/ndsj/
包括历年统计年鉴以及普查数据、专题数据等，适合浏览年鉴。实际上，目前很多最新年鉴，包括《新中国六十年统计资料汇编》、《2010年统计摘要》等都可以在网上下载到excel版本。
6、知网
http://epub.edu.cnki.net/grid2008/index.htm
6.1文献
http://epub.edu.cnki.net/grid2008/index/ZKCALD.htm
非常全的学术文献数据库，包括了期刊、学位论文、学术会议论文等。这个加上维普的话，基本上可以把中国比较好的期刊论文都包括了。
6.2年鉴
中国统计年鉴数据库（挖掘版）
http://tongji.cnki.net/Kns55/Nav ... OEFIV2ZBPT0=&amp;p=
提供对统计年鉴的统一检索，但是效果不理想，比较凌乱。列出了500部左右的年鉴，比较全，但是不一定有最新的。可以先在资讯行搜索数据指标所属的年鉴，再在这里找到年鉴。
7、维普
http://162.105.138.192/index.asp
有些知网上找不到的文章可以在这里找到，文章很全。
8、英文数据库
http://www.lib.pku.edu.cn/portal ... ew_sub_nvgt_db.psml
有BVD统计数据库，包括各国的宏观数据、金融数据、企业数据，有JSTOR,含有重要英文文献，有Elsevier Science--学术期刊数据库（science direct），非常全的英文期刊文献。
另外还有：
http://springer.lib.tsinghua.edu.cn/ http://onlinelibrary.wiley.com/
9、人大经济论坛
http://www.pinggu.org/bbs/
会有一些经济学书籍、年鉴、软件的下载。
10、图书馆主页搜索相关的年鉴，也可以提供年鉴下载，但是好像不提供最新一期的。其实，google和百度也是常用的数据来源。图书馆的数据库都是可以凭借校内的IP直接登录的，如果在校外的话可以使用代理服务器或者VPN。在校外要登录学校的数据库，可以采用如下办法：1，代理，https://its.pku.edu.cn/cysz/proxysz.jsp。2，vpn，https://its.pku.edu.cn/wlfw/vpn-o2-web.jsp。但是两个都不稳定。九、如何寻找国外的数据
1、搜集美国相关的数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》（Economic Report of President），提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年，甚至个别的可追溯到1929年。可能你已经留意到了，好多有关美国的图形，都是采用《总统经济报告》（2005）所附数据生成的。这些数据可以免费下载，网址是www.access.gpo.gov/eop/。
如果需要一应俱全安的数据，一个宝贵的权威来源是，美国商务部统计局出版的《美国统计概要》（Statistical Abstract of the United States），相当一部分数据可以免费下载，网址是www.census.gov/statab/www/。
如果想获得最近数据的详细资料，一个不错的选择是，美国商务经济分析局每月出版的《当代商业纵览》（Survey of Current Business）。网址是，www.bea.doc.gov。
2、如何搜集国外其他经济体的数据
对富裕国家来说，最有用的资料来源于经济合作与发展组织（Organization of Economic Cooperation and Development，简称OECD）。经济合作与发展组织的成员包括：奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来，世界上的富裕国家大都属于该组织，其产出占世界产出的70%左右。OECD的网址是www.oecd.org，提供三种极为有用的数据。
《OECD经济展望》（OECD Economic Outlook），每年出版两次，提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代，而且具有很好的一致性。
《OECD就业展望》（OECD Employment Outlook），每年出版一次，专门提供劳动力市场的数据。 《OECD历史统计》（OECD Historical Statistics），不定期出版，将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区，可以从其它国际组织那里获得相关数据，比如国际货币基金组织（International Monetary Fund，简称IMF），其网址是www.imf.org。IMF提供《国际金融统计年鉴》（International Financial Statistics Yearbook），它主要提供成员国的金融数据，但也包括一些总体数据，比如GDP、失业和通货膨胀等。
至于若干国家长期的统计数据，两个不可多得的数据来源是，Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据，在宾夕法尼亚大学国际比较中心（Center for International Comparisons at the University of Pennsylvania）网站上可以下载，http://pwt.econ.upenn.edu/。Madison数据库提供了自1820年以来56个经济体的数据。
最后，如果还没有找到你要的数据，不妨登陆下面的两个网站，也许是根稻草。哈佛商学院的宏观经济学资源网站www.hbs.edu./units/bgie/internet/，提供了大量连接。由密西西比大学Bill Goffe维护的一个网站http://rfe.wustl.edu，不仅列出了数据来源，而且还列出了有关经济的其他信息来源。十、综合性数据
SEC EDGAR数据库
美国国会两院记录、商务部经济数据、伯克莱圆桌会议、斯坦福法律经济词典
http://town.hall.org/radio/JEC
Web统计资源指南（密执安大学）
Statistical Resources on the Web (University of Michigan)由密执安大学文献中心建立。这是一个内容广泛、编排细致的资源指南。包括以下类目：工商业、生活消费、图表、经济学、财政金融、国际经济、国际贸易、劳动与就业等。 http://www.lib.umich.edu/libhome/Do...nter/stats.html
报价公司
提供有价证券的数据、信息。如有价证券一览表、快报
http://finance.lycos.com/qc/default.aspx
产品价格指数（PPI）详细报告
每月一次的产品价格指数报告和数据。包括最终产品和中间产品到原材料等）。
http://stats.bls.gov/ppihome.htm
房产起价和建筑许可Housing Starts and Building Permits (US Census Bureau)
在这里可以看到美国人口普查局最近发布的经济指标。包括私有房产起价和当月、当年的建筑许可摘要。
http://www.census.gov/pub/indicator/www/housing.html
高校财经数据库
收录 12个在线数据库，超过三百万篇商业报告和文章。
http://www.bjinfobank.com/
国际股票市场数据库
包括国际股票市场的价格图表、交易量、共同基金图、上市公司简介等
http://www.stockmaster.com/
国民收入和产品帐户National Income and Product Accounts (University of Virginia)
这是佛吉尼亚大学社会科学数据中心的杰作。可检索自1959年以来的数据。主要包括：政府收入和支出；收入、就业、工业产品；国民生产和收入；个人收入和消费；数量和价格指数；存款和投资等。
http://www.lib.virginia.edu/socsci/nipa/
华通数据中心
宏观经济信息、行业(产业)发展报告、企业(公司)信息、产品市场分析
http://data.acmr.com.cn/
环境安全数据库
多伦多大学和平与冲突研究项目组维护，涉及发展中国家环境压力与暴力冲突
http://www.library.utoronto.ca/pcs/database/libintro.htm
经济数据（国际）EconData (International)
马里兰大学提供的国际性EconData时间序列数据库。新用户要先看数据库说明。文件是PK压缩格式。
http://www.inform.umd.edu/EdRes/Top.../International/
经济数据（美国马里兰大学）EconData (University of Maryland)
可以下载大量的时间序列数据和查看数据的工具。也可以下载一些指令和工作论文。数据覆盖了全球及美国经济。数据文件用PKZip格式压缩。
http://www.inform.umd.edu:8080/EdRe...a/Econdata.html
经济数据和链接（美国加州大学Fresno分校）Econ Data & Links (CAL State Fresno)
由美国加州大学Fresno分校建立。该站点提供了大量表格和统计数据，以及很多相关站点的链接，内容从收入、财富到贫困问题都有。
http://www.csufresno.edu/Economics/econ_EDL.htm
经济学数据Economics Data
是WebEc的一部分。以良好的编排方式将数据和经济学站点排列出来。可参见经济学与计算网页，上面提供了很多软件链接。
http://www.helsinki.fi/WebEc/webecc8d.html
经济学网络
这是一个内容非常丰富的资源中心，有大量美国和世界经济与金融市场的在线图表、经济指南、每周经济分析与简评，以及指向其它资源的链接。所有文件都是PDF格式。由德国驻纽约Morgan Grenfell的首席经济学家Ed Yardeni博士提供。
http://www.yardeni.com/
联储经济数据Federal Reserve Economic Data (FRED)
是美国联邦储备银行圣路易斯分行提供的一种很出色的服务。再该站点上，除了有经济研究方面的研究论文和工作论文以外，还提供了有价值的关于美国经济各方面的当前和历史数据。
http://www.stls.frb.org/fred/
联合国数据信息（耶鲁大学）Numeric Data for UN Information (Yale University)
上面有各种数值型数据的链接。由耶鲁大学图书馆维护。
http://www.library.yale.edu/un/un2d.htm
联合国统计年鉴Statistics Yearbook (UN)
主要包括统计数据和指标（如月度统计公报）、统计方法、统计源与参考工具等内容。注册后可以在一段时间以内免费使用统计数据和指标，其它资源不需注册。
http://www.un.org/Depts/unsd/mbsreg.htm
贸易和环境数据库
搜集了几百个贸易与环境的案例，按28种不同标准分类
http://www.american.edu/projects/mandala/TED/ted.htm
美国的贫困问题Poverty in the United States
该站点上提供了美国人口普查局前几年的人口系列报告。可以估算在贫困线以下的美国居民、家庭和个人的情况。文件是PDF格式。
http://www.census.gov/hhes/www/poverty.html
美国家庭的货币收入Money Income in the United States
这是美国人口普查局的系列人口报告的调查数据。对美国的家庭和个人 经济状况的估计；包括年龄、种族、性别、地区、教育程度、收入情况、工作状况等变量。文件为PDF格式。
http://www.census.gov/ftp/pub/hhes/www/incom.html
美国经济指标与数据Economic Indicators and Data (via Census Bureau)
美国人口普查局的最新经济指标。包括： 耐用消费品厂商的运输和定货；房屋起价；商品与服务的国际贸易；制造业和商业创新及销售；制造业的出货、技改和订货；月度批发贸易；月度零售贸易及月度时间序列数据。该站点上还有一个观察当前美国经济状况的小册子，每月出版。常设指标有：GNP、进出口、就业及收入、价格等。有图表，可检索。
http://www.census.gov/ftp/pub/indic...ww/indicat.html
美国历史上的人口普查数据
提供了描述1790-1860年间美国经济的数据。由哈佛大学维护
http://fisher.lib.virginia.edu/collections/stats/histcensus/
美国历史上的人口普查数据浏览United States Historical Census Data Browser
该站点提供了描述1790-1860年间美国经济的数据。由哈佛大学维护。
http://icg.harvard.edu/census/
美国明尼阿波利斯联邦储备银行经济研究和数据（联机）Federal Reserve Banks (Online)
美国明尼阿波利斯联邦储备银行经济研究和数据,大量经济数据可供查找。
http://woodrow.mpls.frb.fed.us/
美国统计（美国商业部）STAT USA ( Department of Commerce)
是美国商业部的一个站点。提供美国联邦政府发布的商业、经济、贸易活动的权威信息。站点上包括有尝联机服务的数据库，也有一些免费的数据库，如经济分析局（Bureau of Economic Analysis Economic Information）、美国国家贸易数据银行（the National Trade Data Bank）等提供的其它数据。
http://www.stat-usa.gov/
能源技术数据交换(ETDE)与能源数据库
收集与交换能源研究与技术的信息,能源文献收藏量为世界第一
http://www.etde.org/
日本统计Statistics in Japan
该站点提供了大量的关于日本的数据和指向其它统计站点的链接。由日本信息网络提供。
http://www.jinjapan.org/stat/
世界统计表格
世界统计表格是IMF的年度报告，由世界银行出版，提供了世界各国经济、社会数据指标集。
http://www.worldbank.org/html/extpb...NG/wdt-home.htm http://www.ciesin.org/IC/wbank/wtables.html
个人所得税Statistics of Income: Individual Income Tax Returns
美国国家税收局（Internal Revenue Service）关于个人税收的年度报告。有税收数量和总量，以及各种收入来源。
http://www.irs.ustreas.gov/tax_stats/ind.html
数据中华
商业数据网站,产业研究、竞争情报分析、市场调查、资信调查等
http://www.allchinadata.com/
统计资源指南Statistical Resources Guide
由Mansfield大学图书馆建立。超文本链接指向统计站点，或介绍印刷型资料。以美国为主，兼有国际性内容，内容涉及经济、社会等各方面。是一个非常有用的资源指南。
http://www.clark.net/pub/lschank/web/govstats.html
网上数据（加州大学圣迭戈分校）Data on the Net (UC San Diego )
收集了关于美国经济和其它数据的站点，有注释，可检索。
http://odwin.ucsd.edu/idata/
政府数据（NetEYE Inc）Government Data (NetEYE, Inc)
由商业服务机构streetEYE建立。全面收集了全球的数据资源。包括美国、加拿大、拉丁美洲、欧洲、远东地区以及国际组织等。
http://www.streeteye.com/index/gov.html
中国产业经济信息网
产业经济的相关数据，部分内容可试用
http://www.cinic.org.cn/
中国导航网
中国导航网，专业的行业研究机构，权威的数据资源，覆盖全国的调研机构，真诚的服务。
http://www.chinaguiding.cn
中国经济信息网数据库
中国经济统计、行业、地区经济、企业等数据库
http://www.cei.gov.cn/default.aspx?tab=157
中国自然数据库
中国资源、环境、人口、社会经济等相关数据的集合。
http://www.naturalresources.csdb.cn/index.asp十一、利用搜索引擎
1、http://scholar.google.com/
虽然还是Beta版，但个人已觉得现在已经是很好很强大了，Google学术搜索滤掉了普通搜索结果中大量的垃圾信息，排列出文章的不同版本以及被其它文章的引用次数。略显不足的是，它搜索出来的结果没有按照权威度（譬如影响因子、引用次数）依次排列，在中国搜索出来的，前几页可能大部分为中文的一些期刊的文章。
2、http://www.scirus.com
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一，由Elsevier科学出版社开发，用于搜索期刊和专利，效果很不错！Scirus覆盖的学科 范围包括：农业与生物学，天文学，生物科学，化学与化工，计算机科学，地球与行星科学，经济、金融与管理科学，工程、能源与技术，环境科学，语言学，法 学，生命科学，材料科学，数学，医学，神经系统科学，药理学，物理学，心理学，社会与行为科学，社会学等。
3、http://www.base-search.net/
BASE是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎，提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160 个开放资源（超过200 万个文档）的数据。
4、http://www.vascoda.de/
Vascoda是一个交叉学科门户网站的原型，它注重特定主题的聚合，集成了图书馆的收藏、文献数据库和附加的学术内容。
5、http://www.goole.com/
与google比较了一下发现，能搜索到一些google搜索不到的好东东 。它界面简洁，功能强大，速度快，YAHOO、网易都采用了它的搜索技术。各位可以一试。
6、http://www.a9.com
Google在同一水平的搜索引擎。是http://Amazon.com推出的，Web result部分是基于Google的，所以保证和Google在同一水平，另外增加了Amazon的在书本内搜索的功能和个性化功能：主要是可以记录你的搜索历史。现在还是Beta，不过试用后感觉很好，向大家推荐一试 ，不过缺憾是现在书本内搜索没有中文内容。7、http://www.ixquick.com
严格意义上讲不是搜索引擎，是连接搜索引擎和网络用户的信息立交桥。新一代的搜索引擎应运而生，Ixquick meta－search正是目前最具光芒的新星。但是对于大多数国内用户来说，Ixquick还很陌生。Ixquick众多独特的功能我不一一介绍了，只 介绍我们最关心的，搜索数据库密码。
使用方法：先进入Ixquick，以“Proquest”数据库为例。填入Proquest Username Password History Online后点击search，看看出来的结果，第一页中第6个，proquest的username和password赫然在目，别急，再看第4个结 果“HB Thompson Subscription Online Databases”，即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/，进入 后发现这是一个密码页，选择Magazines & Journals栏，就有 EBSCO、Electric Library Elementary、Electric Library Elementary、ProQuest Platinum (in school)、ProQuest Platinum (remote)等众多数据库的密码，都有uesrname和password，随便试一下EBSCO，OK，成功登陆。
8、http://vivisimo.com/
cmu的作品，对搜索的内容进行分类，这样可以有效地做出选择，比较有特色。可实现分类检索，检索速度也很好，如EBSCO 密码几分钟就可找一大堆 .
http://search.epnet.com/，User ID: mountain，Password: ridge，这个密码可以试试。
9、http://www.findarticles.com/
一个检索免费paper的好工具。 进入网页以后，可以看到他有三个功能，driectory web article ，其中article对我们很有帮助，你可以尝试输入你要找的文章，会有很多发现的！
10、http://www.sciseek.com/Sample
感觉不是很好用，内容也不是太多，主要靠用户添加网址，提供信息的搜索引擎，搜索功能也比较差，输入常见的关键词，往往找不到相匹配的内容。
11、http://www.chmoogle.com
现点击后或跳转到http://www.emolecules.com，在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商，与Chemblink有点相似，但提供的化学品理化信息没有Chemblink详细，与其不同的是该搜索引擎可提供化学品结构式搜索（主页上有在线绘制化学结构式的搜索框）。
12、http://www.ojose.com/
OJOSE (Online JournalSearch Engine，在线期刊搜索引擎)是一个强大的免费科学搜索引擎，通过OJOSE，你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
13、http://citeseer.ist.psu.edu/
一个关于计算机和信息科学的搜索引擎。
14、http://hpsearch.uni-trier.de/
专家个人主页搜索引擎
15、http://cnplinker.cnpeak.com/
为 了给读者用户提供一个方便快捷的查阅国外各类期刊文献的综合网络平台，中图公司组织开发了cnpLINKer（cnpiec LINK service）在线数据库检索系统，并正式开通运行。cnpLINKer即“中图链接服务”，目前主要提供约3600种国外期刊的目次和文摘的查询检 索、电子全文链接及期刊国内馆藏查询功能.并时时与国外出版社保持数据内容的一致性和最新性。点评：只提供了外文检索的功能，但是无法得到全文。个人认为不是很理想。
16、http://guoxue.baidu.com/
百度国学目前能提供上起先秦、下至清末历代文化典籍的检索和阅读。内容涉及经、史、子、集各部。
17、http://infomine.ucr.edu/
NFOMIN是由加州大学、维克森林大学、加州国立大学、底特律大学等大学图书管理员建立的学术搜索引擎。它主要为大学职员、学生和研究人员提供在线学术资源。十二、互联网和传媒
1、资讯类
新浪科技 http://tech.sina.com.cn/
腾讯科技 http://tech.qq.com/
艾瑞网 http://www.iresearch.cn/
艺恩网 http://www.entgroup.cn/
虎嗅网 http://wwww.huxiu.com/
36kr http://36kr.com/
钛媒体 http://www.tmtpost.com/
游戏大观 http://www.gamelook.com.cn/
亿欧网 http://www.iyiou.com/
媒介360 http://www.chinamedia360.com/main
2、数据类
中国票房 http://www.cbooo.cn/
中国互联网络信息中心 http://www.cnnic.net.cn/
艾瑞网 http://www.iresearch.com.cn/report/viewlist.aspx
易观智库 http://www.analysys.cn/
游戏产业网 http://www.cgigc.com.cn/list/79644663134.html
百度指数 http://index.baidu.com/
大数据导航 http://hao.199it.com/
CSM（电视收视率） http://www.csm.com.cn/
微排片 http://www.weipaipian.com十三、医药行业
1、样本医院数据
（1）化药、生物药和中药注射剂 http://pdb.pharmadl.com/
（2）中成药、化药 http://www.menet.com.cn/
（3）国外样本医院数据彭博上有类似PDB的数据库
2、药品中标价格
百度虫，药智网，健康网 （付费），米内网（付费）
3、药品招标政策
各省药品招标平台
4、医疗器械数据
基本没有，米内网有付费数据库（没见过）、海关信息网
5、中药材数据
中药材天地网、万得的EDB、中药材东方网
6、药品审批
药智网、药监局、CDE网站
7、医药行业政策
国家药监局、发改委、中国政府网、卫计委等等
8、国内外行业协会和咨询机构
例IMS Health、XX医药协会
9、新闻网站/微信
赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社十四、策略常用网站
1、国内网站
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
财政部 www.mof.gov.cn/
海关总署 http://www.customs.gov.cn/tabid/400/Default.aspx
中央结算公司 www.chinabond.com.cn/
发改委 www.sdpc.gov.cn/
审计署 www.audit.gov.cn/
2、国外网站
the world bank： http://www.worldbank.org/
united states census：http://www.icpsr.umich.edu/
BEA: http://www.bea.gov/
CBO: http: //http://www.cbo.gov/
world federation of exchanges: http://www.world-exchanges.org/
最常用wind股票数据库十五、银行业
1、新闻资讯
中证网 http://www.cs.com.cn/xwzx/hg/
一财网 http://www.yicai.com/economy/
财新网 http://finance.caixin.com/bank/
华尔街见闻 http://wallstreetcn.com/news?cid=19
新浪财经 http://finance.sina.com.cn/
证券时报网 http://www.stcn.com/
中国金融新闻网 http://www.financialnews.com.cn/yh/xw/
2、公告、数据查找
中国货币网 http://www.chinamoney.com.cn/index.html
巨潮网 http://www.cninfo.com.cn/
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
银监会 http://www.cbrc.gov.cn/index.html
上海证券交易所 www.sse.com.cn/
深圳证券交易所 www.szse.cn/
最常用wind股票数据库十六、有色金属行业
1、日报网站
（1）宏观新闻：央行快讯 http://t.news.fx168.com/bank/
（2）行业新闻：中国金属网 http://www.metalchina.com，上海有色网 http://www.smm.cn/index_2015.html，百川咨询 http://www.baiinfo.com
（3）公司公告：巨潮 http://www.cninfo.com.cn
2、其他常用站
高工锂电 http://www.gg-lb.com/default_index_new.php
真锂研究 http://www.realli.net
深交所互动易（查看投资者互动资料） http://irm.cninfo.com.cn/szse/
中金网（有色金属） http://www.metalsinfo.com/news/
银 https://www.silverinstitute.org/site/publications/
银 http://financial.thomsonreuters. ... /articles/gfms.html
新三板咨讯 http://www.sanban18.com
格隆汇港股 http://www.gelonghui.com/portal.php十七、英语技能建议
1、总结： 听，读/复述，记录三者缺一不可FT商学院 http://www.ftchinese.com/channel/mba.htmlFT双语阅读 http://www.ftchinese.com/channel/english.htmlFT英语速读测试 http://www.ftchinese.com/channel ... utm_medium=referral2、推荐材料和网站最实用的听力网站：http://www.hxen.com/englishlistening/页面上方有这么多的选项，可以根据自己的水平选择不同的听力材料，很多材料都有文本甚至有中文翻译，是非常难得的资料！ 每天花15分钟，选2-3篇新闻练听力，对照文本和翻译，并把实用的内容记录下来，非常有帮助。提示： VOA慢速：速度非常慢，属于难得最低的材料。VOA标准：常速新闻，难度中等。BBC：标准英式发音，难度较大。NPR: 速度较快，难度较高的美国广播新闻。十八、培养market sense的几个必备网站
1、新浪财经国内最全面，最权威的财经网站，设为浏览器主页，http://finance.sina.com.cn/，各个栏目的质量都很高，有很多值得挖掘的内容绝对的国内财经头条，其中右方的专题策划非常值得一看主页下方很多国内权威杂志的链接，可以免费阅读2、21世纪商业评论http://www.21cbr.com/ 最前沿的商业资讯，文章很有深度，可订阅电子邮件3、FT中文网http://www.ftchinese.com/，权威，可同时读中英文文章，可订阅电子邮件4、华尔街中文网http://cn.wsj.com/gb/ 同样权威，可同时读中英文文章，可订阅电子邮件5、推荐网站视频：罗辑思维，赢在中国（经典的创业节目），中国经营者，CCTV-2 经济半小时，一虎一席谈，财富人生。编辑于 2017-02-213.8K​76 条评论​分享​收藏​感谢​收起林骏翔忙于追求更好的人生。205 人赞同了该回答我主要针对题主提的问题回答吧，抛砖引玉。看了其它知友的回答，关于数据网站方面的内容都挺全面的（不过居然看到了VOA英语和逻辑思维等是怎么回事）。一、找到了数据，却无法溯源，而数据不能使用的时候？数据说法不一，而没有一个官方的来源，无法抉择的时候？这两个问题有些类似，都是需要找到一个官方的来源。股票基本面财务数据：当然最正统的来源是上市公司的年报：上交所：上海证券交易所深交所：深圳证券交易所港股：http://www.hkex.com.hk/chi/index_c.htm美股：SEC.gov | Home更方便获取年报的网站应该是巨潮资讯网，当然单间公司也可以到公司的官网去下载。一般上市公司网站都有相关栏目。一般叫“投资者关系”。官方经济数据：统计局：中华人民共和国国家统计局美联储：Board of Governors of the Federal Reserve System石油：OPEC：OPEC : Home（OPEC每月都会发布月度报告，这也是很多新闻的来源）伦敦贵金属交易所：London Metal Exchange: Home（伦敦金等）外汇：国家外汇管理局：http://www.safe.gov.cn/等等。有太多了，由于前面很多答主已经列举了很多来源，所以就不再花时间堆链接了，都大同小异。方法：主要说说一下个人找来源的简单方法，姑且叫它“关键字溯源法”吧。其实就是从财经新闻中寻找那些关键字，然后在搜索引擎上寻找它的网站。除去一些伪相关等无意义的财经新闻外，一些新闻是由专业的财经记者写的，一些是引用一些业内著名人士的分析的，还有一些则是翻译外国的一些文件或新闻。在这些新闻内容中，多多少少会有一些机构组织名称（通常是英文名）是容易被我们忽视的，而这些恰恰是关键信息来源，甚至比你看的新闻更加客观。这是一个很久以前的可能不起眼的新闻，以它为例子：2014年全球十大黄金生产商排名&lt;img src="https://pic1.zhimg.com/50/40ee5f4f61d7fb3580b3e31da11ab34c_hd.png" data-rawwidth="632" data-rawheight="539" class="origin_image zh-lightbox-thumb" width="632" data-original="https://pic1.zhimg.com/40ee5f4f61d7fb3580b3e31da11ab34c_r.png"&gt;文中列出了十大黄金矿商的产量（这里暂且不论新闻的真实性，如果需要验证的话，可以到相应国家的股市上看或在Google上查询一下，再严格点可以深入各个公司的年报细看。），这里提供了大量的信息：1.十大黄金矿商的名称；2.数据来源（左下角GFMS）。搜索一下GFMS（外国网站当然用Google。虽然即使是中文也比百度满屏广告要好。）：&lt;img src="https://pic4.zhimg.com/50/9e7251a05e775aeb2c9b51572203a173_hd.png" data-rawwidth="1175" data-rawheight="523" class="origin_image zh-lightbox-thumb" width="1175" data-original="https://pic4.zhimg.com/9e7251a05e775aeb2c9b51572203a173_r.png"&gt;于是我们得知了它是全球领先的贵金属咨询公司，如果还不放心数据的真实性（毕竟这是二手数据了），我们可以直接搜索公司的名称，年报是最标准不过的了。于是我们得知了它是全球领先的贵金属咨询公司，如果还不放心数据的真实性（毕竟这是二手数据了），我们可以直接搜索公司的名称，年报是最标准不过的了。比如搜索Goldcorp，进入其官网下载年报打开，所有的信息一目了然（外国的年报做得很精美）。&lt;img src="https://pic2.zhimg.com/50/5fb09d120ba69a7b6d0b1c30628ea96d_hd.png" data-rawwidth="557" data-rawheight="618" class="origin_image zh-lightbox-thumb" width="557" data-original="https://pic2.zhimg.com/5fb09d120ba69a7b6d0b1c30628ea96d_r.png"&gt;在这几百页的PDF里，你看到的就不仅是产量这么简单了。包括维持成本（All-in sustaining costs）等等。你也可以对它们进行整合得出数据：&lt;img src="https://pic3.zhimg.com/50/a9a338b886e8ec299485ba3e8fb59a4a_hd.png" data-rawwidth="688" data-rawheight="445" class="origin_image zh-lightbox-thumb" width="688" data-original="https://pic3.zhimg.com/a9a338b886e8ec299485ba3e8fb59a4a_r.png"&gt;如果对大宗商品感兴趣，从这方面入手也是一个切入点，也可以看看外国企业开采黄金的成本等等。可以作出一些调研分析。对于行研有一定的帮助。如果你对看到的新闻追根溯源，能够发现很多对分析有用的东西，比如美国能源署EIA2015展望（现在应该2016了吧。）&lt;img src="https://pic1.zhimg.com/50/6bbc47270b571139b5b1fb93ce08519c_hd.png" data-rawwidth="493" data-rawheight="456" class="origin_image zh-lightbox-thumb" width="493" data-original="https://pic1.zhimg.com/6bbc47270b571139b5b1fb93ce08519c_r.png"&gt;2015世界风险报告&lt;img src="https://pic3.zhimg.com/50/a04336f4c1246e5ccf1af2a9ff0f669a_hd.png" data-rawwidth="593" data-rawheight="504" class="origin_image zh-lightbox-thumb" width="593" data-original="https://pic3.zhimg.com/a04336f4c1246e5ccf1af2a9ff0f669a_r.png"&gt;&lt;img src="https://pic3.zhimg.com/50/dad7bbbb1a7d7fc95f71a550eeb73cda_hd.png" data-rawwidth="784" data-rawheight="501" class="origin_image zh-lightbox-thumb" width="784" data-original="https://pic3.zhimg.com/dad7bbbb1a7d7fc95f71a550eeb73cda_r.png"&gt;等等有意思的文件。还有很多的东西可以去挖掘。二、有些数据就是找不到，不知道如何阐述某个问题的时候？有些数据的确是找不到的，这时候就需要自己预测了。最常用的方法就是利用计量经济学的方法建立经济模型，根据已知的因素进行线性回归分析，进一步去预测某些数据。之前见过一个人，在投行工作期间研究高速公路上市公司，需要未来几年计划铺设的公里数，有些政府网站会提供相关数据，但是有些政府网站并没有提供，网上也没有任何相关数据。最终他根据几个已知的数据，比如历史铺设的公里数、GDP增长率等等自己建立了一个经济模型进行预测，结果据说还挺准确的。比较常用的统计软件就是SPSS、R这些了吧。涉及到的具体问题比较复杂，也需要根据具体问题来分析。三、有些数据明明就有，却来自于某些咨询公司，标价动不动就是上千刀！现有的数据库往往太贵，一般人承受不起。所以当一些数据可以从网页上获取得到，却没有相应的接口时，就需要用爬虫了。1.Excel（相信很多人都会，不了解的可以看看）Excel可以选择复制粘贴的方式，但效率较低，且无法更新。所以在Excel中调用数据是更为明智的做法。优点：简单快捷，不需要太多的计算机知识；数据能够自动更新。缺点：不使用大规模爬取数据；效率较低。具体做法是：在网上找到想要的表格数据&lt;img src="https://pic4.zhimg.com/50/f0c4b4cca7ad5ffbaa663f4eae9daa57_hd.png" data-rawwidth="690" data-rawheight="417" class="origin_image zh-lightbox-thumb" width="690" data-original="https://pic4.zhimg.com/f0c4b4cca7ad5ffbaa663f4eae9daa57_r.png"&gt;复制网站，打开Excel，选择数据-自网站&lt;img src="https://pic4.zhimg.com/50/bd1d9d556aaccedbd8af65b46ce9b2bb_hd.png" data-rawwidth="500" data-rawheight="343" class="origin_image zh-lightbox-thumb" width="500" data-original="https://pic4.zhimg.com/bd1d9d556aaccedbd8af65b46ce9b2bb_r.png"&gt;在弹出框的地址栏中输入网址，进去后，在需要的表格左上方会有黄色的框黑色的箭头，点击便是选中表格。&lt;img src="https://pic4.zhimg.com/50/d0cb3de903b1d3d1619396ec6c08d327_hd.png" data-rawwidth="533" data-rawheight="249" class="origin_image zh-lightbox-thumb" width="533" data-original="https://pic4.zhimg.com/d0cb3de903b1d3d1619396ec6c08d327_r.png"&gt;选中后点击导入就可以了。2.爬虫+数据库（构建自己的数据库）上面的Excel算个“小爬虫”了。但真正高效的还是得用程序编写。个人使用的是Python+MongoDB，当然使用其它的组合也可以。优点：可以大规模的获取数据；效率高；可以构建个性化的数据库。缺点：需要学习编程；可能面临反爬虫的问题等。以我前几天做的举个例子，想要求出A股所有上市公司的资本回报率（Return of Invested Capital ,ROIC），无奈它不是一个会计科目，也不是常用的财务指标，没发现有网站提供这个信息（提供了其实也得用爬虫，寻找的时间成本也高），所以需要自己计算。而完整的财务报表也没有免费的API提供，只有一些网页提供了。所以最终我写了爬虫爬了约5000个网站，搜集了约100000条的财务数据把它算出来了。具体做法是：(1)写出爬虫，将信息爬取下来。具体对应的库：网页操作：urllib：https://pypi.python.org/pypi/urllib3requests：Requests: HTTP for Humans爬虫及爬虫框架：BeautifulSoup：Beautiful Soup Documentationlxml：The lxml.etree Tutorialscrapy：Scrapy入门教程pyspider：pyspider(2)将数据写入数据库中（调用方便快捷，可重复利用）。数据库：pymongo：PyMongo 3.2.2 Documentationsqlite3：11.13. sqlite3 — DB-API 2.0 interface for SQLite databasesMySQLdb：GitHub - farcepest/MySQLdb1: MySQL database connector for Python (legacy version)(3)从数据库调出并作计算。科学计算：numpy：NumPy — Numpypandas：Python Data Analysis Libraryscipy：SciPy.org — SciPy.org(4)数据可视化。画图：matplotlib：http://www.labri.fr/perso/nrougier/teaching/matplotlib/同时pandas也能够画图（有时二三步也可调换，先计算好后将计算结果写入数据库。）通过该种方法，就可以在各个网站上将需要的数据（可获取的或不可获取的）放进自己的数据库，下次需要调用的时候就可以轻易调用了。对于一次性的数据，甚至不用写入数据库，调用一遍并进行计算就可以得到想要的数据了。对于研究相关领域有很大用处。
作者：挖数
链接：https://www.zhihu.com/question/20899988/answer/96904827
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

以下是我学python爬虫的打怪升级之路，过程充满艰辛，也充满欢乐，虽然还未打倒大boss，但一路的风景就是最大的乐趣，不是么？希望大家能get到想要的东西！多图预警！&lt;img src="https://pic4.zhimg.com/50/55e8bc9324234bc88b354821ce005bc3_hd.png" data-rawwidth="288" data-rawheight="179" class="content_image" width="288"&gt;&lt;img src="https://pic3.zhimg.com/50/af1baba1052c2cd49cea5ea6986eb30a_hd.png" data-rawwidth="242" data-rawheight="268" class="content_image" width="242"&gt;&lt;img src="https://pic2.zhimg.com/50/5ec82828ba71e96a7d86b7e88254ccd9_hd.png" data-rawwidth="254" data-rawheight="230" class="content_image" width="254"&gt;&lt;img src="https://pic3.zhimg.com/50/c60bde3fec9e5f791b1a217613879b46_hd.png" data-rawwidth="278" data-rawheight="320" class="content_image" width="278"&gt;&lt;img src="https://pic3.zhimg.com/50/974b3d7c1c50bac62c14afe58ff0ed26_hd.png" data-rawwidth="309" data-rawheight="318" class="content_image" width="309"&gt;&lt;img src="https://pic2.zhimg.com/50/2c3e1e5f18d6e6cc8758337663c548f5_hd.png" data-rawwidth="313" data-rawheight="264" class="content_image" width="313"&gt;&lt;img src="https://pic4.zhimg.com/50/b65ad1e407e0335107eca80e4a0bdac3_hd.png" data-rawwidth="266" data-rawheight="240" class="content_image" width="266"&gt;&lt;img src="https://pic2.zhimg.com/50/70067cc590378e31676ed48192633d7d_hd.png" data-rawwidth="269" data-rawheight="246" class="content_image" width="269"&gt;&lt;img src="https://pic4.zhimg.com/50/2cecf7ef8b19f24a2fb287403a51142b_hd.png" data-rawwidth="299" data-rawheight="254" class="content_image" width="299"&gt;&lt;img src="https://pic3.zhimg.com/50/b2867a2ddb861a04a91fde5d34ed5982_hd.png" data-rawwidth="212" data-rawheight="266" class="content_image" width="212"&gt;&lt;img src="https://pic3.zhimg.com/50/ae5a6594ab77bfdeaaa9e45b9420c93e_hd.png" data-rawwidth="313" data-rawheight="266" class="content_image" width="313"&gt;&lt;img src="https://pic4.zhimg.com/50/5f65be4b49e5f84ab99efc92ab6ea61b_hd.png" data-rawwidth="304" data-rawheight="232" class="content_image" width="304"&gt;&lt;img src="https://pic2.zhimg.com/50/506899fbbe618e05cbe1e2768665b17d_hd.png" data-rawwidth="287" data-rawheight="234" class="content_image" width="287"&gt;&lt;img src="https://pic1.zhimg.com/50/009fcaa5d4a08f4eda54fb38b88e575c_hd.png" data-rawwidth="325" data-rawheight="354" class="content_image" width="325"&gt;&lt;img src="https://pic3.zhimg.com/50/b93fbe0719c946b1a68a3f0b33937942_hd.png" data-rawwidth="289" data-rawheight="243" class="content_image" width="289"&gt;&lt;img src="https://pic2.zhimg.com/50/ded59bb8038a10b3bfb4e65fd14db631_hd.png" data-rawwidth="309" data-rawheight="189" class="content_image" width="309"&gt;&lt;img src="https://pic2.zhimg.com/50/8d8337c43a58a5386227e037891f9d61_hd.png" data-rawwidth="266" data-rawheight="346" class="content_image" width="266"&gt;&lt;img src="https://pic2.zhimg.com/50/e5dbb6f838f6532b0d0a481c69a79ddd_hd.png" data-rawwidth="338" data-rawheight="269" class="content_image" width="338"&gt;&lt;img src="https://pic4.zhimg.com/50/5e1b525feb212ff0b860481ecb67288b_hd.png" data-rawwidth="255" data-rawheight="175" class="content_image" width="255"&gt;以下奉献一段爬取知乎头像的代码import requestsimport urllibimport reimport randomfrom time import sleepdef main():    url='知乎 - 与世界分享你的知识、经验和见解'    #感觉这个话题下面美女多    headers={省略}    i=1    for x in xrange(20,3600,20):        data={'start':'0','offset':str(x),'_xsrf':'a128464ef225a69348cef94c38f4e428'}        #知乎用offset控制加载的个数，每次响应加载20        content=requests.post(url,headers=headers,data=data,timeout=10).text        #用post提交form data        imgs=re.findall('<img src=\\\\\"(.*?)_m.jpg',content)          #在爬下来的json上用正则提取图片地址，去掉_m为大图          for img in imgs:            try:                img=img.replace('\\','')                #去掉\字符这个干扰成分                pic=img+'.jpg'                path='d:\\bs4\\zhihu\\jpg\\'+str(i)+'.jpg'                #声明存储地址及图片名称                urllib.urlretrieve(pic,path)                #下载图片                print u'下载了第'+str(i)+u'张图片'                i+=1                sleep(random.uniform(0.5,1))                #睡眠函数用于防止爬取过快被封IP            except:                print u'抓漏1张'                pass        sleep(random.uniform(0.5,1))if __name__=='__main__':    main() 结果：&lt;img src="https://pic2.zhimg.com/50/b1fc67ee3e290376fe882113ff7d44fd_hd.png" data-rawwidth="710" data-rawheight="744" class="origin_image zh-lightbox-thumb" width="710" data-original="https://pic2.zhimg.com/b1fc67ee3e290376fe882113ff7d44fd_r.png"&gt;最后，请关注我吧，我会好好维护你的时间线的  ＼( ^▽^ )／
作者：李明殊
链接：https://www.zhihu.com/question/47883186/answer/151959866
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

震惊了，8次鼠标点击，教会你网页数据爬虫既然零基础，给你讲完python， 讲完正则，讲完网页结构，估计黄花大闺女都嫁人了。介绍一招，20秒上手爬虫数据，用的工具，Excel不用VBA，甚至都不用公式甚至不用打开网页，查看网络元素也是作为@硅谷密探的补充，毕竟不是所有人都能轻松的上Google啊Here we go1.双击图标，打开Excel，<img src="https://pic4.zhimg.com/50/v2-4a8553d59a648d2029b0cce820099bab_hd.png" data-rawwidth="889" data-rawheight="543" class="origin_image zh-lightbox-thumb" width="889" data-original="https://pic4.zhimg.com/v2-4a8553d59a648d2029b0cce820099bab_r.png">累计鼠标点击次数：22.依次点击，数据-从网站<img src="https://pic3.zhimg.com/50/v2-f048a0f602123e5e59c338ea84526f2a_hd.png" data-rawwidth="1481" data-rawheight="495" class="origin_image zh-lightbox-thumb" width="1481" data-original="https://pic3.zhimg.com/v2-f048a0f602123e5e59c338ea84526f2a_r.png">累计鼠标点击次数：43.在弹出的对话框中，输入目标网址，Games sales ，点击转到，go<img src="https://pic4.zhimg.com/50/v2-89cbc966dcbebf1ebeb1ea9772181a23_hd.png" data-rawwidth="1059" data-rawheight="729" class="origin_image zh-lightbox-thumb" width="1059" data-original="https://pic4.zhimg.com/v2-89cbc966dcbebf1ebeb1ea9772181a23_r.png">累计鼠标点击次数：54.等待网页加载，点击你需要的数据区域，点击导入，import<img src="https://pic1.zhimg.com/50/v2-557b3b2f4af49416a7ad107125c7fe28_hd.png" data-rawwidth="1499" data-rawheight="930" class="origin_image zh-lightbox-thumb" width="1499" data-original="https://pic1.zhimg.com/v2-557b3b2f4af49416a7ad107125c7fe28_r.png">累计鼠标点击次数：75，然后会弹出一个数据存放区域的对话框，随便找个地方，点击ok<img src="https://pic4.zhimg.com/50/v2-e2e33d54458f8588c52b08e10894eadf_hd.png" data-rawwidth="989" data-rawheight="618" class="origin_image zh-lightbox-thumb" width="989" data-original="https://pic4.zhimg.com/v2-e2e33d54458f8588c52b08e10894eadf_r.png">累计鼠标点击次数：86.等待数据加载，本次无需点击<img src="https://pic1.zhimg.com/50/v2-e77132938923c8075f0e947a4a492724_hd.png" data-rawwidth="682" data-rawheight="439" class="origin_image zh-lightbox-thumb" width="682" data-original="https://pic1.zhimg.com/v2-e77132938923c8075f0e947a4a492724_r.png">累计鼠标点击次数：87.大约等待10秒钟，可以看到了，大概爬取了600行的数据。<img src="https://pic4.zhimg.com/50/v2-40877c11ee5b1e97a2fc453c67013a7b_hd.png" data-rawwidth="1642" data-rawheight="969" class="origin_image zh-lightbox-thumb" width="1642" data-original="https://pic4.zhimg.com/v2-40877c11ee5b1e97a2fc453c67013a7b_r.png">累计鼠标点击次数：8怎么样，你学会了吗要是还看不懂我选择狗带。相关Live* 培养数据分析的思维方式相关回答* 怎么培养数据分析的能力？ - 知乎* 业余时间如何学数据分析？ - 知乎* 如何用一个循环语句输出九九乘法表？ - 知乎* Excel 有什么神奇用途？ - 知乎-------分割线-------
欢迎关注我的微信公众账号：决明子 Jueming_zi
这里有关于摄影，绘画，艺术，以及我想说给你们听的故事http://weixin.qq.com/r/iUgiOm3EeDAHrSlZ9x2b (二维码自动识别)
作者：硅谷密探
链接：https://www.zhihu.com/question/47883186/answer/151846965
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一分钟学会网络数据抓取：



从爬虫入门到放弃，鬼知道你都在这期间经历了什么？

老司机都忙着反爬虫，没空来跟你闲扯，等你学会新的爬虫程序了，不好意思，老司机们又给你添堵来了，给你添堵就是他们的工作，所以，还是别学了，趁早放弃



好吧，还没走



那就教你两招对付皮皮虾的攻略，不需要任何编程基础，是人就懂



还没走？



好吧，你也就就这么点出息了，跟皮皮虾过招很光荣么？



还没走？



好吧，没救了，那咱们开始吧：



你可以使用任何熟悉的编程语言来进行网络数据信息的抓取，但是当你所需要获取的数据有限时，这样做就显得没有什么必要了，此时，一分钟技巧刚刚好：只需利用google sheet就可以实现了：



1，新建一个空白文档：<img src="https://pic2.zhimg.com/50/v2-4aeb92f9f3cf081a85ed13ff6c56bc81_hd.png" data-rawwidth="542" data-rawheight="374" class="origin_image zh-lightbox-thumb" width="542" data-original="https://pic2.zhimg.com/v2-4aeb92f9f3cf081a85ed13ff6c56bc81_r.png">2，前提是时用chrome，打开我们的案例目标网页：Games sales，单击右键选择inspect，之后使用组合键Command-Shift-C ，用来激活selector，如此一来，你的光标移到哪个元素上，对应的信息就会在Inspection panel内显示：<img src="https://pic3.zhimg.com/50/v2-0336de793f5ca3e7229e8d605dfe52d6_hd.png" data-rawwidth="1237" data-rawheight="751" class="origin_image zh-lightbox-thumb" width="1237" data-original="https://pic3.zhimg.com/v2-0336de793f5ca3e7229e8d605dfe52d6_r.png">组合键：Command-Shift-C<img src="https://pic2.zhimg.com/50/v2-9fece1aea925160da11c95393691dcfd_hd.png" data-rawwidth="898" data-rawheight="330" class="origin_image zh-lightbox-thumb" width="898" data-original="https://pic2.zhimg.com/v2-9fece1aea925160da11c95393691dcfd_r.png">3，将网址复制粘贴到文档中：<img src="https://pic4.zhimg.com/50/v2-0cf6c14b746421e00d989557c163ccd3_hd.png" data-rawwidth="401" data-rawheight="281" class="content_image" width="401">假设我们需要抓取的信息是：价格<img src="https://pic1.zhimg.com/50/v2-8ed82505694ad475ba60e3b73e2d4150_hd.png" data-rawwidth="846" data-rawheight="319" class="origin_image zh-lightbox-thumb" width="846" data-original="https://pic1.zhimg.com/v2-8ed82505694ad475ba60e3b73e2d4150_r.png">那么接下来只需要使用一个公式就可以实现数据抓取了：首先将网页中所需信息的那段代码copy下来：<img src="https://pic1.zhimg.com/50/v2-fcb3f5a4df2bfb9aea07751fa3d4f408_hd.png" data-rawwidth="860" data-rawheight="660" class="origin_image zh-lightbox-thumb" width="860" data-original="https://pic1.zhimg.com/v2-fcb3f5a4df2bfb9aea07751fa3d4f408_r.png">在文档中，实现抓取的函数是：=IMPORTXML(“URL”,”Xpath expression”)其中，Xpath
expression就是你粘贴过来的那部分代码，需要注意的是，代码中“”号需要变成‘’号：<img src="https://pic3.zhimg.com/50/v2-e76fef9a28340d80ebe6754100f8db26_hd.png" data-rawwidth="668" data-rawheight="135" class="origin_image zh-lightbox-thumb" width="668" data-original="https://pic3.zhimg.com/v2-e76fef9a28340d80ebe6754100f8db26_r.png">如此一来，简单的数据抓取便实现了：<img src="https://pic1.zhimg.com/50/v2-c99e06c7baa5a991cd4c21ef7e4b08a8_hd.png" data-rawwidth="486" data-rawheight="176" class="origin_image zh-lightbox-thumb" width="486" data-original="https://pic1.zhimg.com/v2-c99e06c7baa5a991cd4c21ef7e4b08a8_r.png">实际上excel也有类似的功能，就等你去探索喽。还有另外一个常见的函数：=IMPORTHTML(“URL”,”QUERY”, Index)这个函数可以实现整个表格的抓取：<img src="https://pic4.zhimg.com/50/v2-72f10d1016fcc1f4b49a570ffac5dc53_hd.png" data-rawwidth="976" data-rawheight="828" class="origin_image zh-lightbox-thumb" width="976" data-original="https://pic4.zhimg.com/v2-72f10d1016fcc1f4b49a570ffac5dc53_r.png">
作者：硅谷密探
链接：https://www.zhihu.com/question/47883186/answer/151846965
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一分钟学会网络数据抓取：



从爬虫入门到放弃，鬼知道你都在这期间经历了什么？

老司机都忙着反爬虫，没空来跟你闲扯，等你学会新的爬虫程序了，不好意思，老司机们又给你添堵来了，给你添堵就是他们的工作，所以，还是别学了，趁早放弃



好吧，还没走



那就教你两招对付皮皮虾的攻略，不需要任何编程基础，是人就懂



还没走？



好吧，你也就就这么点出息了，跟皮皮虾过招很光荣么？



还没走？



好吧，没救了，那咱们开始吧：



你可以使用任何熟悉的编程语言来进行网络数据信息的抓取，但是当你所需要获取的数据有限时，这样做就显得没有什么必要了，此时，一分钟技巧刚刚好：只需利用google sheet就可以实现了：



1，新建一个空白文档：<img src="https://pic2.zhimg.com/50/v2-4aeb92f9f3cf081a85ed13ff6c56bc81_hd.png" data-rawwidth="542" data-rawheight="374" class="origin_image zh-lightbox-thumb" width="542" data-original="https://pic2.zhimg.com/v2-4aeb92f9f3cf081a85ed13ff6c56bc81_r.png">2，前提是时用chrome，打开我们的案例目标网页：Games sales，单击右键选择inspect，之后使用组合键Command-Shift-C ，用来激活selector，如此一来，你的光标移到哪个元素上，对应的信息就会在Inspection panel内显示：<img src="https://pic3.zhimg.com/50/v2-0336de793f5ca3e7229e8d605dfe52d6_hd.png" data-rawwidth="1237" data-rawheight="751" class="origin_image zh-lightbox-thumb" width="1237" data-original="https://pic3.zhimg.com/v2-0336de793f5ca3e7229e8d605dfe52d6_r.png">组合键：Command-Shift-C<img src="https://pic2.zhimg.com/50/v2-9fece1aea925160da11c95393691dcfd_hd.png" data-rawwidth="898" data-rawheight="330" class="origin_image zh-lightbox-thumb" width="898" data-original="https://pic2.zhimg.com/v2-9fece1aea925160da11c95393691dcfd_r.png">3，将网址复制粘贴到文档中：<img src="https://pic4.zhimg.com/50/v2-0cf6c14b746421e00d989557c163ccd3_hd.png" data-rawwidth="401" data-rawheight="281" class="content_image" width="401">假设我们需要抓取的信息是：价格<img src="https://pic1.zhimg.com/50/v2-8ed82505694ad475ba60e3b73e2d4150_hd.png" data-rawwidth="846" data-rawheight="319" class="origin_image zh-lightbox-thumb" width="846" data-original="https://pic1.zhimg.com/v2-8ed82505694ad475ba60e3b73e2d4150_r.png">那么接下来只需要使用一个公式就可以实现数据抓取了：首先将网页中所需信息的那段代码copy下来：<img src="https://pic1.zhimg.com/50/v2-fcb3f5a4df2bfb9aea07751fa3d4f408_hd.png" data-rawwidth="860" data-rawheight="660" class="origin_image zh-lightbox-thumb" width="860" data-original="https://pic1.zhimg.com/v2-fcb3f5a4df2bfb9aea07751fa3d4f408_r.png">在文档中，实现抓取的函数是：=IMPORTXML(“URL”,”Xpath expression”)其中，Xpath
expression就是你粘贴过来的那部分代码，需要注意的是，代码中“”号需要变成‘’号：<img src="https://pic3.zhimg.com/50/v2-e76fef9a28340d80ebe6754100f8db26_hd.png" data-rawwidth="668" data-rawheight="135" class="origin_image zh-lightbox-thumb" width="668" data-original="https://pic3.zhimg.com/v2-e76fef9a28340d80ebe6754100f8db26_r.png">如此一来，简单的数据抓取便实现了：<img src="https://pic1.zhimg.com/50/v2-c99e06c7baa5a991cd4c21ef7e4b08a8_hd.png" data-rawwidth="486" data-rawheight="176" class="origin_image zh-lightbox-thumb" width="486" data-original="https://pic1.zhimg.com/v2-c99e06c7baa5a991cd4c21ef7e4b08a8_r.png">实际上excel也有类似的功能，就等你去探索喽。还有另外一个常见的函数：=IMPORTHTML(“URL”,”QUERY”, Index)这个函数可以实现整个表格的抓取：<img src="https://pic4.zhimg.com/50/v2-72f10d1016fcc1f4b49a570ffac5dc53_hd.png" data-rawwidth="976" data-rawheight="828" class="origin_image zh-lightbox-thumb" width="976" data-original="https://pic4.zhimg.com/v2-72f10d1016fcc1f4b49a570ffac5dc53_r.png">
https://www.zhihu.com/question/32164316/answer/55000666
作者：丁二七
链接：https://www.zhihu.com/question/33255013/answer/56112253
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

一、券商研究报告下载
（收费）
彭博 万得 WIND
汤森路透 Capital IQ
巨灵金融服务平台 同花顺
慧博投研资讯 慧博投研资讯-中国最大最专业的投资研究平台
（免费）渐飞 渐飞研究报告-全国最大的股票研究报告分享平台 研究报告，投资股票，证投资，行业研究，市场分析报告二、其他来源
人大经济论坛 人大经济论坛-国内最大的经济、管理、金融、统计在线教育和咨询网站
人大经济研究所 http://ier.ruc.edu.cn/
百度文库，百度云 豆丁网
新浪爱问 谷歌 （filetype:pdf）
维普，万方等平台 各大咨询公司
www.aol.com里面的搜索引擎功能有google提供，搜索结果与google一样，如果google无法登陆，可以用这个网站代替
全景网：财经资讯 全景网：权威财经资讯网站三、各大咨询公司报告下载页面
德勤中国 | 审计, 企业管理咨询, 财务咨询, 风险管理, 税务服务及行业洞察。
Deloitte | Audit, Consulting, Financial, Risk Management, Tax Services。
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx。
McKinsey Greater China。
IBM  - 全球企业咨询服务部。
http://www.bcg.com.cn/cn/newsand ... s_publications.html。
商业评论网—打造最有影响力的管理者社区。
http://www.ey.com/CN/ZH/home/library。
贝恩观点     贝恩公司。
https://china.mckinseyquarterly.com/home.aspx。
http://www.pwccn.com/home/eng/libraryindex.html。
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx。
http://www.booz.com/global/home/ ... ding-research-on-ma。四、上市公司公告
香港证监会上市公司公告
http://www.hkexnews.hk/listedco/ ... h_active_main_c.asp
美国证监会上市公司公告
http://www.sec.gov/edgar/searchedgar/companysearch.html
中国上市公司公告
http://www.cninfo.com.cn/information/companyinfo/html五、统计局网站信息汇总
国家统计局 http://www.stats.gov.cn/
【北京】北京市统计信息网 http://www.bjstats.gov.cn/
【天津】天津市统计信息网 http://www.stats-tj.gov.cn/
【河北】河北省统计局 http://www.hetj.gov.cn/
【河南】河南省统计局 http://www.ha.stats.gov.cn/
【黑龙江】黑龙江省统计信息网 http://www.hlj.stats.gov.cn/
【吉林】吉林省统计信息网 http://tjj.jl.gov.cn/
【辽宁】辽宁省统计信息网 http://www.ln.stats.gov.cn/
【山东】山东统计信息网 http://www.stats-sd.gov.cn/
【江苏】江苏省统计局http://www.jssb.gov.cn
【江西】江西省统计局 http://www.jxstj.gov.cn/Index.shtml
【安徽】安徽统计信息网 http://www.ahtjj.gov.cn/
【山西】山西统计信息网 http://www.stats-sx.gov.cn/
【陕西】陕西统计信息网 http://www.sn.stats.gov.cn/
【湖北】湖北省统计局 http://www.stats-hb.gov.cn/
【湖南】湖南统计信息网 http://www.rcinfo.gov.cn/tjwh/tjwh/tjwh.files/hntj.gov.htm
【贵州】贵州省统计局 http://www.gz.stats.gov.cn/
【四川】四川统计局 http://www.sc.stats.gov.cn/sctj/
【云南】云南省统计局 http://www.stats.yn.gov.cn
【甘肃】甘肃统计信息网 http://www.gstj.gov.cn/
【青海】青海统计信息网 http://www.qhtjj.gov.cn/
【宁夏】宁夏统计信息网 http://www.nxtj.gov.cn/
【福建】福建省统计局 http://www.stats-fj.gov.cn/
【广东】广东统计信息网 http://www.gdstats.gov.cn
【广西】广西统计信息网 http://www.gxtj.gov.cn/
【浙江】浙江统计局 http://www.zj.stats.gov.cn/
【新疆】新疆统计信息网 http://www.xjtj.gov.cn/
【海南】海南统计局 http://www.hi.stats.gov.cn/
【上海】上海统计局 http://www.stats-sh.gov.cn/
【内蒙古】内蒙古统计局 http://www.nmgtj.gov.cn/
【重庆】重庆统计信息网 http://www.cqtj.gov.cn/六、投行网站
http://macabacus.com/ http://www.wallstreetoasis.com/ http://www.ibankingfaq.com/
IPO http://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php
IPO http://www.aastocks.com/sc/ipo/sponsor.aspx
juling http://terminal.chinaef.com/index.action
MA http://www.mergermarket.com/info/七、其他资源网站
统计学软件网站 http://www.ats.ucla.edu/stat/
下载软件 http://app.hustonline.net/index
注册国家图书馆 http://www.nlc.gov.cn/MIT data base
http://libraries.mit.edu/multi/research-guides.html http://data.un.org/ http://libguides.mit.edu/market http://libguides.mit.edu/corpreports八、数据库整理
1、国研网数据库
http://edu.drcnet.com.cn/DRCNet.Edu.Web/
特点：统计数据库包含宏观数据、金融、教育、行业数据等，但是宏观数据年度跨度不大。适合对个别指标进行跨省、跨时间的统一检索。另外有全文数据库等，包含一些专家学者的文章，可以作为参考。
2、中经网
http://162.105.138.185:90/scorpi ... 1014&amp;height=708
特点：以宏观数据为主，包含国家一级、31个省以及200多个市的数据，与国研网的统计数据库类似，统计项目没有国研网多，但是有些指标年份跨度更大。适合统一检索。
3、资讯行
http://www.bjinfobank.com/IrisBin/Select.dll?Special?db=TJ
特点：非常全的数据库，几乎囊括了所有最新的年鉴。适合寻找数据的来源。缺点在于：没有1995年之前的年鉴，数据不是表格形式，需要自己修改。（可行的方法包括：粘贴到word中，把空白（^w)替换为制表符（^t），或者直接粘贴到excel2007，进行数据分列）。
4、统计局数据库
http://219.235.129.58/indicatorYearQuery.do
特点：最近几年刚出的，还在完善中。可以对统计局出版的年鉴数据进行统一检索。（和1、2很相似）有时候能找到1、2所没有的数据。
5、年鉴
http://www.stats.gov.cn/tjsj/ndsj/
包括历年统计年鉴以及普查数据、专题数据等，适合浏览年鉴。实际上，目前很多最新年鉴，包括《新中国六十年统计资料汇编》、《2010年统计摘要》等都可以在网上下载到excel版本。
6、知网
http://epub.edu.cnki.net/grid2008/index.htm
6.1文献
http://epub.edu.cnki.net/grid2008/index/ZKCALD.htm
非常全的学术文献数据库，包括了期刊、学位论文、学术会议论文等。这个加上维普的话，基本上可以把中国比较好的期刊论文都包括了。
6.2年鉴
中国统计年鉴数据库（挖掘版）
http://tongji.cnki.net/Kns55/Nav ... OEFIV2ZBPT0=&amp;p=
提供对统计年鉴的统一检索，但是效果不理想，比较凌乱。列出了500部左右的年鉴，比较全，但是不一定有最新的。可以先在资讯行搜索数据指标所属的年鉴，再在这里找到年鉴。
7、维普
http://162.105.138.192/index.asp
有些知网上找不到的文章可以在这里找到，文章很全。
8、英文数据库
http://www.lib.pku.edu.cn/portal ... ew_sub_nvgt_db.psml
有BVD统计数据库，包括各国的宏观数据、金融数据、企业数据，有JSTOR,含有重要英文文献，有Elsevier Science--学术期刊数据库（science direct），非常全的英文期刊文献。
另外还有：
http://springer.lib.tsinghua.edu.cn/ http://onlinelibrary.wiley.com/
9、人大经济论坛
http://www.pinggu.org/bbs/
会有一些经济学书籍、年鉴、软件的下载。
10、图书馆主页搜索相关的年鉴，也可以提供年鉴下载，但是好像不提供最新一期的。其实，google和百度也是常用的数据来源。图书馆的数据库都是可以凭借校内的IP直接登录的，如果在校外的话可以使用代理服务器或者VPN。在校外要登录学校的数据库，可以采用如下办法：1，代理，https://its.pku.edu.cn/cysz/proxysz.jsp。2，vpn，https://its.pku.edu.cn/wlfw/vpn-o2-web.jsp。但是两个都不稳定。九、如何寻找国外的数据
1、搜集美国相关的数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》（Economic Report of President），提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年，甚至个别的可追溯到1929年。可能你已经留意到了，好多有关美国的图形，都是采用《总统经济报告》（2005）所附数据生成的。这些数据可以免费下载，网址是www.access.gpo.gov/eop/。
如果需要一应俱全安的数据，一个宝贵的权威来源是，美国商务部统计局出版的《美国统计概要》（Statistical Abstract of the United States），相当一部分数据可以免费下载，网址是www.census.gov/statab/www/。
如果想获得最近数据的详细资料，一个不错的选择是，美国商务经济分析局每月出版的《当代商业纵览》（Survey of Current Business）。网址是，www.bea.doc.gov。
2、如何搜集国外其他经济体的数据
对富裕国家来说，最有用的资料来源于经济合作与发展组织（Organization of Economic Cooperation and Development，简称OECD）。经济合作与发展组织的成员包括：奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来，世界上的富裕国家大都属于该组织，其产出占世界产出的70%左右。OECD的网址是www.oecd.org，提供三种极为有用的数据。
《OECD经济展望》（OECD Economic Outlook），每年出版两次，提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代，而且具有很好的一致性。
《OECD就业展望》（OECD Employment Outlook），每年出版一次，专门提供劳动力市场的数据。 《OECD历史统计》（OECD Historical Statistics），不定期出版，将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区，可以从其它国际组织那里获得相关数据，比如国际货币基金组织（International Monetary Fund，简称IMF），其网址是www.imf.org。IMF提供《国际金融统计年鉴》（International Financial Statistics Yearbook），它主要提供成员国的金融数据，但也包括一些总体数据，比如GDP、失业和通货膨胀等。
至于若干国家长期的统计数据，两个不可多得的数据来源是，Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据，在宾夕法尼亚大学国际比较中心（Center for International Comparisons at the University of Pennsylvania）网站上可以下载，http://pwt.econ.upenn.edu/。Madison数据库提供了自1820年以来56个经济体的数据。
最后，如果还没有找到你要的数据，不妨登陆下面的两个网站，也许是根稻草。哈佛商学院的宏观经济学资源网站www.hbs.edu./units/bgie/internet/，提供了大量连接。由密西西比大学Bill Goffe维护的一个网站http://rfe.wustl.edu，不仅列出了数据来源，而且还列出了有关经济的其他信息来源。十、综合性数据
SEC EDGAR数据库
美国国会两院记录、商务部经济数据、伯克莱圆桌会议、斯坦福法律经济词典
http://town.hall.org/radio/JEC
Web统计资源指南（密执安大学）
Statistical Resources on the Web (University of Michigan)由密执安大学文献中心建立。这是一个内容广泛、编排细致的资源指南。包括以下类目：工商业、生活消费、图表、经济学、财政金融、国际经济、国际贸易、劳动与就业等。 http://www.lib.umich.edu/libhome/Do...nter/stats.html
报价公司
提供有价证券的数据、信息。如有价证券一览表、快报
http://finance.lycos.com/qc/default.aspx
产品价格指数（PPI）详细报告
每月一次的产品价格指数报告和数据。包括最终产品和中间产品到原材料等）。
http://stats.bls.gov/ppihome.htm
房产起价和建筑许可Housing Starts and Building Permits (US Census Bureau)
在这里可以看到美国人口普查局最近发布的经济指标。包括私有房产起价和当月、当年的建筑许可摘要。
http://www.census.gov/pub/indicator/www/housing.html
高校财经数据库
收录 12个在线数据库，超过三百万篇商业报告和文章。
http://www.bjinfobank.com/
国际股票市场数据库
包括国际股票市场的价格图表、交易量、共同基金图、上市公司简介等
http://www.stockmaster.com/
国民收入和产品帐户National Income and Product Accounts (University of Virginia)
这是佛吉尼亚大学社会科学数据中心的杰作。可检索自1959年以来的数据。主要包括：政府收入和支出；收入、就业、工业产品；国民生产和收入；个人收入和消费；数量和价格指数；存款和投资等。
http://www.lib.virginia.edu/socsci/nipa/
华通数据中心
宏观经济信息、行业(产业)发展报告、企业(公司)信息、产品市场分析
http://data.acmr.com.cn/
环境安全数据库
多伦多大学和平与冲突研究项目组维护，涉及发展中国家环境压力与暴力冲突
http://www.library.utoronto.ca/pcs/database/libintro.htm
经济数据（国际）EconData (International)
马里兰大学提供的国际性EconData时间序列数据库。新用户要先看数据库说明。文件是PK压缩格式。
http://www.inform.umd.edu/EdRes/Top.../International/
经济数据（美国马里兰大学）EconData (University of Maryland)
可以下载大量的时间序列数据和查看数据的工具。也可以下载一些指令和工作论文。数据覆盖了全球及美国经济。数据文件用PKZip格式压缩。
http://www.inform.umd.edu:8080/EdRe...a/Econdata.html
经济数据和链接（美国加州大学Fresno分校）Econ Data & Links (CAL State Fresno)
由美国加州大学Fresno分校建立。该站点提供了大量表格和统计数据，以及很多相关站点的链接，内容从收入、财富到贫困问题都有。
http://www.csufresno.edu/Economics/econ_EDL.htm
经济学数据Economics Data
是WebEc的一部分。以良好的编排方式将数据和经济学站点排列出来。可参见经济学与计算网页，上面提供了很多软件链接。
http://www.helsinki.fi/WebEc/webecc8d.html
经济学网络
这是一个内容非常丰富的资源中心，有大量美国和世界经济与金融市场的在线图表、经济指南、每周经济分析与简评，以及指向其它资源的链接。所有文件都是PDF格式。由德国驻纽约Morgan Grenfell的首席经济学家Ed Yardeni博士提供。
http://www.yardeni.com/
联储经济数据Federal Reserve Economic Data (FRED)
是美国联邦储备银行圣路易斯分行提供的一种很出色的服务。再该站点上，除了有经济研究方面的研究论文和工作论文以外，还提供了有价值的关于美国经济各方面的当前和历史数据。
http://www.stls.frb.org/fred/
联合国数据信息（耶鲁大学）Numeric Data for UN Information (Yale University)
上面有各种数值型数据的链接。由耶鲁大学图书馆维护。
http://www.library.yale.edu/un/un2d.htm
联合国统计年鉴Statistics Yearbook (UN)
主要包括统计数据和指标（如月度统计公报）、统计方法、统计源与参考工具等内容。注册后可以在一段时间以内免费使用统计数据和指标，其它资源不需注册。
http://www.un.org/Depts/unsd/mbsreg.htm
贸易和环境数据库
搜集了几百个贸易与环境的案例，按28种不同标准分类
http://www.american.edu/projects/mandala/TED/ted.htm
美国的贫困问题Poverty in the United States
该站点上提供了美国人口普查局前几年的人口系列报告。可以估算在贫困线以下的美国居民、家庭和个人的情况。文件是PDF格式。
http://www.census.gov/hhes/www/poverty.html
美国家庭的货币收入Money Income in the United States
这是美国人口普查局的系列人口报告的调查数据。对美国的家庭和个人 经济状况的估计；包括年龄、种族、性别、地区、教育程度、收入情况、工作状况等变量。文件为PDF格式。
http://www.census.gov/ftp/pub/hhes/www/incom.html
美国经济指标与数据Economic Indicators and Data (via Census Bureau)
美国人口普查局的最新经济指标。包括： 耐用消费品厂商的运输和定货；房屋起价；商品与服务的国际贸易；制造业和商业创新及销售；制造业的出货、技改和订货；月度批发贸易；月度零售贸易及月度时间序列数据。该站点上还有一个观察当前美国经济状况的小册子，每月出版。常设指标有：GNP、进出口、就业及收入、价格等。有图表，可检索。
http://www.census.gov/ftp/pub/indic...ww/indicat.html
美国历史上的人口普查数据
提供了描述1790-1860年间美国经济的数据。由哈佛大学维护
http://fisher.lib.virginia.edu/collections/stats/histcensus/
美国历史上的人口普查数据浏览United States Historical Census Data Browser
该站点提供了描述1790-1860年间美国经济的数据。由哈佛大学维护。
http://icg.harvard.edu/census/
美国明尼阿波利斯联邦储备银行经济研究和数据（联机）Federal Reserve Banks (Online)
美国明尼阿波利斯联邦储备银行经济研究和数据,大量经济数据可供查找。
http://woodrow.mpls.frb.fed.us/
美国统计（美国商业部）STAT USA ( Department of Commerce)
是美国商业部的一个站点。提供美国联邦政府发布的商业、经济、贸易活动的权威信息。站点上包括有尝联机服务的数据库，也有一些免费的数据库，如经济分析局（Bureau of Economic Analysis Economic Information）、美国国家贸易数据银行（the National Trade Data Bank）等提供的其它数据。
http://www.stat-usa.gov/
能源技术数据交换(ETDE)与能源数据库
收集与交换能源研究与技术的信息,能源文献收藏量为世界第一
http://www.etde.org/
日本统计Statistics in Japan
该站点提供了大量的关于日本的数据和指向其它统计站点的链接。由日本信息网络提供。
http://www.jinjapan.org/stat/
世界统计表格
世界统计表格是IMF的年度报告，由世界银行出版，提供了世界各国经济、社会数据指标集。
http://www.worldbank.org/html/extpb...NG/wdt-home.htm http://www.ciesin.org/IC/wbank/wtables.html
个人所得税Statistics of Income: Individual Income Tax Returns
美国国家税收局（Internal Revenue Service）关于个人税收的年度报告。有税收数量和总量，以及各种收入来源。
http://www.irs.ustreas.gov/tax_stats/ind.html
数据中华
商业数据网站,产业研究、竞争情报分析、市场调查、资信调查等
http://www.allchinadata.com/
统计资源指南Statistical Resources Guide
由Mansfield大学图书馆建立。超文本链接指向统计站点，或介绍印刷型资料。以美国为主，兼有国际性内容，内容涉及经济、社会等各方面。是一个非常有用的资源指南。
http://www.clark.net/pub/lschank/web/govstats.html
网上数据（加州大学圣迭戈分校）Data on the Net (UC San Diego )
收集了关于美国经济和其它数据的站点，有注释，可检索。
http://odwin.ucsd.edu/idata/
政府数据（NetEYE Inc）Government Data (NetEYE, Inc)
由商业服务机构streetEYE建立。全面收集了全球的数据资源。包括美国、加拿大、拉丁美洲、欧洲、远东地区以及国际组织等。
http://www.streeteye.com/index/gov.html
中国产业经济信息网
产业经济的相关数据，部分内容可试用
http://www.cinic.org.cn/
中国导航网
中国导航网，专业的行业研究机构，权威的数据资源，覆盖全国的调研机构，真诚的服务。
http://www.chinaguiding.cn
中国经济信息网数据库
中国经济统计、行业、地区经济、企业等数据库
http://www.cei.gov.cn/default.aspx?tab=157
中国自然数据库
中国资源、环境、人口、社会经济等相关数据的集合。
http://www.naturalresources.csdb.cn/index.asp十一、利用搜索引擎
1、http://scholar.google.com/
虽然还是Beta版，但个人已觉得现在已经是很好很强大了，Google学术搜索滤掉了普通搜索结果中大量的垃圾信息，排列出文章的不同版本以及被其它文章的引用次数。略显不足的是，它搜索出来的结果没有按照权威度（譬如影响因子、引用次数）依次排列，在中国搜索出来的，前几页可能大部分为中文的一些期刊的文章。
2、http://www.scirus.com
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一，由Elsevier科学出版社开发，用于搜索期刊和专利，效果很不错！Scirus覆盖的学科 范围包括：农业与生物学，天文学，生物科学，化学与化工，计算机科学，地球与行星科学，经济、金融与管理科学，工程、能源与技术，环境科学，语言学，法 学，生命科学，材料科学，数学，医学，神经系统科学，药理学，物理学，心理学，社会与行为科学，社会学等。
3、http://www.base-search.net/
BASE是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎，提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160 个开放资源（超过200 万个文档）的数据。
4、http://www.vascoda.de/
Vascoda是一个交叉学科门户网站的原型，它注重特定主题的聚合，集成了图书馆的收藏、文献数据库和附加的学术内容。
5、http://www.goole.com/
与google比较了一下发现，能搜索到一些google搜索不到的好东东 。它界面简洁，功能强大，速度快，YAHOO、网易都采用了它的搜索技术。各位可以一试。
6、http://www.a9.com
Google在同一水平的搜索引擎。是http://Amazon.com推出的，Web result部分是基于Google的，所以保证和Google在同一水平，另外增加了Amazon的在书本内搜索的功能和个性化功能：主要是可以记录你的搜索历史。现在还是Beta，不过试用后感觉很好，向大家推荐一试 ，不过缺憾是现在书本内搜索没有中文内容。7、http://www.ixquick.com
严格意义上讲不是搜索引擎，是连接搜索引擎和网络用户的信息立交桥。新一代的搜索引擎应运而生，Ixquick meta－search正是目前最具光芒的新星。但是对于大多数国内用户来说，Ixquick还很陌生。Ixquick众多独特的功能我不一一介绍了，只 介绍我们最关心的，搜索数据库密码。
使用方法：先进入Ixquick，以“Proquest”数据库为例。填入Proquest Username Password History Online后点击search，看看出来的结果，第一页中第6个，proquest的username和password赫然在目，别急，再看第4个结 果“HB Thompson Subscription Online Databases”，即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/，进入 后发现这是一个密码页，选择Magazines & Journals栏，就有 EBSCO、Electric Library Elementary、Electric Library Elementary、ProQuest Platinum (in school)、ProQuest Platinum (remote)等众多数据库的密码，都有uesrname和password，随便试一下EBSCO，OK，成功登陆。
8、http://vivisimo.com/
cmu的作品，对搜索的内容进行分类，这样可以有效地做出选择，比较有特色。可实现分类检索，检索速度也很好，如EBSCO 密码几分钟就可找一大堆 .
http://search.epnet.com/，User ID: mountain，Password: ridge，这个密码可以试试。
9、http://www.findarticles.com/
一个检索免费paper的好工具。 进入网页以后，可以看到他有三个功能，driectory web article ，其中article对我们很有帮助，你可以尝试输入你要找的文章，会有很多发现的！
10、http://www.sciseek.com/Sample
感觉不是很好用，内容也不是太多，主要靠用户添加网址，提供信息的搜索引擎，搜索功能也比较差，输入常见的关键词，往往找不到相匹配的内容。
11、http://www.chmoogle.com
现点击后或跳转到http://www.emolecules.com，在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商，与Chemblink有点相似，但提供的化学品理化信息没有Chemblink详细，与其不同的是该搜索引擎可提供化学品结构式搜索（主页上有在线绘制化学结构式的搜索框）。
12、http://www.ojose.com/
OJOSE (Online JournalSearch Engine，在线期刊搜索引擎)是一个强大的免费科学搜索引擎，通过OJOSE，你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
13、http://citeseer.ist.psu.edu/
一个关于计算机和信息科学的搜索引擎。
14、http://hpsearch.uni-trier.de/
专家个人主页搜索引擎
15、http://cnplinker.cnpeak.com/
为 了给读者用户提供一个方便快捷的查阅国外各类期刊文献的综合网络平台，中图公司组织开发了cnpLINKer（cnpiec LINK service）在线数据库检索系统，并正式开通运行。cnpLINKer即“中图链接服务”，目前主要提供约3600种国外期刊的目次和文摘的查询检 索、电子全文链接及期刊国内馆藏查询功能.并时时与国外出版社保持数据内容的一致性和最新性。点评：只提供了外文检索的功能，但是无法得到全文。个人认为不是很理想。
16、http://guoxue.baidu.com/
百度国学目前能提供上起先秦、下至清末历代文化典籍的检索和阅读。内容涉及经、史、子、集各部。
17、http://infomine.ucr.edu/
NFOMIN是由加州大学、维克森林大学、加州国立大学、底特律大学等大学图书管理员建立的学术搜索引擎。它主要为大学职员、学生和研究人员提供在线学术资源。十二、互联网和传媒
1、资讯类
新浪科技 http://tech.sina.com.cn/
腾讯科技 http://tech.qq.com/
艾瑞网 http://www.iresearch.cn/
艺恩网 http://www.entgroup.cn/
虎嗅网 http://wwww.huxiu.com/
36kr http://36kr.com/
钛媒体 http://www.tmtpost.com/
游戏大观 http://www.gamelook.com.cn/
亿欧网 http://www.iyiou.com/
媒介360 http://www.chinamedia360.com/main
2、数据类
中国票房 http://www.cbooo.cn/
中国互联网络信息中心 http://www.cnnic.net.cn/
艾瑞网 http://www.iresearch.com.cn/report/viewlist.aspx
易观智库 http://www.analysys.cn/
游戏产业网 http://www.cgigc.com.cn/list/79644663134.html
百度指数 http://index.baidu.com/
大数据导航 http://hao.199it.com/
CSM（电视收视率） http://www.csm.com.cn/
微排片 http://www.weipaipian.com十三、医药行业
1、样本医院数据
（1）化药、生物药和中药注射剂 http://pdb.pharmadl.com/
（2）中成药、化药 http://www.menet.com.cn/
（3）国外样本医院数据彭博上有类似PDB的数据库
2、药品中标价格
百度虫，药智网，健康网 （付费），米内网（付费）
3、药品招标政策
各省药品招标平台
4、医疗器械数据
基本没有，米内网有付费数据库（没见过）、海关信息网
5、中药材数据
中药材天地网、万得的EDB、中药材东方网
6、药品审批
药智网、药监局、CDE网站
7、医药行业政策
国家药监局、发改委、中国政府网、卫计委等等
8、国内外行业协会和咨询机构
例IMS Health、XX医药协会
9、新闻网站/微信
赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社十四、策略常用网站
1、国内网站
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
财政部 www.mof.gov.cn/
海关总署 http://www.customs.gov.cn/tabid/400/Default.aspx
中央结算公司 www.chinabond.com.cn/
发改委 www.sdpc.gov.cn/
审计署 www.audit.gov.cn/
2、国外网站
the world bank： http://www.worldbank.org/
united states census：http://www.icpsr.umich.edu/
BEA: http://www.bea.gov/
CBO: http: //http://www.cbo.gov/
world federation of exchanges: http://www.world-exchanges.org/
最常用wind股票数据库十五、银行业
1、新闻资讯
中证网 http://www.cs.com.cn/xwzx/hg/
一财网 http://www.yicai.com/economy/
财新网 http://finance.caixin.com/bank/
华尔街见闻 http://wallstreetcn.com/news?cid=19
新浪财经 http://finance.sina.com.cn/
证券时报网 http://www.stcn.com/
中国金融新闻网 http://www.financialnews.com.cn/yh/xw/
2、公告、数据查找
中国货币网 http://www.chinamoney.com.cn/index.html
巨潮网 http://www.cninfo.com.cn/
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
银监会 http://www.cbrc.gov.cn/index.html
上海证券交易所 www.sse.com.cn/
深圳证券交易所 www.szse.cn/
最常用wind股票数据库十六、有色金属行业
1、日报网站
（1）宏观新闻：央行快讯 http://t.news.fx168.com/bank/
（2）行业新闻：中国金属网 http://www.metalchina.com，上海有色网 http://www.smm.cn/index_2015.html，百川咨询 http://www.baiinfo.com
（3）公司公告：巨潮 http://www.cninfo.com.cn
2、其他常用站
高工锂电 http://www.gg-lb.com/default_index_new.php
真锂研究 http://www.realli.net
深交所互动易（查看投资者互动资料） http://irm.cninfo.com.cn/szse/
中金网（有色金属） http://www.metalsinfo.com/news/
银 https://www.silverinstitute.org/site/publications/
银 http://financial.thomsonreuters. ... /articles/gfms.html
新三板咨讯 http://www.sanban18.com
格隆汇港股 http://www.gelonghui.com/portal.php十七、英语技能建议
1、总结： 听，读/复述，记录三者缺一不可FT商学院 http://www.ftchinese.com/channel/mba.htmlFT双语阅读 http://www.ftchinese.com/channel/english.htmlFT英语速读测试 http://www.ftchinese.com/channel ... utm_medium=referral2、推荐材料和网站最实用的听力网站：http://www.hxen.com/englishlistening/页面上方有这么多的选项，可以根据自己的水平选择不同的听力材料，很多材料都有文本甚至有中文翻译，是非常难得的资料！ 每天花15分钟，选2-3篇新闻练听力，对照文本和翻译，并把实用的内容记录下来，非常有帮助。提示： VOA慢速：速度非常慢，属于难得最低的材料。VOA标准：常速新闻，难度中等。BBC：标准英式发音，难度较大。NPR: 速度较快，难度较高的美国广播新闻。十八、培养market sense的几个必备网站
1、新浪财经国内最全面，最权威的财经网站，设为浏览器主页，http://finance.sina.com.cn/，各个栏目的质量都很高，有很多值得挖掘的内容绝对的国内财经头条，其中右方的专题策划非常值得一看主页下方很多国内权威杂志的链接，可以免费阅读2、21世纪商业评论http://www.21cbr.com/ 最前沿的商业资讯，文章很有深度，可订阅电子邮件3、FT中文网http://www.ftchinese.com/，权威，可同时读中英文文章，可订阅电子邮件4、华尔街中文网http://cn.wsj.com/gb/ 同样权威，可同时读中英文文章，可订阅电子邮件5、推荐网站视频：罗辑思维，赢在中国（经典的创业节目），中国经营者，CCTV-2 经济半小时，一虎一席谈，财富人生。
https://www.zhihu.com/question/36132174/answer/70798699
作者：何明科
链接：https://www.zhihu.com/question/36132174/answer/89145038
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

这个问题蛮适合我这种老爬虫来回答。0、IT桔子和36Kr在专栏文章中（http://zhuanlan.zhihu.com/p/20714713），抓取IT橘子和36Kr的各公司的投融资数据，试图分析中国各家基金之间的互动关系。&lt;img src="https://pic1.zhimg.com/50/a9f1d74191bccdd7561361865edc4a94_hd.jpg" class="content_image"&gt;&lt;img src="https://pic3.zhimg.com/50/a2deb2bcd1d9460fb5af12c7e30857ca_hd.png" class="content_image"&gt;1、知乎沧海横流，看行业起伏（2015年） - 数据冰山 - 知乎专栏，抓取并汇总所有的答案，方便大家阅读，找出2015年最热门和最衰落的行业&lt;img src="https://pic3.zhimg.com/50/4cd39c827e666b84cbd24c79f7ace246_hd.png" data-rawwidth="734" data-rawheight="378" class="origin_image zh-lightbox-thumb" width="734" data-original="https://pic3.zhimg.com/4cd39c827e666b84cbd24c79f7ace246_r.png"&gt;有空的时候，准备写爬虫分析知乎的关系链。有空的时候，准备写爬虫分析知乎的关系链。有空的时候，准备写爬虫分析知乎的关系链。2、汽车之家大数据画像：宝马车主究竟有多任性？ - 数据冰山 - 知乎专栏，利用论坛发言的抓取以及NLP，对各种车型的车主做画像。&lt;img src="https://pic1.zhimg.com/50/1824a7d2a09c6f0de7e41e9b2c549450_hd.png" data-rawwidth="786" data-rawheight="295" class="origin_image zh-lightbox-thumb" width="786" data-original="https://pic1.zhimg.com/1824a7d2a09c6f0de7e41e9b2c549450_r.png"&gt;3、天猫、京东、淘宝等电商网站超越咨询顾问的算力，在用户理解和维护：大数据改变管理咨询（三） - 数据冰山 - 知乎专栏，抓取各大电商的评论及销量数据，对各种商品（颗粒度可到款式）沿时间序列的销量以及用户的消费场景进行分析。&lt;img src="https://pic3.zhimg.com/50/795341959247dec67f28a5d23521acc2_hd.png" data-rawwidth="907" data-rawheight="227" class="origin_image zh-lightbox-thumb" width="907" data-original="https://pic3.zhimg.com/795341959247dec67f28a5d23521acc2_r.png"&gt;甚至还可以根据用户评价做情感分析，实时监控产品在消费者心目中的形象，对新发布的产品及时监控，以便调整策略。&lt;img src="https://pic2.zhimg.com/50/23ac5cfac6ec090332d21f034fa62b79_hd.png" data-rawwidth="897" data-rawheight="235" class="origin_image zh-lightbox-thumb" width="897" data-original="https://pic2.zhimg.com/23ac5cfac6ec090332d21f034fa62b79_r.png"&gt;4、58同城的房产、安居客、Q房网、搜房等房产网站下半年深圳房价将如何发展 - 数据冰山 - 知乎专栏，抓取房产买卖及租售信息，对热热闹闹的房价问题进行分析。&lt;img src="https://pic1.zhimg.com/50/1bc654e9bb342d4eb641ffbbefd8ff5c_hd.png" data-rawwidth="966" data-rawheight="280" class="origin_image zh-lightbox-thumb" width="966" data-original="https://pic1.zhimg.com/1bc654e9bb342d4eb641ffbbefd8ff5c_r.png"&gt;5、大众点评、美团网等餐饮及消费类网站黄焖鸡米饭是怎么火起来的？ - 何明科的回答，抓取各种店面的开业情况以及用户消费和评价，了解周边变化的口味，所谓是“舌尖上的爬虫”。&lt;img src="https://pic4.zhimg.com/50/f33c64adb95db5c74d333b6b3dd9d943_hd.png" data-rawwidth="915" data-rawheight="312" class="origin_image zh-lightbox-thumb" width="915" data-original="https://pic4.zhimg.com/f33c64adb95db5c74d333b6b3dd9d943_r.png"&gt;以及各种变化的口味，比如：啤酒在衰退，重庆小面在崛起。&lt;img src="https://pic3.zhimg.com/50/2537161e142a6653fb0e1a87e8b9b7c6_hd.png" data-rawwidth="789" data-rawheight="239" class="origin_image zh-lightbox-thumb" width="789" data-original="https://pic3.zhimg.com/2537161e142a6653fb0e1a87e8b9b7c6_r.png"&gt;6、58同城等分类信息网站花10万买贡茶配方，贵不贵？ - 何明科的回答，抓取招商加盟的数据，对定价进行分析，帮助网友解惑。&lt;img src="https://pic3.zhimg.com/50/a27ef823e193757105f0ba15810a13ca_hd.png" data-rawwidth="600" data-rawheight="423" class="origin_image zh-lightbox-thumb" width="600" data-original="https://pic3.zhimg.com/a27ef823e193757105f0ba15810a13ca_r.png"&gt;7、拉勾网、中华英才网等招聘网站互联网行业哪个职位比较有前途？ - 数据冰山 - 知乎专栏，抓取各类职位信息，分析最热门的职位以及薪水。&lt;img src="https://pic4.zhimg.com/50/d0210ef45481a726f27c345b2ebeee7b_hd.png" data-rawwidth="828" data-rawheight="250" class="origin_image zh-lightbox-thumb" width="828" data-original="https://pic4.zhimg.com/d0210ef45481a726f27c345b2ebeee7b_r.png"&gt;8、挂号网等医疗信息网站如何评价挂号网？ - 何明科的回答，抓取医生信息并于宏观情况进行交叉对比。&lt;img src="https://pic4.zhimg.com/50/c0f56f7a0b24ea0883a049a4937948fb_hd.png" data-rawwidth="907" data-rawheight="273" class="origin_image zh-lightbox-thumb" width="907" data-original="https://pic4.zhimg.com/c0f56f7a0b24ea0883a049a4937948fb_r.png"&gt;9、应用宝等App市场你用 Python 做过什么有趣的数据挖掘/分析项目？ - 何明科的回答，对各个App的发展情况进行跟踪及预测。（顺便吹一下牛，我们这个榜单很早就发现小红书App的快速增长趋势以及在年轻人中的极佳口碑）&lt;img src="https://pic4.zhimg.com/50/8bd72ca1d34a859c8e373b028924a503_hd.png" data-rawwidth="705" data-rawheight="227" class="origin_image zh-lightbox-thumb" width="705" data-original="https://pic4.zhimg.com/8bd72ca1d34a859c8e373b028924a503_r.png"&gt;10、携程、去哪儿及12306等交通出行类网站你用 Python 做过什么有趣的数据挖掘/分析项目？ - 何明科的回答，对航班及高铁等信息进行抓取，能从一个侧面反映经济是否正在走入下行通道。&lt;img src="https://pic1.zhimg.com/50/096b0c891066885a2476a3bbe71fe600_hd.png" data-rawwidth="600" data-rawheight="375" class="origin_image zh-lightbox-thumb" width="600" data-original="https://pic1.zhimg.com/096b0c891066885a2476a3bbe71fe600_r.png"&gt;11、雪球等财经类网站抓取雪球KOL或者高回报用户的行为，找出推荐股票&lt;img src="https://pic2.zhimg.com/50/c56146509995cf4462f4c3a9c803c52d_hd.png" data-rawwidth="847" data-rawheight="629" class="origin_image zh-lightbox-thumb" width="847" data-original="https://pic2.zhimg.com/c56146509995cf4462f4c3a9c803c52d_r.png"&gt;12、58同城二手车、易车等汽车类网站一年当中买车的最佳时间为何时？ - 何明科的回答和什么品牌或者型号的二手车残值高？更保值？反之，什么类型的贬值较快？ - 二手车，找出最佳的买车时间以及最保值的汽车。&lt;img src="https://pic3.zhimg.com/50/62c0985c92b1ae96ee4c1a71b3cba7aa_hd.png" data-rawwidth="767" data-rawheight="280" class="origin_image zh-lightbox-thumb" width="767" data-original="https://pic3.zhimg.com/62c0985c92b1ae96ee4c1a71b3cba7aa_r.png"&gt;13、神州租车、一嗨租车等租车类网站抓取它们列举出来的租车信息，长期跟踪租车价格及数量等信息&lt;img src="https://pic4.zhimg.com/50/14e6016cc914c05d690455c7d8948a87_hd.png" data-rawwidth="1257" data-rawheight="371" class="origin_image zh-lightbox-thumb" width="1257" data-original="https://pic4.zhimg.com/14e6016cc914c05d690455c7d8948a87_r.png"&gt;14、各类信托网站通过抓取信托的数据，了解信托项目的类型及规模&lt;img src="https://pic3.zhimg.com/50/c48f749a00a522c8490dac54fa92f5a2_hd.png" data-rawwidth="1283" data-rawheight="601" class="origin_image zh-lightbox-thumb" width="1283" data-original="https://pic3.zhimg.com/c48f749a00a522c8490dac54fa92f5a2_r.png"&gt;其实还有很多数据，不一一列举了。只要有爱数据的心和能爬的虫子，一切且有可能。顺利安利一下，抓取数据只是很小一部分，我们更擅长的是数据分析挖掘、可视化以及个性化的推荐。
作者：赵澈
链接：https://www.zhihu.com/question/36132174/answer/88579592
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

其实上个月就看到这个问题下有对知乎的数据分析，拿了好多赞。我虽然也想分享我们做的东西，但苦于原材料全是英文，style也比较严肃，调整起来比较烦。终于拖到现在，完成了整个内容的转述，并且加入了一些新的思考。本项目的源起其实要感谢@苏莉安，当初就是因为看到他在专栏上发的两篇知乎数据分析的文章，觉得知乎非常有分析的价值，于是在一个Course Project里提出了这个题目。正如文中已提到的，这个小项目其实远远没达到令人满意的程度，挖得太浅，实际处理的数据量也很小，我其实是还想继续做下去的。如有任何问题敬请指正，如有知友想要在此基础上继续做点啥的也请让我知道。本文的简书版链接：知乎社交网络分析（上）：基本统计知乎社交网络分析（下）：关注网络------------------------------------------------------上篇-基本统计--------------------------------------------------------1.0 简介本文源自我在2015年Social Computing课程中参与的一个小组项目，主要语言为Python。项目的原始材料为英文撰写，内容包括了从爬取知乎数据一直到结果分析的整个过程。在本文中我打算略去数据爬取和数据库I/O的部分，重点在分享一些有趣的结论。分析过程若有不周之处，还望指正。为保证可读性，本文将分为上下两篇，一篇只涉及数据介绍及基本的统计分析，另一篇是基于用户关注网络和关注话题进行的分析。如果对这个小项目的全貌感兴趣，甚至想要自己fork过来玩玩，这里是项目的Github传送门。数据的压缩包可以在这里下载（使用请注明来源为本答案页面）。(由于时间精力有限，想要做的远远比已经做了的多，数据量也很不让人满意，如果有童鞋感兴趣咱一起继续啊~)1.1 数据（自带吐槽模式开启）虽说不讲数据爬取，但要说清楚我们所使用的数据到底是啥，还是得简单提一下的。2015年10月，我们使用了本人的知乎账号作为种子，先获得了所有我关注的用户的数据，再获得了这些用户所关注的用户的数据，所以算上种子的话一共是3层的广度遍历（注意其实这个数据可能是存在严重bias的，毕竟seed是一个逗逼，逗逼关注的人呢...咦怎么感觉脖子一凉）。这里的用户数据包括：用户的回答数，用户获得的赞同数、感谢数，用户关注的人和关注用户的人，用户回答过的问题以及每个问题的话题标签。这里给出数据的简要统计信息：数据库文件: 688 MB（SQLite）数据包含：2.6万名用户, 461万条关注连接, 72万个问题这里是一张数据全貌的图示：<img src="https://pic2.zhimg.com/50/eb5f4b2961dc2384748a5157c07c5e01_hd.png" data-rawwidth="1240" data-rawheight="1299" class="origin_image zh-lightbox-thumb" width="1240" data-original="https://pic2.zhimg.com/eb5f4b2961dc2384748a5157c07c5e01_r.png">下面将着重介绍我们所做的分析。1.2 玩的不是同一个知乎：均值、中位数与标准差要告诉别人我们在知乎上混得怎样，最基础的几个指标是什么呢？一定是关注、回答、赞同、感谢。所以我们首先对用户的关注数（followee）、关注者数（follower，粉丝数）、回答数（answer）、收到赞同数（agree）和收到感谢数（thanks）的平均数、中位数以及标准差进行了计算，结果如下表：<img src="https://pic4.zhimg.com/50/26e4356e9d5277dd855939b562cb1313_hd.png" data-rawwidth="814" data-rawheight="326" class="origin_image zh-lightbox-thumb" width="814" data-original="https://pic4.zhimg.com/26e4356e9d5277dd855939b562cb1313_r.png">这里其实就有许多有趣的结论了。首先我们看平均值，哇，平均每个人有三千多粉丝，三千多赞同，再看看可怜的我，306个粉和837个赞，而且他们回答的问题也并不多啊，却有那么多赞和粉丝，还让不让人玩知乎了？再看看中位数，顿时心里好受一些了，原来我混得挺不错嘛，五个指标都是我比较大，真开心（你是不是傻）。究竟是什么原因造成平均值和中位数差异这么大呢，也许我们能从标准差看出来一些端倪——太大了，粉丝数和赞同数的标准差甚至超过了两万。这意味着什么呢？我们知道，标准差其实衡量了数据个体之间的离散程度，也可以解释为大部分的数值和其平均值之间的差异。因此这么大的标准差可以说明知乎用户之间的差距可能略大于整个银河系（雾），同时也说明绝大部分用户的数值和平均值有很大的差距，要么大得离谱（比如），要么小得可怜（比如我）。有人可能会不服气，说标准差严重依赖于数据本身的scale，不能充分说明问题。那么这里使用标准离差率（标准差除以平均值）来算算赞同数，21951.4/3858.4 = 568.9%。我~就~问~你~服~不~服~以上现象还可以导出一个猜测，那就是知乎用户的这五个指标的值分布，都不大可能是正态分布及其近似。让我们回想正态分布的样子：<img src="https://pic4.zhimg.com/50/40fe7cfbb6af5b7c177044b334081efb_hd.png" data-rawwidth="525" data-rawheight="263" class="origin_image zh-lightbox-thumb" width="525" data-original="https://pic4.zhimg.com/40fe7cfbb6af5b7c177044b334081efb_r.png">（图片来源：https://zh.wikipedia.org/zh-cn/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83）如果是正态分布，中位数（最中间的值）、众数（最多的值）以及平均值三者至少应该是非常接近的，然而我们这里却是地月距离（怎么一下缩水那么多）。1.3 当雪球滚到最后：长尾和幂律分布为了进一步验证1.2的猜测，我们绘制了五个指标的分布图（Distribution Graph）。<img src="https://pic1.zhimg.com/50/8eeb0a9ec15ee9beb50fa676c757f224_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic1.zhimg.com/8eeb0a9ec15ee9beb50fa676c757f224_r.png"><img src="https://pic3.zhimg.com/50/308db43bcfac4d9556724f2703f84196_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic3.zhimg.com/308db43bcfac4d9556724f2703f84196_r.png"><img src="https://pic3.zhimg.com/50/708232e90ff6400082c14fdc1d1c9cb6_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic3.zhimg.com/708232e90ff6400082c14fdc1d1c9cb6_r.png"><img src="https://pic1.zhimg.com/50/3dc8a51c8e291b3cf6dff6a1e8eb2b44_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic1.zhimg.com/3dc8a51c8e291b3cf6dff6a1e8eb2b44_r.png"><img src="https://pic2.zhimg.com/50/4274b1787f6480121286f39998b05b65_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic2.zhimg.com/4274b1787f6480121286f39998b05b65_r.png">这里说明一下这五张分布图的含义，横轴表示指标的具体数值，纵轴表示有多少用户具有该指标值。需要注意的是横轴值和纵轴值都取了以10为底的log，这是研究中一种常见的处理办法，能够使图所表达的信息更清晰。以感谢数分布图为例，那个最左上方的点表示在这两万多知乎用户里面，有大于10的三次方也就是1000的人没有获得一个感谢（摸摸大）；而最下面那一排点则是说，感谢数是x1，x2，...， xn (反正都不小)的用户，都只有一个人——注意仅这一排点并不能形成什么有效的结论，因为可能感谢数100的只有一个人，101的就有好多人了，这一定程度上大概是因为数据量小，采样不足。但是如果把下面几排点放到一起考虑，也许会更有启发一些。顺便提一句，其实关注数和粉丝数的分布图分别还有另外一个名字，它们其实是知乎用户关注网络的出度（out-degree）分布图和入度（in-degree）分布图，这点在下篇中还会有所提到。如果是对这种分布图比较熟悉的童鞋，应该一眼就能看出，这绝壁不是正态分布，而极有可能是幂律（power law）分布（不过因为懒我们并没有做拟合去验证），这种分布在许多有人参与其中的网络中都会出现。此外，仔细比较这五条曲线的整体形状，有没有觉得有两条与另外三条略有不同？一条是关注数，一条是答案数，这两条曲线向外的弯曲程度似乎更明显，也就是说随着横轴值的增大，纵轴值减小的趋势相对较慢，而恰好五个指标里只有这两个是某个用户自己可以控制的，而其他三个指标则是由其他用户形成的群体所控制，这是很奇妙的一点，我觉得其实还有深挖的可能性。现在让我们以感谢数为例，再画另外一种分布图。横轴表示每个用户的index也就是0，1， 2， 3...，顺序由感谢数大小决定，纵轴则是该用户收到感谢数的具体数值：<img src="https://pic3.zhimg.com/50/73678bce8606203e15d520d8c47554fa_hd.png" data-rawwidth="1240" data-rawheight="606" class="origin_image zh-lightbox-thumb" width="1240" data-original="https://pic3.zhimg.com/73678bce8606203e15d520d8c47554fa_r.png">看到那个突破天际的点了吗，二十七八万的感谢（其实这个点在前面那张感谢数分布图中也出现了，你还认得仅在几个自然段以外的它吗）！再看看下面那条长长的尾巴，人艰莫拆。再来看一个更夸张的，赞同数：<img src="https://pic3.zhimg.com/50/48452fc9cf0015360de4941203ba1ee2_hd.png" data-rawwidth="1240" data-rawheight="606" class="origin_image zh-lightbox-thumb" width="1240" data-original="https://pic3.zhimg.com/48452fc9cf0015360de4941203ba1ee2_r.png">其他三个指标的图的形状也基本如此。苏莉安曾使用远大于我们的数据量做了类似的分析，结论是一致的。总结一下就是：大多数人小得可怜，却有极少数人大得可怕，一点也不正（可）态（爱）。前几年不是有本书很火吗，叫做《长尾理论》？所谓长尾，指的就是这样一种现象（附送我对该现象的一些解释：什么是「长尾效应」 ？ - 赵澈的回答）到这里不由得让人提到另外一个东西：马太效应。所谓穷的人越来越穷，富的人越来越富，感觉上其实就是长尾效应的动态解释（最近打算看看有没有相关的文献）。富的人掌握大量资源，因此更可能攫取更多资源，而穷的人则相反；大V因为有名而得到更多关注，同时因此变得更加有名；玩游戏carry从而得到更多钱，有了钱买装备又更可能carry。这是典型的正（滚）反（雪）馈（球）。最后造成的结果，就是长尾现象。1.4 论如何滚成人生赢家：赞同与关注这一节可以算是对上一节结论的一个支撑。下面这张图同时包含了用户的赞同数和粉丝数两个指标：（!密集恐惧症高能预警!）<img src="https://pic3.zhimg.com/50/5c55de6f2ac74caf3e0032cd60804672_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic3.zhimg.com/5c55de6f2ac74caf3e0032cd60804672_r.png">我想不需要我们再做个回归什么的了，一看就是赤裸裸的正相关啊。这也为我等如何冷启动逆袭成为知乎大V提供了理论支持——要么你就有本事回答出几个赞数突破天际的答案，要么你一开始就很有名，没写啥答案也能吸粉...（说的都是屁话...）------------------------------------------------------下篇-关注网络---------------------------------------------------------2.0 社交网络是什么？在上篇所述的基本的统计分析之后，我们已经对知乎用户的赞答谢关四个方面的总体情况有了一些了解。现在，让我们先来考虑这样一个问题：我们平常所说的社交网络或者说社会网络，到底是什么意思？也许你会讲，这还不简单，只要一个事情有多人参与，自然就会具有社交的性质，从而产生社交网络。那么让我们思考思考，维基百科算不算具有社交性质？维基百科确实有很多人参与编辑词条啊，但是这些人之间有没有更直接的互动呢？假设编辑者们通过QQ、微博之类进行互动，那产生出的社交性质算不算是维基百科本身所具有的社交属性呢？即使维基百科提供评论区之类的功能，可以使编辑者之间直接互动，这些互动仍然是基于某个词条的，只要这个词条没什么大问题了，互动基本上也就随着编辑的停止而停止了。我认为这种临时建立起来的关系，并无法得到一个较为稳定的社交网络。让我们再来思考一个例子。我们知道，一门科学源自跨越时代的许多人的共同贡献，那么这许多人，能够构成社交网络吗？当然不能。所谓牛顿和爱因斯坦的对话只是一种修辞，一篇已经发出的论文，如何能引用一篇未来的论文？但是当我们考虑到同一时代的同一学科，情况就有所不同，学者之间确实存在着各种交流合作的可能，因此我们可以认为学术领域的共同作者关系（Co-authorship）形成的网络其实是带有社交性质的。从以上粗略的思考中我们或许可以总结形成社交网络的几个条件：多主体的直接互动、互动的长期性、互动的近同时性。现在让我们重新回到知乎上面来。赞同、感谢、回答、关注，哪一种用户行为最满足以上三个条件？回答是基于问题的，知乎的产品设计并不突出是谁提出了某个问题，并且一个问题可以被不同的人进行编辑（类似维基百科的权限设计），也就是说回答者一般不大在意是谁提出了问题，所以回答连互动都称不上；赞同、感谢以及我们之前没有提到的评论，相对来说互动得稍微直接一点，但是鼠标一点了事，不具有长期性；只有关注关系，同时满足了三个条件。这里可能会有一个疑问，关注也只是鼠标那么一点，这能算长期的吗？不要忘记知乎的时间线（Timeline）机制，这使得关注者有更大的概率看到被关注者的活动并与之进行互动，并且只要关注不取消，这种对时间线的影响就是长期的。到此，我们可以认为，如果想要对知乎从社交网络的角度上进行分析，首先就可以考虑知乎用户之间的关注关系。接下来开始介绍我们对此进行的具体分析。2.1 分析对象和分析方法首先来了解一些网络的基本知识：一个网络可以被表示为一种图（graph），其中包含点（vertex / node）与边（edge / link）两种基本要素。边可以具有方向性，也就是说对于一个点来说，可以有外连边（out-link）和内连边（in-link）两种边。如果边是具有方向性的，那么这种图称为有向图（directed graph），反之称为无向图（undirected graph）。图反映了点与点之间的某种相关关系，这种关系由边表现。回到知乎上，我们知道关注和被关注实际上是一件事情的两个角度。A关注了B，等价于B被A关注。在我们所爬取的数据中（见1.1中的数据全貌图），我们知道这2.6万用户中的每个人都关注了哪些人。也就是说，我们知道了2.6万用户点的所有外连边。从另一个角度想，我们其实也知道在这2.6万用户之间谁关注了谁（蓝圈以内的部分），加上他们关注了其他什么人（蓝圈以外的部分）。因此我们只能分析这2.6万用户（红色实心圆），因为我们并不知道其他的人（红色空心圆）的所有连接，这是由我们的广度优先爬取机制所导致的，不爬完知乎整站，不会有真正完整的数据（那些没人关注的账号应该可以忽略）。此外，即使剔除了蓝圈以外的部分，涉及的连边数仍然具有很大的量级，计算量会是一个问题，所以在这个项目中，我们仅仅选取了这2.6万用户的两个有趣的子集进行分析：获得赞同数大于1万的用户（共1895人）、获得赞同数大于5万的用户（共375人）。方便起见，我们将他们分别命名为Net10k和Net50k，其实可以说就是两个不同级别的知乎大V群体了。接下来讲讲分析方法。一个网络图，别看里面只有点和边两种东西，其实可以包含复杂到极点的各种现象与性质。网络分析，或者进一步说复杂网络领域之中，存在大量人们为了描述网络的现象而定义的概念、以及为了量化网络的特征而设计的指标。后文将要涉及的分析建立在其中最基本的一些概念和指标上，如果对它们逐个详细介绍，那么本文篇幅会大大加长，而且会多出不少数学公式，这不符合我对本文的写作预期。因此我打算尽量从直觉（intuition）上来解释它们分别表达了什么的含义，即使给出定义也不求严格（数学公式才可带来最清晰严格的定义），重点仍在对分析的思考。此外，由于我们所讨论的知乎关注网络是有向图，后面所有的指标和算法都只讨论有向图的。当然，如果读者已有一定的基础，可以直接跳过相关的段落。2.2 抱团的大V们：网络总体特征一直以来知乎就给人一种印象，那就是大V们喜欢抱团。你关注我、我关注他、他又关注你，形成了紧密的圈子。那么我们怎样来量化这种特征？假设有A、B、C三个用户组成的关注网络，其中唯一的边是A->B，那么你觉得这个网络是否紧密？我们可以这样想，三个人之间最多可以有6条边，那么我们可以用1除以6来表示这个网络的紧密程度。如果6条边都存在，那么紧密程度是1，都不存在则为0。这就是所谓图的密度（density）。Net10k和Net50k的密度分别是0.064和0.195，到这我们可以猜测，获得赞同更多的大V之间，关注关系也更为紧密。接下来我们从另一个角度考虑这个猜测，先补充几个定义：点的度（degree）：与一个点通过边相连的其他点的数量和，被称为这个点的度。有向图中一个点存在出度和入度两个度，一个只看它能到达哪个点，一个只看哪些点能到达它。对于知乎的关注关系而言，我们很容易就能看到出度就是你关注的人数，入度就是关注你的人数；点与点之间的路径（path）：假如从点A出发，经过一条或更多条边，到达了点B，那么我们称这些边按顺序相连形成了一条A与B之间的路径。两点间的路径数量一定是大于等于0的。假设每条边的长度相等，那么包含边数最少的路径，便是所谓最短路径（shortest path），最短路径的长度一般被认为是两点之间的距离（distance）；图的平均最短路径长度（average shortest path length）：对于一个网络而言，将所有点两两之间的最短路径长度进行算术平均，得到的就是所谓平均最短路径，可以用来衡量网络中点之间的平均距离。传说中的六度分隔（Six Degree Seperation），其实指的就是一个网络的平均最短路径长度为6（这里大家可以想想边、度和路径三者间的联系）；点的偏心率（eccentricity）：对于图中的任意一点P，算出它与其他各个点的最短路径长度（距离），其中最大的距离称作点P的偏心率。图的半径（radius）与直径（diameter）：图的半径、直径分别是图中最小的、最大的点偏心率。注意图的直径不必然是半径的两倍。图的强连通子图（strongly connected subgraph）：设想一个网络图G的一个子图G'（意味着G'中的点和边都只能从G中挑），其中每一个点都能通过某条路径到达另一个点，则我们说G'具备强连通性，而且是G的一个强连通子图。这里注意，单独一个点我们也认为是强连通子图，虽然单个点并没有值得研究的；图的强连通分量（strongly connected component）：G的一个极大的强连通子图G''（意味着再往G''加任何G中剩下的点，都会破坏其强连通性）被称为G的一个强连通分量。这里需要注意，极大并不代表很大；字好多看烦了吧，终于可以上图啦，下面分别是Net10k和Net50k的强连通分量示意图：<img src="https://pic3.zhimg.com/50/b9619bac9204a227bcb86644a63ae7de_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic3.zhimg.com/b9619bac9204a227bcb86644a63ae7de_r.png"><img src="https://pic2.zhimg.com/50/c914a4ea157452a0f1d9b5524453bcad_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic2.zhimg.com/c914a4ea157452a0f1d9b5524453bcad_r.png">其中每一个红色圆圈都代表一个强连通分量，每条线（其实是很抽象的箭头orz）代表一条路径。光看这个我们还不清楚情况，我们来看二者对应的一些指标数据：其中每一个红色圆圈都代表一个强连通分量，每条线（其实是很抽象的箭头orz）代表一条路径。光看这个我们还不清楚情况，我们来看二者对应的一些指标数据：其中每一个红色圆圈都代表一个强连通分量，每条线（其实是很抽象的箭头orz）代表一条路径。光看这个我们还不清楚情况，我们来看二者对应的一些指标数据：<img src="https://pic3.zhimg.com/50/b22d8dff738289454107381e89ae43fe_hd.png" data-rawwidth="631" data-rawheight="198" class="origin_image zh-lightbox-thumb" width="631" data-original="https://pic3.zhimg.com/b22d8dff738289454107381e89ae43fe_r.png">总结一下我们知道了什么：基本上Net10k和Net50k这两个图就是强连通的，别说抱团了，这已经根本就是挤成一坨（好吧，一个圈子）。除了一个巨大的圈子，群体里就剩几个特立独行的高冷大V（都是只包含一个点的强连通分量），他们受到了其他大V的关注，但却没有任何回粉。在网络中，这种点也被称为悬挂点（dangling nodes）；现在我们重点分析两个最大的强连通分量，连通倒是连通，但是如果A要经过100个人才能到B，那估计光凭关注关系，他们是没有缘分了。将Net10k和Net50k的最大强连通分量分别命名为Net10k-C和Net50k-C，以下是两者对应的指标数据：<img src="https://pic3.zhimg.com/50/a42cc5ac2640f643dc3811b049595cba_hd.png" data-rawwidth="631" data-rawheight="201" class="origin_image zh-lightbox-thumb" width="631" data-original="https://pic3.zhimg.com/a42cc5ac2640f643dc3811b049595cba_r.png">如果你就是Net50k-C中的一个大V，还不认识其中的另一个大V？没关系，你关注的关注的关注...总会有他，所以你们总有机会看到彼此。强连通保证了总会有一条路径，平均最短路径向你保证平均来讲这条路径很短，只有2左右。直径和半径则告诉你在最坏情况下（你们碰巧是整个圈子里相距最远的两位），这条面基道路的长度在2到5（4）之间。What a small world，喜鹊们（雾）如是说。再来对比Net10k-C和Net50k-C的平均最短路径长度和直径，后者都比前者要小，从另一个角度说明后者的关注圈子更紧密。而且注意一点，这些大V是来自各个不同的专业领域，但都紧抱在一起，这也是很有趣的现象，有进一步分析的价值。2.3 给大V排个位：网络连接分析上节侧重于对知乎大V关注网络的整体进行分析，这固然很有趣；但或许更有趣的是这个整体之中的每个个体，同样是赞同数很高的大V，他们彼此之间是否能一较高下呢？他们在关注这种社交行为上是否具有差异，如何衡量这种差异？这是本节涉及的问题。让我们先来设想一个简单的关注网络，其中只有A、B、C三个人。A关注了B，B关注了A，A、B同时关注了C，而C谁也不关注，如下图所示：<img src="https://pic3.zhimg.com/50/1331fec9d34e5196ffce2ebac11bdade_hd.png" data-rawwidth="869" data-rawheight="781" class="origin_image zh-lightbox-thumb" width="869" data-original="https://pic3.zhimg.com/1331fec9d34e5196ffce2ebac11bdade_r.png">那么你觉得光凭关注关系来看，A，B，C谁更“牛”？从直觉上来说当然是C，因为C在三人之中得到了最多的关注。但是否只要粉丝更多就能说明更“牛”呢？下面我们在这个网络的基础上，来考虑几种很有趣的情况：多了10个自己粉丝数为0的用户，同时关注A多了10个用户，他们彼此全部互相关注，除此之外都没有其他粉丝多了10个自己粉丝数为1的用户，同时关注A，并且每个人还分别关注了10000个其他用户那我们能说1里的A，或者2里的10个用户比C更牛吗？前两种情况明显不合道理，可以说是较为典型的作弊行为。作弊利用了单纯粉丝数排序的漏洞：没有考虑到每个关注连接的质量差异。第三种情况算是一种正常现象，但是你会觉得，这些用户一个是只有1个粉丝，几乎等于0，另一个是他们关注了那么多用户，那么他们关注A，真是因为A很重要吗？既然发现了漏洞，那么假如不考虑赞同数等其他因素，我们是否有可能通过关注网络本身来予以解决呢？从直觉上来说，我们可以想到的是，用粉丝自己的粉丝的质量来衡量这个粉丝的质量，但粉丝的粉丝的质量又需要粉丝的粉丝的粉丝的质量来衡量...那么到底最后是个什么情况？到这里我们看到了日常语言结构所能承载的思维深度之浅薄，当一个问题到达这个复杂度，语言已然苍白无力，不得不将它托付给数学。PageRank算法（其与Google的关系我就不赘述了）就是一个数学上非常优美的答案，不仅考虑到前述的连接质量问题，还解决了所有特殊情况——无论关注网络是什么样子的，都保证能得到一个满意的用户重要程度排序。下面是我们对Net10k和Net50k分别计算PageRank值，注意这里只考虑大V们内部的连接，此外圈子里所有大V的PageRank值相加等于1。最后得到排名前五的知乎大V用户如下：<img src="https://pic4.zhimg.com/50/d935f57cee51eff0ec71c10526d6cb4f_hd.png" data-rawwidth="629" data-rawheight="236" class="origin_image zh-lightbox-thumb" width="629" data-original="https://pic4.zhimg.com/d935f57cee51eff0ec71c10526d6cb4f_r.png"><img src="https://pic2.zhimg.com/50/e24d119646278bd94382a93e71b4b7b1_hd.png" data-rawwidth="632" data-rawheight="235" class="origin_image zh-lightbox-thumb" width="632" data-original="https://pic2.zhimg.com/e24d119646278bd94382a93e71b4b7b1_r.png">这些便是站在知乎大V巅峰的大V们了，是否觉得有一定道理呢？注意比较Net10k和Net50k前五用户的PageRank值，前者比后者小，这主要是因为总和为1的PageRank资源被更多的大V们分掉了。下面让我们再考虑一点，所谓的“重要”，其实要看我们的目的是什么。假如我们是要看更多的好答案或者想要找人出书约稿，那么直接找到好答案的答主就好，而这些答主往往吸引了最多的关注，所以我们仅仅需要知道谁受到的关注最强（比如下图中的C）。但是光是通过关注，我们会漏掉那些暂时没有得到太强关注的好答主（可能是刚刚加入知乎的大V潜力股），然而我们又不可能自己去一个一个挖掘这些好答主，如何是好？简单，假如你能找到几个类似牵线人的用户（比如下图中的D）你相信只要是他们关注的用户，质量都不会差，都合你口味，事情就简单了。你只需要不时看看他们都关注了谁，就能发现更大的世界。这其实也算是一种用户推荐系统的可行思路，这里就不展开了。<img src="https://pic4.zhimg.com/50/9ec53ed583f7e6a5ca07964e3ff0b713_hd.png" data-rawwidth="825" data-rawheight="785" class="origin_image zh-lightbox-thumb" width="825" data-original="https://pic4.zhimg.com/9ec53ed583f7e6a5ca07964e3ff0b713_r.png">HITS算法便能做到只使用关注网络，通过权威度（Authority）和枢纽度（Hub）为我们分别挑出好的答主，和好的牵线人。上面的基于直觉的分析是否说得通呢？让我们看看Net10k和Net50k的权威度和枢纽度前五名：<img src="https://pic1.zhimg.com/50/9f8fd43cb2637e70a46ebfb51169a27c_hd.png" data-rawwidth="786" data-rawheight="296" class="origin_image zh-lightbox-thumb" width="786" data-original="https://pic1.zhimg.com/9f8fd43cb2637e70a46ebfb51169a27c_r.png"><img src="https://pic1.zhimg.com/50/d86edd0f92f85295a51006f19ac52370_hd.png" data-rawwidth="633" data-rawheight="236" class="origin_image zh-lightbox-thumb" width="633" data-original="https://pic1.zhimg.com/d86edd0f92f85295a51006f19ac52370_r.png">Auth（好答主）方面，我相信大家应该能认同这样的结果名单。值得一提的是在两个大V群体之中，@张佳玮（顺便提一下，张佳玮张公子就是上篇中那个在各条曲线中高高在上的闪亮极点）和@梁边妖调换了位置，很有趣。另外在Net50k中，@采铜 老师一跃进入前五，@马伯庸 马亲王（祥瑞御免）上升一名，黄继新则掉了出去。这些现象或许反映了不同大V群体的一种喜好倾向的差异。Hub（牵线人）方面，说实话我个人只认识@徐湘楠一个人，其中还有一位目前处于账号停用状态，这里便不做过多分析。只有一点比较有趣，作为大V，粉丝数很大很正常，然而这些用户关注的人数也算是很多的，好几个甚至达到了几千，不可不谓之具有某种交际花属性。另外提一下，Net10k Hub的第五名，叫干脆面的用户，我已经无法知道是谁了，原来的用户ID是wang-wang-wang-08-18，现在改掉了，总觉得跟徐湘楠（ID：miaomiaomiao）之间存在着某种联系...综合来看，HITS和PageRank有不少相同的用户入榜，这是为什么呢？我给一个直觉上我认为对的解释，其实PageRank的值是Hub值和Authority值的一种叠加（其实感觉更像是乘的关系）后的结果，这样Hub或Auth中的一种很强，另一种也不弱时，PageRank便相应比较高，这样两种算法得到部分相同的结果便很正常了。@黄继新是一个典型的例子，他的Auth值和Hub值在Net10k和Net50k中虽然都不是最高，但都排到前20名，而他的PageRank则是第一。既有内容，又能充当渠道。2.4 不均衡中的均衡：Closeness和Betweenness中心度到此先让我们总结一下，如果要衡量一个用户在关注网络中的“重要程度”，我们可以利用这几种指标：该用户的粉丝数，即入度（In-degree）该用户的PageRank值该用户的HITS值它们在网络分析中也可被归为同一类指标：点的中心度（Centrality）。但我们发现，其实三种指标所表达的“重要”，其含义是不完全一样的，同一个网络，同一个节点，可能不同的中心度排名会有不小的差距。接下来请允许我介绍本项目中涉及到的最后两种点的中心度：点的近性中心度（Closeness Centrality）：一个点的近性中心度较高，说明该点到网络中其他各点的距离总体来说较近，反之则较远。假如一个物流仓库网络需要选某个仓库作为核心中转站，需要它到其他仓库的距离总体来说最近，那么一种方法就是找到近性中心度最高的那个仓库。点的介性中心度（Betweenness Centrality）：一个点的介性中心度较高，说明其他点之间的最短路径很多甚至全部都必须经过它中转。假如这个点消失了，那么其他点之间的交流会变得困难，甚至可能断开（因为原来的最短路径断开了）。因此假如要hack一个网络的话，对哪个结点下手你懂的。从另一个角度想，这些点简直就像是等在丝绸之路上必经关口的强盗。不留下买路钱？让你无路可走，生意就别做了。这两种中心度我目前并未找到很公认的中文翻译，姑且自己翻译了。另外同PageRank和HITS一样，由于指标的计算稍显复杂，这里就不详细叙述了。但是我们都使用的是网络分析库Networkx中的算法实现，对详细算法有兴趣的读者可自行查阅其文档。本项目中我们分别计算了Net10k和Net10k的近性中心度和介性中心度，并画出了分布图。由于我们当时考虑欠周，算出的近性中心度是基于外连接而不是内连接的，我认为意义不大（你总是可以让自己关注更多人，从而得到更大的近性中心度），所以本文决定略过。下面主要说一下介性中心度，其于Net10k和Net50k的分布图分别如下：<img src="https://pic3.zhimg.com/50/da9fe5962ece8bed5acf4f64af370ac6_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic3.zhimg.com/da9fe5962ece8bed5acf4f64af370ac6_r.png"><img src="https://pic3.zhimg.com/50/2fda07b90aa4d4ef86d9b8b6acde822e_hd.png" data-rawwidth="800" data-rawheight="595" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic3.zhimg.com/2fda07b90aa4d4ef86d9b8b6acde822e_r.png">我们又得到了两条长长的尾巴。图中横坐标表示每一个特定的大V，纵坐标是大V相应的介性中心度。长长的尾巴表明大部分大V的介性中心度接近0，即使长尾以外有少数几个人远超其他人，但介性中心度的值依然很小。这说明什么？说明这些大V即使退出知乎，也几乎不会影响其他大V之间建立关注关系。没了你，我还有许多其他最短路径到达另外一个大V。这进一步说明什么？说明大V的关注网络是如此健壮，健壮到即使失去许多结点，对整个圈子的连通几乎毫无影响。再横向比较一下Net50k和Net10k，可以看到这种随着圈子增大，幂律变得更强，除了少数点，大部分的人介性中心度都更趋近于0，人数的增加进一步稀释了大多数人的“独特性”，直觉上我相信继续扩大这个圈子，到Net5k、Net1k甚至知乎全体用户，这种健壮性只会越来越强，虽然人与人相比存在指数级的差异，但对整个网络本身而言，每个人几乎同等重要，也同等不重要。这或许可以称之为知乎关注网络所具有的一种不均衡中的均衡吧。2.5 大V都在关注什么：热门话题分析最后，我们尝试了一种获得知乎上热门话题的办法（本项目中唯一涉及内容的分析），先取得Net10k和Net50k的支配集（Dominant set，这里由于我认为实际上不用这个子集结果也不会有显著区别，所以就不解释这个概念了），然后统计集合中所有用户的回答所对应的问题标签，最后对各个话题标签按出现次数排序。以下分别是二者的前20名：Top 20 from Net10k:调查类问题 3792, 生活 3096, 历史 1713, 恋爱 1464, 心理学 1432电影 1419, 人际交往 1404, 社会 1332, 互联网 1214, 情感 1197政治 1028, 两性关系 994, 教育 897, 中国 823, 人生 815游戏 805, 文学 772, 知乎 772, 法律 750, 音乐 738爱情 699, 文化 659,创业 628, 大学 621, 程序员 619心理 617, 你如何评价 X 609, 女性 604, 编程 585, X 是种怎样的体验 582Top 20 from Net50k:生活 1435, 调查类问题 1365, 政治 1285, 历史 1204, 电影 1084健康 996, 社会 984, 医学 941, 恋爱 717, 中国 695两性关系 688, 英语 678, 人际交往 640, 心理学 634, 互联网 595法律 587, 微软（Microsoft） 555, 美国 552, 健身 538, 编程 511我个人认为大V们回答的问题所对应的话题，能够从一定程度上反映了知乎这个平台总体的话题领域热门程度。另外，我觉得排在最前的一些热门话题也在一定程度上解释了为什么不同领域的大V会抱团，因为不论处于什么专业领域，人们对于生活、历史、电影等人文和泛娱乐话题总是会感兴趣的，一旦都感兴趣，又都有不错的见解和分享，自然更容易惺惺相惜。到此，本文终于可以画上句号了，欢迎交流、讨论与点赞（最后一个才是你发自内心的呐喊吧喂）。在此还要感谢和我一起参与本项目的其他三个小伙伴，四个人一起才得以在短短时间内做到这种程度（项目report里有我们的详细分工）。感谢@egrcc的zhihu-python，帮我们省去了一部分爬虫编写的时间。最后再重复一遍，如果有想要和我一起，在这些工作的基础上继续做一些有趣的分析的童鞋，请一定联系我！
https://www.zhihu.com/question/38192299/answer/125408708
作者：草帽君
链接：https://www.zhihu.com/question/55522117/answer/145075810
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

明确你学爬虫是为了什么。为了好玩，那就Python3，妥妥的。话说Python2.7到2020年就停止维护了，并且Python3现在有很多新特性，至于学爬虫需要的第三方库比如Requests、BeautifulSoup也都支持Python3了，这点不用担心。话说现在连Scrapy这个写爬虫的大杀器也支持Python3了吧。为了工作，那还是Python2.7吧。之前知乎上有位网易的工程师统计过身边各大互联网公司使用Python版本的情况，70%的人都用的是Python2.7。所以找工作的话，最好还是先学Python2。至于咋学呢？基础语法的话，廖雪峰的教程就挺好（Home - 廖雪峰的官方网站），2.7和3都有。实在想看书，那就Python学习手册（第4版） (豆瓣)和Python基础教程 (豆瓣)二选一。你要是觉得这两本书太旧，并且都是讲python2的，那你就看这本，Python编程：从入门到实践 (豆瓣)，最新的python3，很新很良心的一本书，16年出版，内容详实，布置合理，绝对是初学者入门的首选。爬虫部分的学习，想看书的话，Python2.7的话，看这本，用Python写网络爬虫 (豆瓣)，16年8月出版的，不用担心过时，很良心的一本书。由浅入深，一步步地带你实现并完善一个爬虫。&lt;img src="https://pic1.zhimg.com/50/v2-81f85922b3ddfb7e8fa57a1a0b70e48c_hd.jpg" data-rawwidth="327" data-rawheight="405" class="content_image" width="327"&gt;Python3的话，看这本，Python网络数据采集 (豆瓣)，也是16年出版，同样也是介绍的很全面的一本书，urllib，正则，BeautifulSoup，Requests，正则，Scrapy，数据库等等你日后能用到的东西都讲到了，还有数据清洗和自然语言处理等比较高级的知识。&lt;img src="https://pic2.zhimg.com/50/v2-260493d868b3794e695428236e6674a5_hd.jpg" data-rawwidth="318" data-rawheight="417" class="content_image" width="318"&gt;不想看书，也可以直接看文档：20.5. urllib - Open arbitrary resources by URL - Python 2.7.13 documentationRequests: HTTP for HumansBeautiful Soup 4.2.0 文档Scrapy入门教程 - Scrapy 0.24.6 文档谷歌一搜一大堆，不会翻墙的话，百度搜也行。额，收藏数是点赞数的三倍......感觉写的好，对你有帮助，就点个赞呗，别光只收藏哈.~(￣▽￣)~编辑于 2017-02-24
作者：老夏
链接：https://www.zhihu.com/question/37116938/answer/70501553
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

涉及的主题包含编程语言、挖掘工具、设计模式、架构、安全、大数据、分布式系统、推荐系统、搜索、人工智能、脚本等等（不一定是著名站点或者知名博客，重在有可借鉴之处），排名纯按添加时间顺序，持续更新中。。。Security乌云知识库FreeBuf开放安全研究斯坦福大学密码安全学课程中国科大计算机安全课程资料信息安全入门指南-伯乐在线数据采集发源地http://www.finndy.com关系数据库 & NoSQL DBNoSQLFanImplementing a KV Store Table of ContentsMySQL InternalsMySQL中文网淘宝MySQL分享资料MySQL BlogSpotPetrunia-MySQL查询优化博客MySQL优化-来自MySQL官网MySQL性能Inside MySqlBloggersMartin FowlerNetflix技术博客云风的BlogGod Mode（位运算技巧）Laurence - 大数据、数据库chepoo - Java线上问题、数据结构算法、搜索等drdobbs文初iteye — 开放平台、分布式系统、服务框架文初infoq文初csdn博客河马测试大数据平台技术相关Java译站聚客网import new推酷dbthinkIT瘾Parallel Universeyvanz博客乐天博客文献&论文Martin Ordersky（Scala作者）Java性能、GC、JVM等高级Java话题Java Performance Tuning GuideJava内存模型JVM内存管理丁一的博客GC历史及在HotSpot方面的进展Mechanical Sympathy学习JVM的ReferencesOracle技术官网Java文章Java并发与集合类分析并发&并行Preshing on Programming并发编程网分布式系统、高性能网站架构Netflix的一大神Thought from the Red PlanetbitstechHigh Scabality杨步涛的博客eBay Tech BlogYun Notes分布式系统阅读资料阿里团队中间件技术博客C10M问题zenlifefoxmailedRaft协议图解大数据、搜索、推荐不周山-推荐算法博客Lambda架构推荐系统@bigdata.memect.com牛吧大数据淘宝搜索技术博客Cloudera董西成博客Hadoop源码分析-蔡斌封神博客binospace编程范式Alexs Quest - OO通用算法算法-伯乐在线人工智能 & 机器学习失控：全人类的最终命运和结局Clever Algorithms机器学习入门机器学习资源-伯乐在线斯坦福大学机器学习课程scikit机器学习算法验证框架运维&脚本&工具南非蚂蚁Bash脚本编程指南老男孩Linux运维Not Only Linuxjuven xu-Maven权威指南作者NettyNettyPythonPython WikiPython全栈开发Python一站式学习零基础学Python系列Python编程风格指南IaaS & PaaSzstack应用监控Apache Sirona-Java应用监控解决方案
https://www.zhihu.com/question/29237672/answer/208173944
作者：十四君
链接：https://www.zhihu.com/question/61103114/answer/183926752
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我就是爬虫起家，一年时间机缘巧合进了BAT。又是一帮光点关注感谢不点赞的。感恩大家，上班时间短回头补充哈，勿怪。当你能看懂代码，简单的伪造请求，爬点图片视频搞下实习没问题。当你能单挑分布式做亿以上采集量，各种伪造与绕ip，基本爬虫工作都要你。当你能搞定滑动验证码和多数字符验证码，基本可以去敲大公司的门了。当你能搞定第三代验证码那。。。。。。爬虫是入门超级简单，深入才难。有兴趣请点我头像，有博客git专栏，可以帮你确定技能树方向。补充技能书现在上班时间，回头详细  数据采集技术指南 第一篇 技术栈总览-附总图和演讲ppt - 知乎专栏还有以前写的反反爬虫仓库  luyishisi/Anti-Anti-Spider专栏：Urlteam - 知乎专栏博客：https://www.urlteam.org/github: luyishisi (luyishisi)这涨的有点快啊，还在上班，实在没时间写。回头补哈，求不怪。本文不是来引战的，评论区的朋友息怒哈，只是想表达：爬虫虽然有人觉得入门太简单因此很low，但是我觉得爬虫带来的项目成就感很舒服，让新人喜欢上编程逐步成长，并且爬虫做到深入一样是稀缺资源，不断成长，就有适合自己的空间。一些值得看入门者看的相关回答与：0. 目标检测笔记一：算法入门与优缺对比想知道大家都用python写过哪些有趣的脚本? - 知乎。 #你写过的自己觉着最牛X的黑程序？ - 知乎。 #学习Python很吃力，我是不是可以放弃编程了？ - 知乎 #Python爬虫传送post请求要携带哪些参数? - 知乎。 #不想拿学位证的计算机在校生？ - 知乎。#你在实验室经历过最危险的事情是什么？ - 知乎。 #如果你能预知未来，你会不会更加努力？ - 知乎。 #关于一些私信解答，值得分享给小虫子们看看<img src="https://pic1.zhimg.com/50/v2-27ec8610401099a0d2a7e2e569bd2904_hd.png" data-rawwidth="1017" data-rawheight="458" class="origin_image zh-lightbox-thumb" width="1017" data-original="https://pic1.zhimg.com/v2-27ec8610401099a0d2a7e2e569bd2904_r.png">
作者：申玉宝
链接：https://www.zhihu.com/question/28168585/answer/74840535
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider)，这之间的斗争恢宏壮阔...Day 1小莫想要某站上所有的电影，写了标准的爬虫(基于HttpClient库)，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。这个站点的运维小黎发现某个时间段请求量陡增，分析日志发现都是 IP(1.1.1.1)这个用户，并且 useragent 还是 JavaClient1.6 ，基于这两点判断非人类后直接在Nginx 服务器上封杀。Day 2小莫电影只爬了一半，于是也针对性的变换了下策略：1. useragent 模仿百度("Baiduspider...")，2. IP每爬半个小时就换一个IP代理。小黎也发现了对应的变化，于是在 Nginx 上设置了一个频率限制，每分钟超过120次请求的再屏蔽IP。 同时考虑到百度家的爬虫有可能会被误伤，想想市场部门每月几十万的投放，于是写了个脚本，通过 hostname 检查下这个 ip 是不是真的百度家的，对这些 ip 设置一个白名单。Day 3小莫发现了新的限制后，想着我也不急着要这些数据，留给服务器慢慢爬吧，于是修改了代码，随机1-3秒爬一次，爬10次休息10秒，每天只在8-12，18-20点爬，隔几天还休息一下。小黎看着新的日志头都大了，再设定规则不小心会误伤真实用户，于是准备换了一个思路，当3个小时的总请求超过50次的时候弹出一个验证码弹框，没有准确正确输入的话就把 IP 记录进黑名单。Day 4小莫看到验证码有些傻脸了，不过也不是没有办法，先去学习了图像识别（关键词 PIL，tesseract），再对验证码进行了二值化，分词，模式训练之后，识别了小黎的验证码（关于验证码，验证码的识别，验证码的反识别也是一个恢弘壮丽的斗争史，这里先不展开....），之后爬虫又跑了起来。小黎是个不折不挠的好同学，看到验证码被攻破后，和开发同学商量了变化下开发模式，数据并不再直接渲染，而是由前端同学异步获取，并且通过 js 的加密库生成动态的 token，同时加密库再进行混淆（比较重要的步骤的确有网站这样做，参见微博的登陆流程）。Day5混淆过的加密库就没有办法了么？当然不是，可以慢慢调试，找到加密原理，不过小莫不准备用这么耗时耗力的方法，他放弃了基于 HttpClient的爬虫，选择了内置浏览器引擎的爬虫(关键词：PhantomJS，Selenium)，在浏览器引擎中js 加密脚本算出了正确的结果，又一次拿到了对方的数据。小黎：.....爬虫与发爬虫的斗争还在继续。不过实际应用时候，一般大家做到根据 IP 限制频次就结束了，除非很核心的数据，不会再进行更多的验证，毕竟工程的问题一半是成本的问题。至于高效部分，一些 Tips：1.尽量减少请求次数，能抓列表页就不抓详情页2.不要只看 Web 网站，还有 App 和 H5，他们的反爬虫措施一般比较少3.如果真的对性能要求很高，可以考虑多线程(一些成熟的框架如 scrapy都已支持)，甚至分布式另外，想深入研究爬虫/反爬虫的同学，可以把简历发过来： shenyubao<At>http://souche.com ，本广告长期有效。
https://www.zhihu.com/question/31833164/answer/114694586