专栏名称: 经管之家
经管之家官微,每个经济、管理、金融、统计的学习和从业者,都应该有的帐号。经管之家(论坛),是国内成立十年的大型经济、金融、管理、计量统计社区,十年磨一剑,我们共同的家园!我们提供“经管爱问”答疑微服务,以及相关数据分析及金融培训课程。
目录
相关文章推荐
大猫财经  ·  收割1000亿的资本大佬,落网了…… ·  昨天  
第一财经  ·  直线拉升!超3200只个股上涨! ·  3 天前  
数据宝  ·  就在今日!一大批增量资金来了! ·  3 天前  
一瑜中的  ·  向低价“亮剑”——9月通胀数据点评 ·  3 天前  
51好读  ›  专栏  ›  经管之家

20个大家应该知道的大数据资源

经管之家  · 公众号  · 财经  · 2017-03-31 10:33

正文

来源:数据分析精选

本公号转载文章仅用于内容阅读交流,向更多人分享好文,不用于任何商业用途,如有侵权,敬请联系我们删除。


我总是在证明这样一个论点,即数据无处不在——并且很多都是免费的。在开始大数据分析之前,公司不一定要建立自己的大规模数据仓库。企业和政府将大量信息投入到公共领域的举措,使得每个人都能够获得海量数据。


迄今为止,从大蓝筹企业到极小型创业公司,都可以使用比以往更多的数据。我的很多客户都在向我寻求他们在向大数据方面努力时可以使用的顶尖数据源,下面描述的就是如今可以获得的,一些好用同时免费的大数据来源。


1. Data.gov
http://data.gov/

美国政府去年承诺使所有政府数据都能在网上免费获得。这个网站是第一阶段,作为一个门户网站,囊括了从气候到犯罪的一切惊人的信息。


2. 美国人口普查局
http://www.census.gov/data.html

一个关于美国公民生活的丰富信息,包括人口数据,地域数据以及教育。


3. 欧洲联盟开放数据门户
http://open-data.europa.eu/en/data/

如上所述,但它是基于欧洲联盟机构的数据。


4. Data.gov.uk
http://data.gov.uk/

来自英国政府的数据,包括《英国国家书目》——自1950以来所有的英国书籍以及出版物的元数据。


5. 中情局世界概况
https://www.cia.gov/library/publications/the-world-factbook/

267个国家历史、人口、经济、政府、基础设施以及军事信息。


6. Healthdata.gov
https://www.healthdata.gov/

125年来美国的医疗保健数据,包括索赔型医保数据,流行病学和人口统计。


7. NHS 健康和社会保健信息中心
http://www.hscic.gov.uk/home

来自英国国民健康服务的健康状况数据集。


8. Amazon网络服务公共数据集
http://aws.amazon.com/datasets

巨型公共数据源,包括1000个基因组工程,试图建立最全面的人类遗传信息数据库和美国宇航局的卫星图像数据库。


9. Facebook Graph
https://developers.facebook.com/docs/graph-api

虽然Facebook用户个人资料中的很多信息是私有的,但很多也不是——Facebook提供Graph API作为查询大量信息的一种方式,它的用户很乐意与世界分享(或者说是不能隐藏,因为他们还没有制定如何设置隐私功能)。


10. Gapminder
http://www.gapminder.org/data/

世界卫生组织和世界银行的数据集合,包括世界各地的经济、医疗以及社会统计数据。


11. Google Trends
http://www.google.com/trends/explore

自2004年以来,对所有关键字的搜索量(作为总搜索的比例)的数据统计。


12. Google财经
https://www.google.com/finance

40年的股票市场数据,并实时更新。


13. Google Books Ngrams
http://storage.googleapis.com/books/ngrams/books/datasetsv2.html

搜索和分析数以百万计的数字图书全文,作为Google图书项目的一部分。


14. 国家气候数据中心
http://www.ncdc.noaa.gov/data-access/quick-links#loc-clim

从美国国家气候数据中心收集的环境、气象以及气候数据集。全球最大的天气数据存档。


15. DBPedia
http://wiki.dbpedia.org

维基百科包含数以百万计的数据,生活中每个事物的结构化和非结构化信息。DBpedia的是一个用来分类的大型工程,并创建了一个公共的,免费发布的并允许任何人来分析这些数据的数据库。


16. Topsy
http://topsy.com/

免费而全面的社交媒体数据是很难得到的——毕竟这些数据是为那些大玩家(Facebook,Twitter等)产生利润的,所以他们不想轻易送人。然而Topsy提供了一个可搜索回溯至2006年公共微博的数据库,和现在一些用来分析会话的工具。


17. Likebutton
http://likebutton.com/

在全球范围内,从你自己的网络中挖掘Facebook的公共数据,来了解在某个时刻人们“喜欢”什么。


18. New York Times《纽约时报》
http://developer.nytimes.com/docs

可搜索的新闻文章的索引档案,可以追溯到1851年。


19. Freebase
http://www.freebase.com/

一个关于人,地点和事物的结构化数据的社区数据库,记录数超过45万个。


20. 百万歌曲数据集
http://aws.amazon.com/datasets/6468931156960467

超过一百万首歌曲和音乐作品的元数据。部分属于亚马逊网络服务。