免费的大型数据集来试验Hadoop

Question

你知道任何大型数据集来试验免费/低成本的Hadoop吗？任何相关的指针/链接都表示赞赏.

Prefernce:

• 至少一GB的数据.

• Web服务器的生产日志数据.

到目前为止我发现的很少:

1. 维基百科转储

2. http://wiki.freebase.com/wiki/Data_dumps

3. http://aws.amazon.com/publicdatasets/

我们也可以运行自己的爬虫来收集来自维基百科等网站的数据吗？关于如何做到这一点的任何指针也受到赞赏.

Answer 1

关于抓取和维基百科的问题很少.

您已链接到维基百科数据转储,您可以使用UMD 的Cloud9项目在Hadoop中处理此数据.

他们有一个页面:使用维基百科

要添加到列表中的另一个数据源是:

• ClueWeb09 - 在09年1月至2月期间收集的10亿个网页.5TB压缩.

使用爬虫来生成数据应该在一个单独的问题中发布到一个关于Hadoop/MapReduce的问题.

Answer 2

一个明显的来源:Stack Overflow三部曲数据转储.这些可以在知识共享许可下免费获得.

Answer 3

这是用于机器学习的189个数据集的集合(这是hadoop g最好的应用程序之一):http: //archive.ics.uci.edu/ml/datasets.html

Answer 4

它不是日志文件,但也许您可以使用OpenStreetMap中的行星文件:http://wiki.openstreetmap.org/wiki/Planet.osm

CC许可证,大约160 GB(未打包)

每个大陆也有较小的文件:http://wiki.openstreetmap.org/wiki/World