寻找有关Hadoop的整体评论

Question

我正在寻找Hadoop(300-600盒集群,商品硬件)的性能评估,特别是在以下方面:

1. 高并发读写
2. 网页抓取
3. Mapreduce,并行计算
4. 倒排索引

Answer 1

这不是一个具体的问题，也许这就是为什么到目前为止还没有人回答的原因。可以通过基准测试来最好地分析 3-600 个节点集群的性能。

然而，我发现了一些关于 Hadoop 及其在生产中的实现的非常有趣的文章：

• Hadoop 架构及其在 Facebook 的使用
• Rackspace 现在如何使用 MapReduce 和 Hadoop 查询 TB 级数据
• 一些基准可以在文章Hadoop Sorts a PB in 16.25 Hours and a TB in 62 Seconds 中找到
• 另外，还有一个与 Hadoop 相关的非常有趣的博客
• 另一篇与 facebook 和 hadoop 相关的文章是Hive - A PB Scale Data Warehouse using Hadoop

我希望这些链接能够帮助您入门并为您提供所需的所有信息。