基于树莓派的 Hadoop 集群

Dmi*_*rev 2 hadoop

是否至少可以从基于 Raspberry Pi 的节点构建 Hadoop 集群?这样的集群能否满足Hadoop的硬件需求?如果是这样,需要多少 Raspberry Pi 节点才能满足要求?

我知道来自多个 Raspberry Pi 节点的便宜的集群并不强大。我的目的是在不丢失台式机或笔记本上的个人数据的情况下组织集群,并使用该集群学习 Hadoop。

如果您提出任何更好的想法来组织廉价的 Hadoop 集群以供学习,我将不胜感激。

UPD:我已经看到推荐的 Hadoop 内存量为 16-24GB、多核处理器和 1TB 的 HDD,但它看起来并不是最低要求。

UPD2:我知道 serverfault.com 是一个与生产系统相关的问题的地方。与为娱乐和个人使用而配置系统相关的问题超出了范围。很抱歉问这个问题。

Pie*_*ier 12

这将是非常糟糕的。Hadoop 像大象一样吃堆。默认的堆大小是 1000 MB,但几乎每个人都会增加它。256 MB 的 RAM 不会让您走得更远,在 GPU 和操作系统付出代价之后,您可能不得不将 Java 限制为 128 MB,并且最小的作业将耗尽堆。

JVM 在 ARM 上也很慢。Red Hat 计划与 Linaro 合作,通过 Red Hat Enterprise Linux 7 改进这一点,但暂时不要期望在 ARM 上合理地运行 Java 服务器负载。