带有Spark的Hadoop HDFS

Question

我是集群计算的新手，我正在尝试在Spark中设置最小的2节点集群。我仍然有些困惑：我是否必须首先设置完整的Hadoop安装，或者Spark附带内部包含的Hadoop版本吗？

我发现的关于Spark的东西并没有说清楚。我了解到Spark是作为Hadoop的扩展而不是替代它，但是，如果它需要一个独立运行的Hadoop系统，我就不清楚。

我需要HDFS，仅使用Hadoop的文件系统部分就足够了吗？

有人可以向我指出这可能很明显的事情吗？

Answer 1

Apache Spark独立于Hadoop。Spark允许您使用不同的数据源（包括HDFS），并且能够在独立群集中运行，也可以使用现有资源管理框架（例如YARN，Mesos）运行。

因此，如果您仅对Spark感兴趣，则无需安装Hadoop。