Kubernetes 上的 Hadoop 与标准 Hadoop

Question

Kubernetes 上的 Hadoop 和标准 Hadoop 之间有什么区别？在 Kubernetes 上部署 Hadoop 有什么好处？

Answer 1

正如人们所说，“唯一的区别是你在 kubernetes/container 中”。现实情况是，意思是夫妻之间的巨大，在实际操作方面的事情：

• 上面链接的舵图是一个玩具。
  • 它构建了 vanilla hadoop（即不是 HDP 或 CDH）
  • 它不做 HA namenodes
  • 它不做 kerberos
• 您必须管理自己的卷
  • 如果您在公共云上运行，这不是什么大问题，因为您可以动态获取存储

因此，除非您只是想要一个超轻量级的 hdfs 部署，或者您愿意/愿意构建自己的更复杂的 k8s hadoop 部署的部署，或者您愿意为具有 hadoop 支持的 3rd 方 kubernetes 堆栈付费（例如 robin.hdfs）。 io)，我想说一般来说，此时在 k8s 上运行是不值得的。

请注意，如果/当 hadoop 供应商制作他们自己的operator 时，这可能会改变。

Answer 2

• 标准 Hadoop 只是带有 Map-Reduce、Spark 等并由 HDFS 支持的 Hadoop。

• Kubernetes 上的 Hadoop 只是上面的标准 Hadoop，但运行在 Kubernetes 上

如果使用 K8S 上的 Hadoop，您将获得 Kubernetes 通常相对于传统基础设施提供的所有优势。

还有一个舵图：

https://github.com/helm/charts/tree/master/stable/hadoop