Apache Spark 可以在 ZFS 上运行吗?

smi*_*guy 1 zfs distributed-computing apache-spark

我正在对 ZFS 进行一些研究,如果它可以用作分布式处理框架的组件。我要回答的主要问题是 - 如果数据驻留在 zfs 中,Apache Spark 是否会以高效的分布式方式运行?

IE。HDFS 上的 Spark 有数据局部性的概念,ZFS 也可以这样说。

小智 5

它可以作为本地文件系统与 ZFS 一起运行吗?无论如何。ZFS 符合 POSIX 标准,因此这里没有阻止程序。

它可以用作分布式文件系统的替代品吗?当然不。ZFS 是文件系统和卷管理器,而不是分布式存储。