如何手动将 spark 2.2 与 hadoop 3.1 集成?

gri*_*007 6 apache-spark hadoop3

我想使用 Spark 2.2 版和 Hadoop 最新版 3.1。我可以手动集成 Spark 和 Hadoop 吗?

我已经在 Hadoop 2.6 或更高版本中安装了 Spark 2.2,但我想更新 Hadoop。是否可以使用 Hadoop 文件夹在 Spark 中找到 Hadoop 目录?

我已经下载了没有 hadoop 的 Spark 2.2 和 hadoop 3.1.0。两者都在运行,但是当我使用 hadoop_home 配置 spark.env.sh.template 文件时,它不起作用。任何人都可以分享正确的配置吗?

谢谢