没有名为'resource'的模块在Windows上安装Apache Spark

Question

我正在尝试安装apache spark以在我的Windows机器上本地运行.我已按照此处的所有说明https://medium.com/@loldja/installing-apache-spark-pyspark-the-missing-quick-start-guide-for-windows-ad81702ba62d.

安装完成后,我可以成功启动pyspark,并执行如下命令

textFile = sc.textFile("README.md")

当我然后执行一个操作textFile的命令,如

textFile.first()

Spark给我错误'worker failed to connect back',我可以在控制台中看到来自worker.py的异常,说'ModuleNotFoundError:No module named resource'.查看源文件,我可以看到这个python文件确实尝试导入资源模块,但是这个模块在Windows系统上不可用.我知道你可以在windows上安装spark,那么我该如何解决这个问题呢？

Answer 1

我整个上午都遇到了同样的问题.你最好的选择是降级到Spark 2.3.2

Answer 2

可以在https://github.com/apache/spark/pull/23055找到该修复程序.

资源模块仅适用于Unix/Linux系统,不适用于Windows环境.此修复程序尚未包含在最新版本中,但您可以修改安装中的worker.py,如pull请求中所示.可以在https://github.com/apache/spark/pull/23055/files找到对该文件的更改.

您将不得不重新压缩pyspark目录并将其移动到您的pyspark安装目录中的lib文件夹(根据您提到的教程,您在其中解压缩预编译的pyspark)