运行Python/PySpark脚本时环境变量错误

Question

有没有一种简单的方法可以修复此错误：

Missing Python executable 'python3', defaulting to 'C:\Users\user1\Anaconda3\Lib\site-packages\pyspark\bin\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.

我需要修改PATH系统变量吗？或者导出/创建环境变量PYSPARK_DRIVER_PYTHON和PYSPARK_PYTHON？我有Python 3.8.8。

Answer 1

您需要添加一个名为 SPARK_HOME 的环境变量：该变量包含已安装的 pyspark 库的路径。

就我而言，pyspark 安装在我的主目录下，因此这是变量的内容：

SPARK_HOME=/home/zied/.local/lib/python3.8/site-packages/pyspark

您还需要另一个名为 PYSPARK_PYTHON 的变量，它具有您正在使用的 python 版本，如下所示：

PYSPARK_PYTHON=python3.8