PYCHARM错误--java.io.IOException：无法运行程序“python3”：CreateProcess错误= 2，系统找不到指定的文件

Question

在 PYCHARM 上运行 pyspark 程序时出现以下错误，错误：

java.io.IOException: 无法运行程序“python3”: CreateProcess error=2, 系统找不到指定的文件......

解释器正在识别 python.exe 文件，并且我已在项目结构中添加了内容根目录。

我之前在 Windows 命令提示符下运行相同的程序时遇到了类似的问题，并使用What is the right way to edit spark-env.sh before running Spark-shell?解决了它。

Answer 1

在创建 Spark 会话之前，请在代码中设置以下环境变量：

import os
import sys
from pyspark.sql import SparkSession

os.environ['PYSPARK_PYTHON'] = sys.executable
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable
spark = SparkSession.builder.getOrCreate()

Answer 2

创建一个环境变量 PYSPARK_PYTHON，其值为“python”或相应 python 可执行文件的路径。

Answer 3

1. 转到环境变量并在系统变量中将新变量设置为PYSPARK_PYTHON并将值设置为python

PYSPARK_PYTHON=python

2. 将以下代码位添加到您的 pyspark 代码中

import os
import sys
from pyspark import SparkContext
os.environ['PYSPARK_PYTHON'] = sys.executable
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable