Py4JJavaError：调用时发生错误

Question

我是 PySpark 的新手。我一直在用测试样本编写代码。一旦我在较大的文件（3GB 压缩）上运行代码。我的代码只是做一些过滤和连接。我不断收到有关 py4J 的错误。

任何帮助都会有用，并表示赞赏。

from pyspark.sql import SparkSession
from pyspark.conf import SparkConf

ss = SparkSession \
      .builder \
      .appName("Example") \
      .getOrCreate()

ss.conf.set("spark.sql.execution.arrow.enabled", 'true')

df = ss.read.csv(directory + '/' + filename, header=True, sep=",")
# Some filtering and groupbys...
df.show()

返回

Py4JJavaError: An error occurred while calling o88.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in 
stage 3.0 failed 1 times, most recent failure: Lost task 0.0 in stage 3.0 (TID 
1, localhost, executor driver): java.lang.OutOfMemoryError: Java heap space
...
Caused by: java.lang.OutOfMemoryError: Java heap space

更新：我使用的是 py4j 10.7 并且刚刚更新到 10.8

更新（1）：添加 spark.driver.memory：

 ss = SparkSession \
  .builder \
  .appName("Example") \
  .config("spark.driver.memory", "16g")\
  .getOrCreate()

汇总返回错误：

ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:38004)

py4j.protocol.Py4JNetworkError: Answer from Java side is empty
"Error while receiving", e, proto.ERROR_ON_RECEIVE)
py4j.protocol.Py4JNetworkError: Error while receiving

Py4JError
Py4JError: An error occurred while calling o94.showString

UPDATE(2) ：我通过更改 spark-defaults.conf 文件进行了尝试。仍然出现错误PySpark: java.lang.OutofMemoryError: Java heap space

半解决：这似乎是一个普遍的内存问题。我启动了一个具有 32g 内存的 2xlarge 实例。程序运行没有错误。

知道了这一点，还有其他的东西，一个 conf 选项可以帮助我不必运行昂贵的实例吗？

谢谢大家。

Answer 1

这是通过 conda 安装的 pyspark 2.4.0 的当前问题。您需要通过 conda 提示符或 Linux 终端降级到 pyspark 2.3.0：

    conda install pyspark=2.3.0