解决“Kryo 序列化失败：缓冲区溢出” Spark 异常

Question

我正在尝试运行 Spark (Java) 代码并收到错误

org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 27".

其他帖子建议将缓冲区设置为其最大值。当我以 512MB 的最大缓冲区值尝试此操作时，出现错误

java.lang.ClassNotFoundException: org.apache.spark.serializer.KryoSerializer.buffer.max', '512'

我怎么解决这个问题？

Answer 1

尝试使用“ spark.kryoserializer.buffer.max.mb”、“ 512”代替spark.kryoserializer.buffer.max“”、“ 512MB”