相关疑难解决方法(0)

解决“Kryo 序列化失败:缓冲区溢出” Spark 异常

我正在尝试运行 Spark (Java) 代码并收到错误

org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 27".
Run Code Online (Sandbox Code Playgroud)

其他帖子建议将缓冲区设置为其最大值。当我以 512MB 的最大缓冲区值尝试此操作时,出现错误

java.lang.ClassNotFoundException: org.apache.spark.serializer.KryoSerializer.buffer.max', '512'
Run Code Online (Sandbox Code Playgroud)

我怎么解决这个问题?

kryo apache-spark

8
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×1

kryo ×1