KryoSerializer缓冲区溢出

Question

由于KryoSerializer缓冲区溢出，我有一些Spark作业在Spark 1.2中可以正常工作，但在1.3中不能正常工作。我试图增加到spark.kryoserializer.buffer.max20GB和spark.kryoserializer.buffer2GB。但这没有帮助。我使用KryoSerializer错了吗？还是还没有准备好黄金时间？

经过反复试验，似乎Kryoserializer缓冲区的上限为2GB。不确定是否是设计使然？

Answer 1

我的观察是正确的：SPARK-6405：将最大Kryo缓冲区大小限制为2GB。显然，Databrick的技术传播者对此一无所知，并告诉我增加缓冲区的大小。