小编ada*_*dam的帖子

由于KryoSerializer缓冲区溢出，我有一些Spark作业在Spark 1.2中可以正常工作，但在1.3中不能正常工作。我试图增加到spark.kryoserializer.buffer.max20GB和spark.kryoserializer.buffer2GB。但这没有帮助。我使用KryoSerializer错了吗？还是还没有准备好黄金时间？

经过反复试验，似乎Kryoserializer缓冲区的上限为2GB。不确定是否是设计使然？