Spark SQL失败,因为"常量池已超过JVM限制0xFFFF"

Question

我在EMR 4.6.0 + Spark 1.6.1上运行此代码:

val sqlContext = SQLContext.getOrCreate(sc)
val inputRDD = sqlContext.read.json(input)

try {
    inputRDD.filter("`first_field` is not null OR `second_field` is not null").toJSON.coalesce(10).saveAsTextFile(output)
    logger.info("DONE!")
} catch {
    case e : Throwable => logger.error("ERROR" + e.getMessage)
}

在最后阶段saveAsTextFile,它失败并出现此错误:

16/07/15 08:27:45 ERROR codegen.GenerateUnsafeProjection: failed to compile: org.codehaus.janino.JaninoRuntimeException: Constant pool has grown past JVM limit of 0xFFFF
/* 001 */
/* 002 */ public java.lang.Object generate(org.apache.spark.sql.catalyst.expressions.Expression[] exprs) {
/* 003 */   return new SpecificUnsafeProjection(exprs);
/* 004 */ }
(...)

可能是什么原因？谢谢

Answer 1

通过删除 Dataframe 中所有未使用的列或仅过滤您实际需要的列来解决此问题。

原来 Spark Dataframe 无法处理超宽模式。Spark 没有特定数量的列可能会因“常量池已超出 JVM 限制 0xFFFF”而中断 - 这取决于查询的类型，但减少列数有助于解决此问题。

根本原因在于 JVM 生成的 Java 类的 64kb - 另请参阅 Andrew 的回答。

Answer 2

这是由于 Java 对生成的类的已知限制超过 64Kb。

此限制已在SPARK-18016 中解决，它已在 Spark 2.3 中修复 - 将于 2018 年 1 月发布。