Spark Sql正在抛出PermGen Space Error

Question

我已经配置了3个Node Spark Cluster.并使用start-thriftserver.sh带有一些自定义属性的脚本启动Spark Thrift Service .并且还在群集的spark.executor.extraJavaOptions -XX:MaxPermSize=1024m -XX:PermSize=256m每个spark-default.sh文件中添加了属性.

使用Hive JDBC驱动程序,我能够连接spark-sql,尝试了一些查询.

但是过了一段时间它就会抛出PermGen Space错误.并且在重启thrift服务这么多次之后它会抛出相同的错误.

Answer 1

最后我得到了解决方案.

我经历了应用程序日志,由Spark驱动程序发生permgen错误,所以spark.executor.extraJavaOptions我选择了-XX:MaxPermSize=1024m -XX:PermSize=256m属性而不是spark.driver.extraJavaOptions选项.