Ela*_*dor 12 out-of-memory netty spark-streaming apache-spark-2.0
当运行使用来自kafka主题100个分区的数据的spark流媒体应用程序,并且每个执行程序运行10个执行程序,5个核心和20GB RAM时,执行程序将崩溃并显示以下日志:
ERROR ResourceLeakDetector:泄漏:ByteBuf.release()是垃圾收集之前,不叫.启用高级泄漏报告以找出泄漏发生的位置.
ERROR YarnClusterScheduler:在worker23.oct.com上丢失执行者18:奴隶丢失了
ERROR ApplicationMaster:收到的信号期限
此异常出现在spark JIRA中:
https://issues.apache.org/jira/browse/SPARK-17380
有人在升级到spark 2.0.2后写道,问题解决了.但是我们使用spark 2.1作为HDP 2.6的一部分.所以我猜这个bug在火花2.1中没有解决.
还有人遇到过这个bug,并在spark用户列表中写过但没有得到答案:
顺便说一句 - 流媒体应用程序没有调用cache()或persist(),因此不涉及任何缓存.
有没有人遇到过崩溃的流媒体应用？