Raj*_*ala 3 apache-spark
我是apache spark的初学者,在apache spark webUI中遇到了任务的垃圾收集时间.任务的执行时间是否包括任务垃圾收集时间？
Thi*_*dim 5
答案是肯定的,垃圾收集器的Spark UI中显示的执行是总执行时间的一部分.如果您的GC花费的时间比实际执行时间长,那么您最好检查一下您在做什么.
如果您遇到GC的任何问题,可以使用大量解决方案来改善Spark的内存使用或GC管理.
据Databricks博客称,GC执行时间是任何使用GB内存执行任务的大公司的递归问题:
例如,垃圾收集需要很长时间,导致程序经历长时间延迟,甚至在严重情况下崩溃.
你可以在这里看到全文.
您可以看到的其他内容是如何改进或调整spark应用程序以避免GC执行时间,GC Overhead Limit甚至执行期间的OOM错误.
请检查这部分文档.
归档时间：
8 年，11 月 前
查看次数：
2101 次
最近记录：