hdfs中的.sparkstaging目录未删除

Question

我们正在运行某些火花工作,我们看到在工作完成后,hdfs中的.sparkstaging导演仍然存在.作业完成后是否需要设置任何参数来删除登台目录？

spark.yarn.preserve.staging.files默认为false,因此我们没有明确设置它.我们使用hortonworks和spark 1.2版在纱线上运行火花

此致,Manju

Answer 1

请检查作业完成控制台输出中的以下日志事件，以更深入地了解正在发生的事情：

1. ApplicationMaster: Deleting staging directory .sparkStaging/application_xxxxxx_xxxx - 这意味着应用程序能够成功清理临时目录
2. ApplicationMaster: Staging directory is null - 这意味着应用程序无法找到此应用程序的暂存目录
3. ApplicationMaster: Failed to cleanup staging dir .sparkStaging/application_xxxxxx_xxxx - 这意味着删除暂存目录时出了点问题

您是否还可以仔细检查集群中的这些属性，这些属性可能会影响您提到的场景：spark.yarn.preserve.staging.files和 this SPARK_YARN_STAGING_DIR.