我们正在使用Spark Thrift Server对Spark EMR集群运行SQL查询，并且我们看到，当SQL查询（转换为Spark作业）完成时，位于其下方的shuffle文件/mnt/yarn/usercache/root/appcache不会被清除。这No space left on device最终导致在运行几个查询之后。
如果我们停止Spark Thrift Server，则将清理随机文件。有没有什么方法可以使清理不仅在应用程序停止之后运行，而且在每个作业运行之后运行？我们尝试设置以下参数
yarn.nodemanager.localizer.cache.cleanup.interval-ms=6000
yarn.nodemanager.localizer.cache.target-size-mb=1000
但是文件仍未清除。知道为什么会发生以及如何避免它吗？
shuffle amazon-emr hadoop-yarn apache-spark spark-thriftserver