use*_*667 5 hadoop-yarn apache-spark google-cloud-dataproc
我们使用 Spark Thrift Server 作为临时 SQL 查询的长期运行服务，而不是 Hive/Tez。这运行得相当好，只是每隔几天它就会开始填满工作节点上的磁盘。文件都在 中/hadoop/yarn/nm-local-dir/usercache/root/appcache/application_*/blockmgr-{GUID}，似乎没有被清除。我设置了yarn.nodemanager.localizer.cache.cleanup.interval-msand yarn.nodemanager.localizer.cache.target-size-mb，但我认为这仅适用于不再运行的作业。我们没有运行很长时间的单个查询，只有 Thrift Server 应用程序本身保持运行。有没有办法从 Spark 中自动清理这些文件（在 cron 中缺少一些脚本）？
| 归档时间： |
|
| 查看次数： |
394 次 |
| 最近记录： |