小编Kas*_*pgv的帖子

Spark-Scala 检查点清理

我正在“本地”模式下运行 Spark 应用程序。它正确检查点到 checkpointFolder 配置中定义的目录。但是,我发现有两个问题导致了一些磁盘空间问题。

1)由于我们有多个用户运行该应用程序,服务器上的检查点文件夹是由第一个执行该应用程序的用户创建的,这会导致其他用户由于操作系统权限问题而运行失败。有没有办法在 checkpointFolder 中提供相对路径,例如 checkpointFolder=~/spark/checkpoint?

2)我已使用spark.worker.cleanup.enabled=true配置在运行后清理检查点文件夹,但没有看到这种情况发生。是否有其他方法可以通过应用程序清理它,而不是诉诸某些 cron 作业?

scala apache-spark checkpointing

5
推荐指数
1
解决办法
1308
查看次数

标签 统计

apache-spark ×1

checkpointing ×1

scala ×1