小编Klu*_*lun的帖子

IBM GPFS:递归删除文件非常慢

要在我们的 IBM GPFS 集群中递归删除文件,我们使用简单的 unix 命令,如:

rm /my/directories -fr

然而,删除工作需要很长时间。

问题是我们的分布式应用程序(基于 Spark)one hour需要完成。但是,它也会took about an other hour删除由 Spark 等分布式应用程序生成的临时文件。

因此,全局工作负载非常低效。可能是因为该rm命令必须列出每个子目录..

无论如何,您知道使用 GPFS 有效删除整个目录(和子目录)的方法吗?

可能是 IBM 给出了一个特殊的命令来做到这一点?

ibm parallel-computing

8
推荐指数
1
解决办法
328
查看次数

标签 统计

ibm ×1

parallel-computing ×1