Spark:我已失去参考的unpersist RDD

Question

如何在MLlib模型中生成的RDD,我没有参考？

我知道在pyspark你可以解决所有数据帧的问题sqlContext.clearCache(),是否有类似的内容,但scala API中的RDD？此外,有没有一种方法可以解决一些RDD,而不必全部解开？

Answer 1

你可以打电话

val rdds = sparkContext.getPersistentRDDs(); // result is Map[Int, RDD]

然后过滤值以获得所需的值(1):

rdds.filter (x => filterLogic(x._2)).foreach (x => x._2.unpersist())

(1) - 手写,没有编译器 - 抱歉,如果有一些错误,但不应该;)