如何检查Spark RDD是否在内存中?

Dmi*_*rov 8 in-memory apache-spark rdd

我有一个org.apache.spark.rdd.RDD [MyClass]的实例.如何以编程方式检查实例是否为persist\inmemory?

Jus*_*ony 11

你想要的RDD.getStorageLevel.它会StorageLevel.None在空的时候返回.但是,只有在标记为缓存时才会这样.如果您想要实际状态,可以使用开发人员api sc.getRDDStorageInfosc.getPersistentRDD