如何检查我的RDD或数据帧是否被缓存？

Question

我创建了一个数据帧说df1.我使用df1.cache()缓存了这个.如何检查是否已缓存？还有一种方法可以让我看到所有缓存的RDD或数据帧.

Answer 1

您可以调用getStorageLevel.useMemoryRDD来查明数据集是否在内存中.例如:

scala> val df = Seq(1, 2).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]

scala> df.storageLevel.useMemory
res1: Boolean = false

scala> df.cache()
res0: df.type = [value: int]

scala> df.storageLevel.useMemory
res1: Boolean = true

Answer 2

@Arnab,

你在Python中找到了这个函数吗？
以下是DataFrame DF的示例:

DF.cache()
print DF.is_cached

希望这可以帮助.
内存

Answer 3

从Spark（Scala）2.1.0开始，可以如下检查数据帧：

dataframe.storageLevel.useMemory