Spark 缓存 RDD 未显示在 Spark 历史记录 WebUI 上 - 存储

Question

我正在使用Spark-1.4.1中CDH-5.4.4。

我使用rdd.cache()函数，但它没有显示任何Storage tab内容Spark History WebUI

有人有同样的问题吗？如何修复它？

Answer 1

除了强制 RDD 评估（使用操作，如count）之外，我还必须启用 Spark 选项：

spark.eventLog.logBlockUpdates.enabled=true

顺便说一句，我正在使用 Spark 2.3.0。

Answer 2

你的RDD只有在被评估后才会被缓存，强制评估（并因此填充缓存）的最常见方法是调用count例如：

rdd.cache() // Nothing in storage page yet & nothing cached
rdd.count() // RDD evaluated, cached & in storage page.