在"spark-shell"或"pyspark"shell中,我创建了许多RDD但是我找不到任何方法可以在我当前的Spark Shell会话中列出所有可用的RDD?
apache-spark pyspark
Spark RDD Lineage存储在哪里?根据关于RDD的白皮书,它持久存储在内存中,但想知道它是在驱动程序端还是在集群上的其他位置.
如何确保容错,即默认创建多少次RDD(元数据)复制?
我想在不使用persist()方法时理解核心框架行为.
apache-spark rdd
apache-spark ×2
pyspark ×1
rdd ×1