如何在PySpark中检查空的RDD

Question

tweetStream.foreachRDD((rdd, time) => {
  val count = rdd.count()
  if (count > 0) {
    var fileName =  outputDirectory + "/tweets_" + time.milliseconds.toString    
    val outputRDD = rdd.repartition(partitionsEachInterval) 
    outputRDD.saveAsTextFile(fileName) 
}

我正在尝试以python方式检查流数据中的计数值或空RDD，很难找到方法，还尝试了以下链接中的示例。 http://spark.apache.org/docs/latest/streaming-programming-guide.html

Answer 1

RDD.isEmpty：

当且仅当RDD根本不包含任何元素时，才返回true。

sc.range(0, 0).isEmpty()

True

sc.range(0, 1).isEmpty()

False