将JavaDStream <String>转换为JavaRDD <String>

Question

我有一个JavaDStream,它从外部源获取数据.我正在尝试集成Spark Streaming和SparkSQL.众所周知,JavaDStream是由JavaRDD组成的.我只能在拥有JavaRDD时应用函数applySchema().请帮我转换为JavaRDD.我知道scala中有函数,它更容易.但是用Java帮助我.

Answer 1

您无法将DStream转换为RDD.如你所述,DStream包含RDD.访问RDD的方法是使用函数为DStream的每个RDD应用foreachRDD.请参阅文档:https://spark.apache.org/docs/1.1.0/api/java/org/apache/spark/streaming/api/java/JavaDStreamLike.html#foreachRDD( org.apache.spark.api. java.function.Function2)