小编Sal*_*med的帖子

将DStreams转换为RDD

如何将Spark Streaming DStream转换为RDD,以便在Spark Context中使用而不在Streaming Context中使用?使用Python。

这是我遇到的错误:AttributeError:'TransformedDStream'对象没有属性'foreach'

def result(y):
  return y


d_stream = input_stream.map(lambda x : mainReduce(x)).map(lambda q: q)

rdd = d_stream.foreach(result)
Run Code Online (Sandbox Code Playgroud)

apache-spark spark-streaming pyspark

5
推荐指数
0
解决办法
3288
查看次数

标签 统计

apache-spark ×1

pyspark ×1

spark-streaming ×1