在Streaming Dataset和DStream之间转换

DLa*_*nza 3 apache-spark spark-streaming apache-spark-sql spark-structured-streaming

是否可以将流媒体转换o.a.s.sql.DatasetDStream?如果是这样,怎么样?

我知道如何将其转换为RDD,但它是在流式上下文中.

小智 6

这不可能.结构化流和传统的Spark Streaming(DStreams)使用完全不同的语义,并且彼此不兼容,因此:

  • DStream无法转换为Streaming Dataset.
  • Dataset无法转换为DStream.