Spark Streaming中的有序处理

Question

是否可以在Spark Streaming中强制执行有序处理？我们的用例是从Kafka读取事件,其中每个主题都需要按顺序处理.

据我所知,这是不可能的 - 每个流都分成RDD,RDDS是并行处理的,所以没有办法保证秩序.

Answer 1

您可以强制 RDD 成为单个分区，从而消除任何并行性。