Spark Streaming 中的背压属性是如何工作的？

Question

我有一个接收单个事件（字符串）的 CustomReceiver。在火花应用程序的运行时使用接收到的单个事件从 nosql 读取数据并应用转换。当观察到每个批次的处理时间大于批次间隔时，我设置这个属性。

spark.streaming.backpressure.enabled=true

之后，我预计 CustomReceiver 不会在批处理处理时间长于批处理窗口时触发和接收事件，这并没有发生，并且仍然添加了一批积压的批次。我在这里错过了什么吗？

Answer 1

尝试检查这篇文章和这篇文章。