Spark Streaming Bug - Windowed DStream窗口不起作用

Question

Windowed Dstream窗口在Spark Streaming中不起作用.它似乎是Spark Streaming中的调度程序错误.

val layer0= // Input data
val layer1 = layer0.window(Seconds(30), Seconds(30)) // Works
layer1.foreachRDD(...)

val layer2 = layer1.window(Seconds(60), Seconds(60)) // Does not work
layer2.foreachRDD(...)

任何人都遇到了这个问题,并了解如何在Spark中解决这个问题.

从驱动程序日志添加更多详细信息:

时间1433141250000:

2015-06-01 06:47:30 INFO MapValuedDStream - 时间1433141250000 ms无效,因为zeroTime为1433141240000 ms,slideDuration为30000 ms,差值为10000 ms

2015-06-01 06:47:30 INFO MapValuedDStream - 时间1433141250000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是60000 ms,差值是10000 ms

时间1433141260000:

2015-06-01 06:47:40 INFO MapValuedDStream - 时间1433141260000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是30000 ms,差异是20000 ms

2015-06-01 06:47:40 INFO MapValuedDStream - 时间1433141260000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是60000 ms,差异是20000 ms

时间1433141270000:(30S)

2015-06-01 06:47:50 INFO FilteredDStream - 从1433141250000 ms切换到1433141270000 ms(对齐到1433141250000 ms和1433141270000 ms)

2015-06-01 06:47:50 INFO MapValuedDStream - 时间1433141270000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是60000 ms,差异是30000 ms

时间1433141280000: 2015-06-01 06:48:00 INFO MapValuedDStream - 时间1433141280000 ms无效,因为zeroTime为1433141240000 ms且slideDuration为30000 ms且差异为40000 ms

2015-06-01 06:48:00 INFO MapValuedDStream - 时间1433141280000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是60000 ms,差异是40000 ms

时间1433141290000:

2015-06-01 06:48:10 INFO MapValuedDStream - 时间1433141290000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是30000 ms,差异是50000 ms

2015-06-01 06:48:10 INFO MapValuedDStream - 时间1433141290000 ms无效,因为zeroTime是1433141240000 ms,slideDuration是60000 ms,差异是50000 ms

时间1433141300000:(60S)

2015-06-01 06:48:20 INFO WindowedDStream - 从1433141270000 ms切换到1433141300000 ms(对齐到1433141250000 ms和1433141280000 ms)

2015-06-01 06:48:20 INFO WindowedDStream - 时间1433141250000 ms无效,因为zeroTime为1433141240000 ms,slideDuration为30000 ms,差值为10000 ms

2015-06-01 06:48:20 INFO WindowedDStream - 时间1433141280000 ms无效,因为zeroTime为1433141240000 ms,slideDuration为30000 ms,差值为40000 ms

Answer 1

这确实是一个错误，我已将其记录为SPARK-7326。我自己也修好了。请参阅我的拉取请求，它已合并到 master 中。我相信修复将在 1.4.0 版本中进行。