Kafka流抑制会话窗口聚合

dbo*_*orn 7 suppress windowed apache-kafka apache-kafka-streams

我已经在Kafka流应用程序中编写了以下代码:

KGroupedStream<String, foo> groupedStream = stream.groupByKey();
groupedStream.windowedBy(
SessionWindows.with(Duration.ofSeconds(3)).grace(Duration.ofSeconds(3)))
    .aggregate(() -> {...})
    .suppress(Suppressed.untilWindowCloses(unbounded()))
    .toStream()...
Run Code Online (Sandbox Code Playgroud)

关闭窗口后,应该(如果我正确理解的话)每个键都发出记录。不知何故,行为如下:

该流不会发出第一条记录,仅使用不同的Key才将其转发到第二条记录之后,然后仅在第三条记录之后发出第二条记录,依此类推。

我已经尝试使用“ exactly_once”使用多个StreamConfigs,并且无论是否具有缓存,这种现象仍然存在。

在此先感谢您的帮助 !

Mat*_*Sax 6

那是预期的行为。注意,这suppress()是基于事件时间的。因此,只要没有新数据到达,时间就不能提前,因此更早地收回记录将是错误的,因为不能保证下一条记录可能属于当前窗口。