我们是否可以选择从特定时间段/时间戳获取 KSQL 流中的数据

Question

我知道，在 KSQL 中我们可以将偏移量设置为最早或最晚但是我们可以获取特定时间段的数据，即我需要从 2020 年 5 月 6 日起将数据插入到主题中？

Answer 1

SET 'auto.offset.reset' = 'earliest';在 ksqlDB 中，您可以从主题的开头 ( ) 或结尾 ( SET 'auto.offset.reset' = 'latest';) 进行查询。

目前（0.8.1 / CP 5.5）您无法寻找任意偏移量。

您可以做的是从最早的偏移量开始，然后ROWTIME在谓词中使用来识别符合您要求的消息。

SELECT * 
  FROM MY_SOURCE_STREAM 
WHERE  ROWTIME>=1588772149620

请注意，此扫描是按顺序进行的，因此根据主题中的数据量，扫描速度可能不会特别快。