小编Ale*_*mir的帖子

Apache Flink 1.0.0 。事件时间相关的迁移问题

我曾尝试将一些简单的 Task 迁移到 Flink 1.0.0 版本,但由于以下异常而失败:

java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'?
Run Code Online (Sandbox Code Playgroud)

该代码由两个通过 Kafka 主题连接的独立任务组成,其中一个任务是简单的消息生成器,另一个任务是简单的消息消费者,它使用 timeWindowAll 来计算每分钟的消息到达率。

同样,类似的代码在 0.10.2 版本上运行没有任何问题,但现在看起来系统错误地解释了一些事件时间戳,如 Long.MIN_VALUE,这会导致任务失败。

问题是我有什么问题,或者是一些将在未来版本中修复的错误?

主要任务:

java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'?
Run Code Online (Sandbox Code Playgroud)

时间戳提取器:

public class Test1_0_0 {
    // Max Time lag between events time to current System time
    static …
Run Code Online (Sandbox Code Playgroud)

apache-flink flink-streaming

5
推荐指数
1
解决办法
3014
查看次数

标签 统计

apache-flink ×1

flink-streaming ×1