Apache Flink 状态存储与 Kafka Streams

Question

据我所知，Kafka Streams 会在内存、磁盘或 Kafka 主题中本地处理其状态，因为所有输入日期都来自分区，其中所有消息都由定义的值作为键控。大多数时候，计算可以在不知道其他处理器的状态的情况下完成。如果是这样，您就有另一个 Streams 实例来计算结果。就像这张照片一样：

Flink 的状态到底存储在哪里？Flink 是否也可以在本地存储状态，或者总是将它们发布到所有实例（任务）？是否可以配置 Flink 以将状态存储在 Kafka Broker 中？

Answer 1

Flink 还使用本地存储（可以设置键），类似于 Kafka Streams。但是，它不会将状态写入 Kafka 主题。

为了容错，它采用所谓的“分布式快照”，这些快照存储在可配置的状态后端（例如HDFS）中。

查看文档了解更多详细信息：