是否可以实现支持非正常关闭的可靠接收器？

Question

我很好奇是否绝对必须让Spark流应用程序正常关闭,否则它会冒着通过预写日志导致重复数据的风险.在下面的场景中,我概述了队列接收器与队列交互的步骤序列,需要对消息进行确认.

1. Spark队列接收器从队列中提取一批消息.
2. Spark队列接收器将该批消息存储到预写日志中.
3. 在将ack发送到队列之前终止Spark应用程序.
4. Spark应用程序再次启动.
5. 预写日志中的消息通过流应用程序处理.
6. Spark队列接收器从队列中提取一批消息,这些消息已在步骤1中看到,因为它们未被确认为已接收.
7. ...

我的理解是正确的,应该如何实现自定义接收器,它带来的重复问题,以及需要正常关闭是正常的吗？

Answer 1

底线：这取决于您的输出操作。

使用V1.3 中引入的Direct API 方法消除了 Spark Streaming 和 Kafka 之间的不一致，因此尽管出现故障，Spark Streaming 仍能有效地准确接收每条记录一次，因为 Spark Streaming 在其检查点内跟踪偏移量。

为了实现结果输出的一次性语义，将数据保存到外部数据存储的输出操作必须是幂等的，或者是保存结果和偏移量的原子事务。

有关 Direct API 及其使用方法的更多信息，请查看Databricks 的这篇博客文章。