Apache flink，以 S3 作为源，S3 作为接收器

Question

是否可以通过 apache Flink 读取事件进入 S3 源存储桶并处理并将其下沉回其他 S3 存储桶？是否有一个特殊的连接器，或者我必须使用 Apache Flink 中提到的可用读取/保存示例？在这种情况下检查点是如何发生的，flink 是否自动跟踪从 S3 源存储桶读取的内容，或者是否需要构建自定义代码。flink 是否也保证 S3 源案例中的恰好一次处理。

Answer 1

在 Flink 1.11 中，FileSystem SQL Connector得到了很大的改进；对于这个用例来说，这将是一个很好的解决方案。

通过 DataStream API，您可以使用FileProcessingMode.PROCESS_CONTINUOUSLY来readFile监视存储桶并在新文件自动移入存储桶时摄取新文件。Flink 跟踪存储桶的最后修改时间戳，并摄取自该时间戳以来修改的所有子项——以一次性方式执行此操作（这些文件的读取偏移量包含在检查点中）。