使用Dataproc将Google Pub / Sub与Flink流一起使用的正确方法是什么?

Vik*_*hov 4 google-cloud-platform google-cloud-pubsub apache-flink google-cloud-dataproc flink-streaming

我试图找出在Dataproc上运行Apache Flink并将Google Pub / Sub用作源/接收器的正确方法。当我创建Dataproc集群时,将flink初始化操作应用于最新的映像1.4之后,将安装Flink 1.6.4。

问题是flink-connector-gcp-pubsub仅从Flink 1.9.0版开始可用。

所以我的问题是将所有这些结合使用的正确方法是什么?我应该使用最新的Flink构建自己的gce映像吗?已经有一个了吗?

小智 5

正如您已经说过的flink-connector-gcp-pubusub,仅可从Flink 1.9.0获得。因此,您有两种选择:

我不建议实现连接器,因为它是一项复杂的任务,需要深入了解Flink,而以Flink 1.6.4的示例为例,构建自己的映像应该相对容易一些。