Vik*_*hov 4 google-cloud-platform google-cloud-pubsub apache-flink google-cloud-dataproc flink-streaming
我试图找出在Dataproc上运行Apache Flink并将Google Pub / Sub用作源/接收器的正确方法。当我创建Dataproc集群时,将flink初始化操作应用于最新的映像1.4之后,将安装Flink 1.6.4。
问题是flink-connector-gcp-pubsub仅从Flink 1.9.0版开始可用。
所以我的问题是将所有这些结合使用的正确方法是什么?我应该使用最新的Flink构建自己的gce映像吗?已经有一个了吗?
小智 5
正如您已经说过的flink-connector-gcp-pubusub,仅可从Flink 1.9.0获得。因此,您有两种选择:
我不建议实现连接器,因为它是一项复杂的任务,需要深入了解Flink,而以Flink 1.6.4的示例为例,构建自己的映像应该相对容易一些。
| 归档时间: |
|
| 查看次数: |
112 次 |
| 最近记录: |