小编Min*_*ato的帖子

如何使用 Python 将 Google Pub/Sub 与 Google Dataflow/Beam 结合使用?

我是 Pub/Sub 和 Dataflow/Beam 的新手。我已经在 Spark 和 Kafka 中完成了一项任务,我想使用 Pub/Sub 和 Dataflow/Beam 做同样的事情。据我目前的理解,Kafka 类似于 Pub/Sub,Spark 类似于 Dataflow/Beam。

任务是获取 JSON 文件并写入 Pub/Sub 主题。然后使用 Beam/Dataflow 我需要将该数据放入 PCollection。我将如何实现这一目标?

python google-cloud-pubsub google-cloud-dataflow

0
推荐指数
1
解决办法
4467
查看次数