我是 Pub/Sub 和 Dataflow/Beam 的新手。我已经在 Spark 和 Kafka 中完成了一项任务,我想使用 Pub/Sub 和 Dataflow/Beam 做同样的事情。据我目前的理解,Kafka 类似于 Pub/Sub,Spark 类似于 Dataflow/Beam。
任务是获取 JSON 文件并写入 Pub/Sub 主题。然后使用 Beam/Dataflow 我需要将该数据放入 PCollection。我将如何实现这一目标?
python google-cloud-pubsub google-cloud-dataflow
google-cloud-dataflow ×1
google-cloud-pubsub ×1
python ×1