可以通过哪些选项将主题中的 Kafka 数据流式传输、使用并提取到 BigQuery/云存储中。
根据, 是否可以将 Kafka 与 Google 云数据流一起使用
GCP 附带了构建在 Apache Beam 编程模型之上的 Dataflow。KafkaIO 与 Beam Pipeline 结合使用是对传入数据执行实时转换的推荐方法吗?
https://beam.apache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/kafka/KafkaIO.html
Kafka 数据可以推送到云发布-订阅,然后推送到 BigQuery 表上。也可以使用 GCP 之外的 Kafka 流/Spark 作业。
鉴于数据完全托管在 Google Cloud Platform (GCP) 上,在设计决策期间需要考虑哪些因素?