小编Eka*_*sal的帖子

我正在构建一个从 MYSQL 数据库读取数据并在 BigQuery 中创建副本的变更数据捕获管道。我将在 Pub/Sub 中推送更改并使用 Dataflow 将它们传输到 Google Cloud Storage。我已经能够弄清楚如何流式传输更改，但是我需要对数据库中的几个表运行批处理。

在从 Pub/Sub 等无限源读取时，能否使用 Dataflow 运行批处理作业？我可以运行此批处理作业以将数据从 Pub/Sub 传输到 Cloud Storage，然后将此数据加载到 BigQuery 吗？我想要一个批处理作业，因为流作业成本更高。