Cloud Dataflow 流处理作业能否扩展到零？

Question

我正在使用 Cloud Dataflow 流式传输管道将从 Pub/Sub 接收的事件插入到 BigQuery 数据集中。我需要一些来保持每项工作简单且易于维护。

我担心的是全球成本。数据量不是很大。在一天中的某些时段，没有任何数据（发布/订阅上有任何消息）。

我希望数据流扩展到 0 个工作线程，直到收到新消息。但好像最低工人数是1。

因此，每天每项作业的最低价格为：24 个 vCPU 小时...因此每个作业每月至少 50 美元。（按月使用无折扣）

我计划每天通过 api 运行和耗尽我的工作几次，以避免 1 个全职工人。但这对于像 DataFlow 这样的托管服务来说似乎不是正确的形式。

有什么我错过的吗？

Answer 1

流数据流作业必须始终有一个工作线程。如果数据量非常低，批处理作业可能更适合用例。使用调度程序或 cron，您可以定期启动批处理作业来耗尽主题，这将节省成本。