GCP Dataflow vCPU 使用情况和定价问题

Question

我提交了一个 GCP 数据流管道，以从 GCP Pub/Sub 接收数据、解析并存储到 GCP 数据存储区。看起来工作很完美。

经过 21 天，我发现成本为 144.54 美元，工作时间为 2,094.72 小时。这意味着我提交后，即使没有从 Pub/Sub 接收（处理）任何数据，也会每秒收费。

这种行为正常吗？或者我设置了错误的参数？我以为CPU使用时间只有在接收到数据时才计算。

有什么方法可以降低相同工作模型的成本（从 Pub/Sub 接收并存储到数据存储）？

Answer 1

Cloud Dataflow 服务使用量按作业按每秒增量计费。我猜您的工作使用了 4 个 n1-standard-1 工作线程，其中使用了 4 个 vCPU，估计资源使用量为 2,000 vCPU 小时。因此，这种行为是正常的。为了降低成本，您可以使用autoscaling来指定最大工作线程数，或使用pipeline options来覆盖分配给每个工作线程的资源设置。根据您的需求，您可以考虑使用成本较低的云功能，但要考虑其局限性。

希望能帮助到你。