小编And*_* Mo的帖子

解释与 Cloud Dataflow 一起使用时 Google Cloud PubSub 的成本

关于pubsub 定价的文档非常少。有人可以解释以下场景的成本吗?

  • 每个事件的数据大小 = 0.5 KB
  • 每天的数据大小 = 1 TB

只有一个发布者应用程序和两个数据流管道订阅。

我能想出的非常粗略的估计是:

  • 1x 出版
  • 2x 订阅(每个订阅 1x)
  • 2x 确认(每个订阅确认 1x)

问题是:

  1. 每月总数据量是否为 150 (30* 1 TB * 5x) TB?这是价格计算器每月 8000 美元。
  2. 1 KB 最小计算大小是否适用于确认消息?
  3. Dataflow 在 ParDos 包中处理订阅/确认。但是,每个消息的包是否单独确认?

google-cloud-pubsub google-cloud-dataflow

5
推荐指数
0
解决办法
2370
查看次数

如何重新启动已取消的Cloud Dataflow流作业?

我已经为BigQuery数据流创建了标准的PubSub。但是,为了确保在脱机时不会花大钱,我取消了数据流。在GCP控制台中,似乎没有重新启动它的选项-是否可以通过控制台或通过外壳(如果可以,如何)来重新启动它?

google-cloud-platform google-cloud-dataflow

4
推荐指数
1
解决办法
2481
查看次数

使用 Python SDK 的数据流流:将 PubSub 消息转换为 BigQuery 输出

我正在尝试使用数据流读取 pubsub 消息并将其写入大查询。我获得了 Google 团队的 alpha 访问权限,并且已经使提供的示例正常工作,但现在我需要将其应用到我的场景中。

发布订阅负载:

Message {
    data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1}
    attributes: {}
}
Run Code Online (Sandbox Code Playgroud)

大查询架构:

schema='mac:STRING, status:INTEGER, datetime:TIMESTAMP',
Run Code Online (Sandbox Code Playgroud)

我的目标是简单地读取消息有效负载并插入到 bigquery 中。我正在努力了解转换以及如何将键/值映射到大查询模式。

我对此很陌生,因此非常感谢任何帮助。

当前代码: https: //codeshare.io/ayqX8w

谢谢!

python dataflow google-bigquery google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
4801
查看次数