关于pubsub 定价的文档非常少。有人可以解释以下场景的成本吗?
只有一个发布者应用程序和两个数据流管道订阅。
我能想出的非常粗略的估计是:
问题是:
我已经为BigQuery数据流创建了标准的PubSub。但是,为了确保在脱机时不会花大钱,我取消了数据流。在GCP控制台中,似乎没有重新启动它的选项-是否可以通过控制台或通过外壳(如果可以,如何)来重新启动它?
我正在尝试使用数据流读取 pubsub 消息并将其写入大查询。我获得了 Google 团队的 alpha 访问权限,并且已经使提供的示例正常工作,但现在我需要将其应用到我的场景中。
发布订阅负载:
Message {
data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1}
attributes: {}
}
Run Code Online (Sandbox Code Playgroud)
大查询架构:
schema='mac:STRING, status:INTEGER, datetime:TIMESTAMP',
Run Code Online (Sandbox Code Playgroud)
我的目标是简单地读取消息有效负载并插入到 bigquery 中。我正在努力了解转换以及如何将键/值映射到大查询模式。
我对此很陌生,因此非常感谢任何帮助。
当前代码: https: //codeshare.io/ayqX8w
谢谢!
python dataflow google-bigquery google-cloud-dataflow apache-beam