小编mmz*_*yad的帖子

解释与 Cloud Dataflow 一起使用时 Google Cloud PubSub 的成本

关于pubsub 定价的文档非常少。有人可以解释以下场景的成本吗?

  • 每个事件的数据大小 = 0.5 KB
  • 每天的数据大小 = 1 TB

只有一个发布者应用程序和两个数据流管道订阅。

我能想出的非常粗略的估计是:

  • 1x 出版
  • 2x 订阅(每个订阅 1x)
  • 2x 确认(每个订阅确认 1x)

问题是:

  1. 每月总数据量是否为 150 (30* 1 TB * 5x) TB?这是价格计算器每月 8000 美元。
  2. 1 KB 最小计算大小是否适用于确认消息?
  3. Dataflow 在 ParDos 包中处理订阅/确认。但是,每个消息的包是否单独确认?

google-cloud-pubsub google-cloud-dataflow

5
推荐指数
0
解决办法
2370
查看次数

Google Bigquery:如何更新分区表的分区到期时间?

Bigquery文档说,它有可能更新分区表的分区时间到期。而我只能在摄取时间分区表上执行此操作。我尝试了以下方法:

  bq query --use_legacy_sql=false ' 
  CREATE TABLE IF NOT EXISTS [DATASET].partitioned_table_ingestion_time ( 
      event_date DATE NOT NULL, 
      event_id INT64) 
  PARTITION BY DATE(_PARTITIONTIME)
  OPTIONS( 
     partition_expiration_days=10, 
     description="table partitioned by ingestion time and with expiry" 
   )' 
Run Code Online (Sandbox Code Playgroud)

更新查询和结果:

  # update expiry to 7 days = 7 * 24 * 60 * 60 = 604800 s
  bq update --time_partitioning_expiration 604800 [PROJECT-ID]:[DATASET].partitioned_table_ingestion_time

  Table 'PROJECT-ID]:[DATASET].partitioned_table_ingestion_time' successfully updated.
Run Code Online (Sandbox Code Playgroud)

现在,对于分区表:

  bq query --use_legacy_sql=false ' 
  CREATE TABLE IF NOT EXISTS [DATASET].partitioned_table ( 
      event_date DATE NOT NULL, 
      event_id INT64) 
  PARTITION BY event_date …
Run Code Online (Sandbox Code Playgroud)

google-bigquery

3
推荐指数
1
解决办法
951
查看次数