小编Ran*_*ech的帖子

如何在bigquery中创建分区表

Google最近宣布BigQuery中的分区表具有许多优点.但是,我没有找到如何创建此类表的文档.如何在UI,CLI或API(java等)中创建这样的表?

google-bigquery

7
推荐指数
2
解决办法
4656
查看次数

在时间分区的bigquery表中,何时将数据写入__UNPARTITIONED__?有什么影响?

我遇到了一些时间分区的bigquery表格的未记录的未记录行为:

我在BigQuery中创建了一个时间分区表并插入了数据.我能够正常插入 - 数据写入今天的分区(我也能够明确指定分区并写入其中)

在对新数据进行一些测试之后,我删除了今天的分区,以获得干净的数据:(CLI)

bq --project_id=my-project rm v1.mytable$20160613
Run Code Online (Sandbox Code Playgroud)

然后我检查它是否为空:

select count(*) from [v1.mytable]
Run Code Online (Sandbox Code Playgroud)

结果 270而不是0

我再次尝试删除并重新运行查询 - 相同的结果.所以我问了

select count(*) from [v1.mytable$20160613]
Run Code Online (Sandbox Code Playgroud)

结果 0

所以我可能已插入数据的几个日期,但都是0.最后我跑了

SELECT partition_id from [v1.mytable$__PARTITIONS_SUMMARY__];
Run Code Online (Sandbox Code Playgroud)

结果

{ UNPARTITIONED 20160609 20160613}

并且所有数据实际上都是在UNPARTITIONED中

我的问题:

  1. 何时将数据写入此特殊分区而不是每日分区,如何避免这种情况?
  2. 是否有其他影响,除了失去解决特定日期(在查询中,或删除数据等)的能力?我应该照顾这个案子吗?

google-bigquery

4
推荐指数
2
解决办法
1243
查看次数

标签 统计

google-bigquery ×2