如何通过BigQuery获取BigQuery表的元数据(记录计数或上次更新日期或创建日期)

Question

我想编写一个BigQuery命令行命令,它将检索BigQuery表的最后修改时间.我怎样才能做到这一点？

仅当最后修改的日期时间大于某个日期时间时,我才会使用BigQuery表.

Answer 1

这是一个简单的查询,显示有关数据集中所有表的元数据:

SELECT * FROM <dataset>.__TABLES__;

你可以加

WHERE table_id='<table_name>'

如果要将其限制为某个表.

这些是返回的列:

project_id, dataset_id, table_id, creation_time, last_modified_time, row_count, size_bytes, type

Web UI说这个查询处理0个字节,所以我认为可以自由运行.

Answer 2

使用以下命令行显示表的元数据：

bq show project_id:dataset_id.table_id

您将得到如下结果。如果您想要自动化该过程，请用于grep获取日期。

  Last modified           Schema           Total Rows   Total Bytes   Expiration
 ----------------- ----------------------- ------------ ------------- ------------
  24 Apr 16:29:28   |- state: string        5365794      165658304
                    |- gender: string
                    |- year: integer
                    |- name: string
                    |- occurence: integer