获取BigQuery项目中所有BigQuery表的上次修改日期

Question

我在BigQuery项目中有几个数据库,这些数据库由各种作业引擎和应用程序填充.我想为项目中的每个表维护一个包含所有上次修改日期的仪表板,以监控作业失败.

是否有任何命令行或SQL命令可以提供上次修改日期列表？

Answer 1

对于SQL命令,您可以尝试这个:

#standardSQL
SELECT *, TIMESTAMP_MILLIS(last_modified_time)
FROM `dataset.__TABLES__` where table_id = 'table_id'

我建议你看看你是否可以在应用程序级别记录这些错误.通过这样做,您还可以理解为什么某些东西不能按预期工作.

如果你已经在使用GCP,你可以使用Stackdriver(它也适用于AWS),我们开始在我们的项目中使用它,我建议尝试一下(我们测试了python应用程序,但不确定该工具如何执行其他客户但可能非常相似).