我可以在 BigQuery 中检索外部表数据的文件名吗？

Question

希望为目前管理大量 excel/csv 文件的部门团队实施一个简单的数据存储。我们将让他们准备文件并将它们以 CSV 格式放入 GCS 存储桶中，然后将外部 BQ 表指向此（一切都很好）。

但是，如果他们运行查询并查看一些数据，然后想找到该数据实际上是从哪里提取的，我们如何找出（假设文件名中没有上下文线索）哪个文件包含其中的行？题？

Answer 1

您可以使用 _FILE_NAME 伪列来查看外部表的行所属的文件。请注意，伪列仅适用于外部表。例子：

bq query --external_table_definition=externalTable::AVRO=gs://mybucket/f* 'SELECT _FILE_NAME as f FROM externalTable'