BigQuery 是否有一个 api 来返回导出表的校验和

Question

我正在寻找是否存在一种方法可以获取可以从 google bigquery 导出的文件（或表）的校验和。

假设我导出（或下载）了一个daily-record-2018-07-10从 bigquery调用的文件的示例 ，是否有一种方式 bigquery 可以为我们提供一些checksum（例如sha1，md5等），以便我们可以在开始处理这些文件之前预先计算这些校验和

这样做的原因是为了确保我们在下载（或导出）表时不会丢失任何信息。我们确实在网络上丢失了一些信息，然后我们可以预先计算校验和并再次尝试导出表。

Answer 1

听起来问题可能是关于如何校验一个文件，我相信有很多关于这个的资源，但是如果你想校验存储在 BigQuery 中的表，你可以使用这种形式的查询：

SELECT BIT_XOR(FARM_FINGERPRINT(TO_JSON_STRING(t)))
FROM MyTable AS t

这会将每一行转换为字符串表示、散列，然后对结果进行异或以生成整个表的校验和。您也可以在外部表（例如 Cloud Storage 或 Drive 上的文件）上使用它。