Big Query 中的 WRITE_TRUNCATE 行为

Question

我对Big Query 中的WRITE_TRUNCATE行为有疑问。

我有一个很大的查询表（T1），我定期将日志数据附加到它（每条日志行一行）。我想要一个数据流作业 ( D1 ) 从这个表中读取，删除任何重复的行并执行其他数据清理操作，然后将其输出到另一个大查询表 ( T2 )，替换可能已经存在于此的任何数据桌子。我相信我可以通过在数据流作业中的 BigQuery.IO 接收器中使用WRITE_TRUNCATE 写入配置来做到这一点。

问题是，如果我有另一个数据流作业 ( D2 ) 从表T2读取，而作业D1正在写入截断该表的中间，则D2看到什么数据，即它是否看到表处于它所处的状态在截断之前或截断完成之后。或者它可以在截断期间的任何步骤中看到表格（例如通过附加新数据的一部分）？

上面链接的 javadoc 表明截断可能不是原子的，而Big Query的REST 文档表明它是原子的。

Answer 1

REST API 实际上是此处的真实来源，即BigQuery 作业成功完成后的更改是原子性的。