使用 Dataflow 和 Java 在 google 大查询中将表从一个数据集复制到另一个数据集的最佳方法

Question

使用数据流将大型查询表从一个项目复制到另一个项目的最佳方法是什么？我使用 CopyJobConfiguration 做到了这一点，但是为此我们始终需要提高其他项目的作业创建访问权限。所以我正在寻找最好、最优且经济的复制数据的解决方案。在GCP上，除了JobCopyConfiguration之外，我找不到推荐的方法。

Answer 1

我认为最好的方法是直接使用将表从一个项目复制到另一个项目，如果您没有业务规则和转换，则在这种情况下Bigquery不需要。Dataflow

您可以使用例如gcloudsdk 和bq：

bq cp project1:dataset1.table1 project2:dataset2.table2

您也可以直接使用Bigquery控制台来GUI执行此操作。

您必须使用对两个项目具有所需权限的身份。