在BigQuery中将大量数据从美国数据集迁移到EU数据集的最佳方法？

Question

我在位于美国的多个数据集中托管的单个BigQuery项目中,在大约100万个表中有许多TB.我需要将所有这些数据移动到欧盟托管的数据集中.这样做的最佳选择是什么？

• 我将表格导出到Google云端存储并使用加载作业重新导入,但每个项目每天的加载作业限制为10K
• 我将它作为具有"允许大结果"的查询并保存到目标表,但这不适用于跨区域

我现在看到的唯一选择是使用BQ流API重新插入所有数据,这将成本过高.

在BigQuery中跨区域移动大量数据的最佳方法是什么？

Answer 1

您有几个选择：

1. 使用加载作业，并联系 Google Cloud 支持请求配额例外。他们可能会临时授予 10 万左右（如果没有，请联系我，tigani@google我可以这样做）。
2. 使用联合查询作业。也就是说，将数据移动到 EU 的 GCS 存储桶中，然后通过 BigQuery 查询 GCS 数据源重新导入数据。更多信息请点击这里。

我还将研究是否可以全面提高这个配额限制。

Answer 2

您可以使用BigQuery Copy Dataset复制数据集（区域内/跨区域）。复制数据集 UI 与复制表类似。只需从源数据集中单击“复制数据集”按钮，然后在弹出的表单中指定目标数据集。请参阅下面的屏幕截图。查看公共文档以了解更多用例。