小编Jon*_*ase的帖子

有没有办法确定或指定 BigQuery 将数据存储在哪个地理区域?

有没有办法确定BigQuery 将我的数据存储在哪个区域(像这些)?更重要的是,有没有办法指定我的数据在发送到 BigQuery 时的存储位置?如果重要的话,我同时使用 POST 方法来批量加载数据和流式传输。

如果这两个答案都是“否”,那么BQ 将数据存储在哪里?它只是在美国,其他地方……还是遍布全球?

google-bigquery

6
推荐指数
1
解决办法
2255
查看次数

在BigQuery中将大量数据从美国数据集迁移到EU数据集的最佳方法?

我在位于美国的多个数据集中托管的单个BigQuery项目中,在大约100万个表中有许多TB.我需要将所有这些数据移动到欧盟托管的数据集中.这样做的最佳选择是什么?

  • 我将表格导出到Google云端存储并使用加载作业重新导入,但每个项目每天的加载作业限制为10K
  • 我将它作为具有"允许大结果"的查询并保存到目标表,但这不适用于跨区域

我现在看到的唯一选择是使用BQ流API重新插入所有数据,这将成本过高.

在BigQuery中跨区域移动大量数据的最佳方法是什么?

google-bigquery

5
推荐指数
2
解决办法
1405
查看次数

BQ项目中表格数量的硬限制

我有一些高度可分区的数据,我想存储在BigQuery中,每个分区都有自己的表.我的问题是BQ是否会支持我需要的表格数量.

根据我的数据集,我每天会创建大约2,000个新表.所有表格都有390天(13个月)的到期时间,因此最终会在这个特定项目中持续计算约2,000个表*390天= ~780,000个表.

我自己测试一下,但BQ 每个项目每天最多只支持10,000个负载作业.

有没有人有这种表计数的经验?是否有Google提供的官方桌面限制?

google-bigquery

3
推荐指数
1
解决办法
735
查看次数

标签 统计

google-bigquery ×3