创建BigQuery项目的备份

Question

我想知道在BigQuery中备份数据的最佳策略是什么？

到目前为止，我们正在使用BigQuery来存储来自不同来源的许多不同数据集。我们确实将原始数据（csv文件）存储在一边，但是从它们重新创建整个内容将是困难且耗时的任务。

有没有办法对项目中的所有数据集/表进行快照？

Answer 1

因此，如果您命名上下文，那么这里的问题通常会很有意义。

BigQuery是一项托管服务，因此您的数据将被复制，并且您信任Google Cloud它将一直可用。万一BigQuery工程师失败了，这种情况下，您将无法开始回滚或修复，也无法进行任何管理的操作。

假设以某种方式清除了所有数据（大地震+炸弹袭击了多个数据中心等。）如果您没有再构建的源，则您的数据将丢失。对于您保管的其他数据（不仅仅是BQ项目）也是如此。也许您的CEO凭据被黑客用来首先清除所有备份，然后清除当前实例，因此所有公司的数据都将丢失，并且由于不再有备份，您无法将任何数据恢复到正常状态。

为了为BQ服务关闭，Google关闭服务或更坏的情况下的最终灾难做好准备，您需要进行备份以重建数据。如果保留原始文件并能够重播它们就足够了。我们通常将其存储为几年，因为我们可能会考虑将所有其他数据重定位到其他提供商，例如：Skynet Data Center等。），我们可以再次使用它们来重播数据库状态。

您可以将BigQuery表和数据导出到Google Cloud Storage，也可以从那里移动到任何需要进行冷存储的地方。也可以在还原时导入最大5TB的文件。