将数据从Redshift迁移到BigQuery

Question

我想将大约100个表中的1 TB数据从Redshift迁移到BigQuery.

是否有任何工具可用于此数据迁移？如果'pgloader'(用于从MySQL迁移到PostgreSQL)之类的东西可用,它将节省大量时间吗？

Answer 1

我在GitHub上有两个开源替代品:

• https://github.com/iconara/bigshift
• https://github.com/uswitch/bqshift

两者似乎维护得很好,而bigshift已经存在了很长时间,并显示了更完整的文档(目前).

在执行此迁移时,引用bigshift文档来说明该工具为何非常有用:

无论您在两端指定哪些选项,Redshift的UNLOAD生成的CSV都无法加载到BigQuery中.Redshift可以引用所有字段或不引用任何字段,但BigQuery不允许引用非字符串字段.布尔值和时间戳的格式不兼容,并且他们希望引用字段中的引号可以不同方式进行转义,仅举几例.

这意味着BigShift所做的很多工作都是确保从Redshift转储的数据与BigQuery兼容.为此,它会读取表模式,并在转储数据时转换不同的数据类型.报价已转义,时间戳已格式化,等等.