将Amazon RDS与Google BigQuery同步

Question

人们,我工作的公司在AWS(Amazon RDS)上有一些MySQL数据库.我们正在使用BigQuery制作POC,我现在正在研究的是如何将基础复制到BigQuery(现有的寄存器和未来的寄存器).我的怀疑是:

• 如何将MySQL表和行复制到BigQuery.有没有工具可以做到这一点(我正在阅读亚马逊数据库迁移服务)？我应该复制到Google Cloud SQL而不是导出到BigQuery吗？
• 如何复制未来的寄存器？可以在MySQL内部创建一个作业,在预定义的数字后发送新的寄存器吗？例如,在插入1,000个新行(或传递时间)之后,某些事件被"触发"并且新的寄存器被复制到Cloud SQL/BigQuery？

我最初的想法是转储原始基础,将其加载到另一个基础并使用脚本来监听新寄存器并将它们发送到新基础.

我有没有正确解释过？这可以理解吗？

Answer 1

您将需要使用与 mySQL 和 BigQuery 集成的 ETL 工具之一来执行数据的初始传输并将后续更改复制到 BigQuery。查看可用工具列表 [1]

您还可以通过开发一个流程来实现自己的工具，该流程将数据从 mySQL 提取到 CSV 文件，然后使用数据导入将该文件加载到 BigQuery [2]

[1] https://cloud.google.com/bigquery/third-party-tools

[2] https://cloud.google.com/bigquery/loading-data-into-bigquery