如何将 Mysql 实时同步到 Bigquery？

Question

目前我有一些脚本首先删除表并将表从 MySQL 上传到 Bigquery。而且很多时候都失败了。此外，它每天只运行一次。我正在寻找一些可扩展的实时解决方案。您的帮助将不胜感激:)

Answer 1

阅读 Wepay 的这些系列文章，其中详细介绍了如何使用 Airflow 将 MySQL 数据库同步到 BigQuery：

• https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• （第三个是关于 BigQuery）

作为总结（引用）：

• 设置身份验证、连接、DAG。
• 定义要从 MySQL 中提取哪些列并加载到 BigQuery 中。
• 选择如何加载数据：增量加载或完全加载。
• 去重。