如何将 Mysql 实时同步到 Bigquery?

Anu*_*ain 5 mysql google-bigquery

目前我有一些脚本首先删除表并将表从 MySQL 上传到 Bigquery。而且很多时候都失败了。此外,它每天只运行一次。我正在寻找一些可扩展的实时解决方案。您的帮助将不胜感激:)

Fel*_*ffa 8

阅读 Wepay 的这些系列文章,其中详细介绍了如何使用 Airflow 将 MySQL 数据库同步到 BigQuery:

作为总结(引用):

  • 设置身份验证、连接、DAG。
  • 定义要从 MySQL 中提取哪些列并加载到 BigQuery 中。
  • 选择如何加载数据:增量加载或完全加载。
  • 去重。