我正在尝试在 AWS Aurora 和 Redshift 之间设置同步。实现这种同步的最佳方法是什么?
可能的同步方式是:-
查询表以查找表中的更改(因为我只执行插入,更新无关紧要),将这些更改导出到 S3 存储桶中的平面文件并使用 Redshift 复制命令插入到 Redshift 中。
使用python 发布者和 Boto3 将更改发布到 Kinesis 流中,然后在 Firehose 中使用此流,我可以从那里直接复制到 Redshift 中。
使用 Kinesis Agent 检测 binlog 中的更改(是否可以使用 Kinesis Agent 检测 int binlog 中的更改)并将其发布到 Firehose,然后从那里复制到 Firehose。
我还没有探索过 AWS Datapipeline。
amazon-web-services amazon-redshift amazon-kinesis amazon-aurora amazon-kinesis-firehose