Jaa*_*rse 6 c# amazon-s3 amazon-aurora
我目前正在使用Amazon Redshift存储来自50-100 GB(即数百万行)制表符分隔文件的聚合数据,这些文件每天都被推送到Amazon S3中的存储桶.
Redshift通过提供一个copy可以直接定位到S3存储桶以批量加载数据的命令来简化这一过程.
我想将Amazon Aurora RDS用于同样的目的.关于Aurora的文档目前很少.有没有办法直接从S3批量加载到Aurora？
据我所知,MySql LOAD DATA INFILE需要磁盘上文件的路径,我想我可以通过将tsv下载到AWS实例并从那里运行命令来解决这个问题,尽管这并不理想.
我还尝试将tsv读入内存并构造多个insert语句.这显然是缓慢而笨重的.
想法？
2016年11月11日更新:
从Aurora 1.8版开始,您现在可以使用以下命令批量加载S3数据:
LOAD DATA FROM S3
要么
LOAD XML FROM S3
更新7/2018:
更新了AWS文档链接.向Mark Holmes致敬.
小智 4
您可以使用 AWS Data Pipeline。甚至还有一个用于将数据从 S3 加载到 RDS 的模板：
http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copys3tords.html
| 归档时间： |
|
| 查看次数： |
6578 次 |
| 最近记录： |