我目前正在使用Amazon Redshift存储来自50-100 GB(即数百万行)制表符分隔文件的聚合数据,这些文件每天都被推送到Amazon S3中的存储桶.
Redshift通过提供一个copy可以直接定位到S3存储桶以批量加载数据的命令来简化这一过程.
我想将Amazon Aurora RDS用于同样的目的.关于Aurora的文档目前很少.有没有办法直接从S3批量加载到Aurora?
据我所知,MySql LOAD DATA INFILE需要磁盘上文件的路径,我想我可以通过将tsv下载到AWS实例并从那里运行命令来解决这个问题,尽管这并不理想.
我还尝试将tsv读入内存并构造多个insert语句.这显然是缓慢而笨重的.
想法?
2016年11月11日更新:
从Aurora 1.8版开始,您现在可以使用以下命令批量加载S3数据:
LOAD DATA FROM S3
要么
LOAD XML FROM S3
更新7/2018:
更新了AWS文档链接.向Mark Holmes致敬.
我正在使用DataTables jQuery插件,并且在IE和Safari(Firefox和Opera工作)中正确显示First和Previous分页链接存在问题.
"<<"和"<"显示为"<"和"".
$(document).ready(function () {
oTable = $('#fileList').dataTable({
"bJQueryUI": true,
"sPaginationType": "full_numbers",
"oLanguage":
{
"sSearch": "Search all columns:",
"oPaginate":
{
"sNext": '>',
"sLast": '>>',
"sFirst": '<<',
"sPrevious": '<'
}
}
});
Run Code Online (Sandbox Code Playgroud)
我试图逃避'\ <\ <'无济于事.
有任何想法吗?