如何将分割的gzip文件中的数据加载到redshift中？

Question

我可以将分割的gzip文件中的数据加载到亚马逊红移表中吗？

我可以从单个gzip文件或分割文本文件加载数据.

但我可以从拆分的gzip文件加载数据吗？

Answer 1

我在这里假设你的意思是你有多个CSV文件,每个文件都被gzip压缩.

首先,将每个文件上传到相同前缀和分隔符下的S3存储桶.

s3://S3_BUCKET/S3_PREFIX/file0.gz s3://S3_BUCKET/S3_PREFIX/file1.gz

然后,执行Redshift 复制命令:

copy TABLE_NAME from 's3://S3_BUCKET/S3_PREFIX' credentials 'aws_access_key_id=ACCESS_KEY;aws_secret_access_key=SECRET_KEY' csv gzip

• 指定S3存储桶和前缀
• 包括有权读取S3对象的凭据
• 确保目标表已存在并且具有与CSV兼容的列
• 指定csv和gzip选项

此外,最好让文件计数与群集中的节点数成比例.