跳过redshift数据加载中的错误记录

Question

我正在尝试使用以下命令将数据加载到AWS redshift中

copy venue from 's3://mybucket/venue'
credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>'
delimiter '\t';

但数据加载失败,当我检查查询部分的特定加载时,我发现它失败了,原因是"错误的UTF8十六进制序列:a4(错误3)"

有没有办法将数据加载中的错误记录跳转到redshift？

Answer 1

是的,您可以使用maxerror参数.此示例将允许跳过最多250条错误记录(错误将写入stl_load_errors):

copy venue from 's3://mybucket/venue' credentials 'aws_access_key_id=;aws_secret_access_key=' delimiter '\t' maxerror as 250;