AWS Datapipeline RedShiftCopyActivity - 如何指定"列"

Pet*_*ter 9 amazon-s3 amazon-web-services amazon-redshift amazon-data-pipeline

我正在尝试使用RedShiftCopyActivity和datapipeline将一堆csv文件从S3复制到Redshift.

只要csv结构与表结构匹配,这就可以正常工作.在我的情况下,csv的列数比表少,然后RedShiftCopyActivity在stl_load_errors中出现"Delimiter not found"错误.

我想使用redshift copy命令"columns"选项.这样我就可以使它工作,但redshift复制命令的列部分似乎在RedShiftCopyActivity中不可用.

任何建议?

热烈欢迎所有小贴士.

非常感谢.

彼得

Rad*_*avu 1

我知道这是一个老问题,但现在您可以为 Redshift COPY 命令指定列列表。

COPY tablename (column1 [,column2, ...]) 
Run Code Online (Sandbox Code Playgroud)

从S3加载数据时,列顺序需要与源数据的顺序匹配。请查看此处的文档:Amazon Redshift 列映射选项

拉杜