如果列内容太长,如何使用spark-redshift截断列?

fly*_*zai 3 amazon-redshift apache-spark

我想知道spark-redshift如果列内容太长,如何截断列,而不是返回错误.

eli*_*sah 5

spark-redshift连接器使用redshift-jdbc的罩下连接器.此连接器用于自动地触发适当的COPYUNLOAD上的命令AWS红移.

但是,您可以指定extracopyoptions哪个是在加载数据时附加到AWS Redshift COPY命令的附加选项列表,例如TRUNCATECOLUMNS在您的情况下.

请注意,由于这些选项附加到COPY命令的末尾,因此只能使用在命令末尾有意义的选项,但这应该涵盖大多数可能的用例.