AWS Redshift：如何存储大小大于100K的文本字段

Question

我在镶木地板文件中有一个最大长度的文本字段141598。我正在将镶木地板文件加载到 redshift，并在加载时出现错误，因为varchar可以存储的最大值是65535。我可以使用任何其他数据类型或可以遵循的其他替代方案吗？

加载时出错：

S3 Query Exception (Fetch). Task failed due to an internal error. The length of the data column friends is longer than the length defined in the table. Table: 65535, Data: 141598

Answer 1

不， VARCHAR 数据类型的最大长度为 65535 字节，这是 Redshift 能够存储的最长数据类型。请注意，长度以字节为单位，而不是字符，因此实际存储的字符数取决于它们的字节长度。

如果数据已经是 parquet 格式，那么您可能根本不需要将此数据加载到 Redshift 表中，而是可以在其上创建一个 Spectrum外部表。外部表定义仅支持 65535 的 VARCHAR 定义，与普通表相同，并且针对该列的任何查询都会默默地截断超出该长度的其他字符 - 但是原始数据将保留在 parquet 文件中，并且可以通过以下方式访问：如果需要的话可以采用其他方式。