Redshift 插入查询的最大大小是多少?

T. *_*rdy 3 amazon-web-services elasticsearch amazon-redshift

我正在尝试将多行数据批处理到 RedshiftINSERT查询中。为了保持高效,我想知道在需要开始新批次之前可以走的最大长度。如果有更好的方法来做到这一点,请告诉我。

编辑:我有点含糊。我正在尝试从 Elasticsearch 转到 Redshift。这会生成 JSON 格式,我将其转换为:INSERT INTO xxxx VALUES (a1, a2, a3), (b1, b2, b3), (c1, c2, c3)

Jon*_*ott 5

Redshift 语句的最大长度为 16MB。请参阅 https://docs.aws.amazon.com/redshift/latest/dg/c_redshift-sql.html

如果您需要定期加载大量数据,首先将数据移动到 S3,然后使用 Redshift COPY 命令会更快。

  • 刚刚发现了另一个限制...您最多只能在 SQL 语句中插入 32,768 个(短/2 字节)参数。如果你有小列,你绝对可以在 16MB 之前达到。关于所有复制答案......当然,我们知道,这是推荐的。然而,自动化也很容易变成 shell 脚本、代码、线程、cron 的维护噩梦...... (2认同)