BigQuery + Amazon Athena + Presto：分区和列数的限制

Question

根据 Google BigQuery 文档，BigQuery 具有以下限制 ( https://cloud.google.com/bigquery/quotas )：

\n\n

\n

1) 每个分区表的最大分区数 \xe2\x80\x94 4,000。

\n\n

2) 表、查询结果或视图定义中的最大列数 \xe2\x80\x94 10,000

\n

\n\n

基于 Amazon Athena 文档：( https://docs.aws.amazon.com/athena/latest/ug/service-limits.html )：

\n\n

\n

每个分区表的最大分区数 \xe2\x80\x94 20,000

\n

\n\n

AWS Athena 或 Presto 的列数是否有硬性限制？

\n\n

谢谢！

\n

Answer 1

AWS Athena 或 Presto 的列数是否有硬性限制？

不幸的是，我无法回答 AWS Athena，但我可以回答 Presto。

不，列数没有明确的硬性限制。理论上，您受到 Java 中可用内存和集合最大大小的限制。

然而，在实践中，当您拥有超过 10k 列时，您可能会遇到规划时间增加的情况。如果列数较多（可能约为 100k 或更多），则为处理查询而生成的类将达到 JVM 字节码长度限制。