Spark 最大查询大小

Question

使用 DataFrame API ( df.groupby('id').sum()) 或 Spark SQL ( spark.sql('select * from tableA')) 我们可以构建复杂的查询。我正在编写一些利用CASE/的代码when()，我记得 Spark 的查询大小是有限制的。

我假设 Spark 作业和 Spark 阶段都有大小限制。“大小限制”是指可以提交/存储/评估/分发等的指令长度。RDBMS 等效项是最大查询长度，例如https://dba.stackexchange.com/questions/131399/is -postgres 查询的最大长度约束

Spark 中的最大查询大小/长度是多少？我在回到1.3或之前已经看到它被击中1.5，但是（a）找不到它，并且（b）它可能已经过时了。这个限制是由存储 DAG 的数据类型决定的吗？