Spark：线程“main”org.apache.spark.sql.catalyst.errors.package 中的异常

Question

在运行我的 spark-submit 代码时，我在执行时收到此错误。

执行连接的 Scala 文件。

我只是想知道这个 TreeNodeException 错误是什么。

为什么我们有这个错误？

请分享您对此 TreeNodeException 错误的想法：

Exception in thread “main” org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:

Answer 1

我在加入数据帧时也遇到了这个异常

\n\n

Exception in thread \xe2\x80\x9cmain\xe2\x80\x9d org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:\n

\n\n

为了解决这个问题，我只是颠倒了连接的顺序。也就是说，我没有执行 df1.join(df2, on_col="A")，而是执行了 df2.join(df1, on_col="A")。不知道为什么会出现这种情况，但我的直觉告诉我，当您使用前一个命令而不是后者时，Spark 必须遵循的逻辑树是混乱的。您可以将其视为 Spark 必须与我的玩具示例中的列“A”进行比较的次数，以连接两个数据帧。我知道这不是一个明确的答案，但我希望它有帮助。

\n