spark 2.4.0 为空右 DF 的左连接提供“检测到的隐式笛卡尔积”异常

Question

似乎在 spark 2.2.1 和 spark 2.4.0 之间，具有空右数据帧的左连接的行为从成功更改为返回“AnalysisException：检测到逻辑计划之间的 LEFT OUTER 连接的隐式笛卡尔积”。

例如：

val emptyDf = spark.emptyDataFrame
  .withColumn("id", lit(0L))
  .withColumn("brand", lit(""))
val nonemptyDf = ((1L, "a") :: Nil).toDF("id", "size")
val neje = nonemptyDf.join(emptyDf, Seq("id"), "left")
neje.show()

在 2.2.1 中，结果是

+---+----+-----+
| id|size|brand|
+---+----+-----+
|  1|   a| null|
+---+----+-----+

但是，在 2.4.0 中，我收到以下异常：

org.apache.spark.sql.AnalysisException: Detected implicit cartesian product for LEFT OUTER join between logical plans
LocalRelation [id#278L, size#279]
and
Project [ AS brand#55]
+- LogicalRDD false
Join condition is missing or trivial.
Either: use the CROSS JOIN syntax to allow cartesian products between these
relations, or: enable implicit cartesian products by setting the configuration
variable spark.sql.crossJoin.enabled=true;

这是后者的完整计划解释：

+---+----+-----+
| id|size|brand|
+---+----+-----+
|  1|   a| null|
+---+----+-----+

补充意见：

• 如果只有左数据框为空，则连接成功。
• 对于带有空的左数据框的右连接，类似的行为变化也是如此。
• 但是，有趣的是，请注意，如果两个数据帧都为空，则两个版本都会因内部连接的 AnalysisException 而失败。

这是回归还是设计？早期的行为对我来说似乎更正确。我在 spark 发行说明、spark jira 问题或 stackoverflow 问题中找不到任何相关信息。

Answer 1

我没有遇到你的问题，但至少有同样的错误，我通过明确允许交叉连接来修复它：

spark.conf.set( "spark.sql.crossJoin.enabled" , "true" )