为什么加入两个火花数据帧会失败，除非我将“.as('alias)”添加到两者中？

Question

假设有 2 个 Spark DataFrame 我们想加入，无论出于何种原因：

val df1 = Seq(("A", 1), ("B", 2), ("C", 3)).toDF("agent", "in_count")
val df2 = Seq(("A", 2), ("C", 2), ("D", 2)).toDF("agent", "out_count")

可以用这样的代码来完成：

val joinedDf = df1.as('d1).join(df2.as('d2), ($"d1.agent" === $"d2.agent"))

// Result:
val joinedDf.show

+-----+--------+-----+---------+
|agent|in_count|agent|out_count|
+-----+--------+-----+---------+
|    A|       1|    A|        2|
|    C|       3|    C|        2|
+-----+--------+-----+---------+

现在，我不明白的是，为什么它只在我使用别名df1.as(d1)和时才起作用df2.as(d2)？我可以想象，如果我直截了当地写，列之间会出现名称冲突

val joinedDf = df1.join(df2, ($"df1.agent" === $"df2.agent")) // fails

但是......我不明白为什么我不能.as(alias) 只使用两者中的一个 DF：

df1.as('d1).join(df2, ($"d1.agent" === $"df2.agent")).show()

失败

org.apache.spark.sql.AnalysisException: cannot resolve '`df2.agent`' given input columns: [agent, in_count, agent, out_count];;
'Join Inner, (agent#25 = 'df2.agent)
:- SubqueryAlias d1
:  +- Project [_1#22 AS agent#25, _2#23 AS in_count#26]
:     +- LocalRelation [_1#22, _2#23]
+- Project [_1#32 AS agent#35, _2#33 AS out_count#36]
   +- LocalRelation [_1#32, _2#33]

为什么最后一个例子无效？

Answer 1

你好 当你使用 alias 时DataFrame被转换成org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [agent: string, in_count: int]这样你就可以$"d1.agent"在那里使用。

如果你想加入 DataFrame，你可以这样做：

scala> val joinedDf = df1.join(df2, (df1("agent") === df2("agent")))
joinedDf: org.apache.spark.sql.DataFrame = [agent: string, in_count: int ... 2 more fields]

scala> joinedDf.show
+-----+--------+-----+---------+
|agent|in_count|agent|out_count|
+-----+--------+-----+---------+
|    A|       1|    A|        2|
|    C|       3|    C|        2|
+-----+--------+-----+---------+