Spark:加入Dataframes

Question

我需要加入两个DataFrame,如下所示:

1. 如果键匹配,从右侧获取值.
2. 如果右侧不存在左侧的键.从左边取值.
3. 如果左侧不存在右侧的键.从右边取值.

使用DataFrames的最佳方法是什么？以前我曾经使用RDD的'cogroup'方法来做到这一点,这在DataFrames上是不可用的.

Answer 1

您只需执行FULL OUTER JOIN和使用即可COALESCE

import org.apache.spark.sql.functions.coalesce

val dfLeft = sc.parallelize(Seq((2, "2L"), (3, "3L"))).toDF("kl", "vl")
dfLeft.show

## +---+---+
## | kl| vl|
## +---+---+
## |  2| 2L|
## |  3| 3L|
## +---+---+

val dfRight = sc.parallelize(Seq((1, "1R"), (3, "3R"))).toDF("kr", "vr")
dfRight.show

## +---+---+
## | kr| vr|
## +---+---+
## |  1| 1R|
## |  3| 3R|
## +---+---+

dfLeft
  .join(dfRight, $"kl" === $"kr", "fullouter")
  .select(coalesce($"kl", $"kr").alias("k"), coalesce($"vr", $"vl").alias("v"))
  .show

## +---+---+
## |  k|  v|
## +---+---+
## |  1| 1R|
## |  2| 2L|
## |  3| 3R|
## +---+---+