在SparkSQL1.6 API(scala)中Dataframe有交叉和除外的函数,但不是一个用于区别的函数.显然,union和except的组合可用于产生差异:
SparkSQL
Dataframe
df1.except(df2).union(df2.except(df1))
但这似乎有点尴尬.根据我的经验,如果某些东西看起来很尴尬,那么有更好的方法,特别是在Scala中.
scala apache-spark apache-spark-sql
apache-spark ×1
apache-spark-sql ×1
scala ×1