如何使用Java在Spark SQL中加入多列以在DataFrame中进行过滤

Question

• DataFrame a =包含列x,y,z,k

• DataFrame b =包含列x,y,a

  a.join(b,<condition to use in java to use x,y >) ??? 
  

我试过用

a.join(b,a.col("x").equalTo(b.col("x")) && a.col("y").equalTo(b.col("y"),"inner")

但Java正在抛出错误说&&不允许.

有人可以帮忙吗？谢谢

Answer 1

Spark SQL提供了一组Column标记的方法,java_expr_ops 这些方法是为Java互操作性而设计的.它包括and(另请参见or)可在此处使用的方法:

a.col("x").equalTo(b.col("x")).and(a.col("y").equalTo(b.col("y"))