我正在使用Spark 1.6,我想知道如何在数据帧中实现查找.
我有两个数据框架员工和部门.
员工数据框架
-------------------
Emp Id | Emp Name
------------------
1 | john
2 | David
部门数据框
--------------------
Dept Id | Dept Name | Emp Id
-----------------------------
1 | Admin | 1
2 | HR | 2
我想从employee表中查找emp id到department表并获取dept名称.所以,结果集将是
Emp Id | Dept Name
-------------------
1 | Admin
2 | HR
如何在SPARK中实现此查找UDF功能.我不想在两个数据帧上使用JOIN.