小编Ish*_*han的帖子

过滤器和scala spark sql中的区别

我试过了两个,但它的工作原理相同

val items =  List(1, 2, 3)
Run Code Online (Sandbox Code Playgroud)

使用过滤器

employees.filter($"emp_id".isin(items:_*)).show
Run Code Online (Sandbox Code Playgroud)

在哪里使用

employees.where($"emp_id".isin(items:_*)).show
Run Code Online (Sandbox Code Playgroud)

两者的结果相同

+------+------+------+-------+------+-------+
|EMP_ID|F_NAME|SALARY|DEPT_ID|L_NAME|MANAGER|
+------+------+------+-------+------+-------+
|     6|    E6|  2000|      4|    L6|      2|
|     7|    E7|  3000|      4|    L7|      1|
|     8|    E8|  4000|      2|    L8|      2|
|     9|    E9|  1500|      2|    L9|      1|
|    10|   E10|  1000|      2|   L10|      1|
|     4|    E4|   400|      3|    L4|      1|
|     2|    E2|   200|      1|    L2|      1|
|     3|    E3|   700|      2|    L3|      2|
|     5|    E5|   300|      2|    L5|      2|
+------+------+------+-------+------+-------+
Run Code Online (Sandbox Code Playgroud)

scala apache-spark apache-spark-sql

13
推荐指数
2
解决办法
1万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

scala ×1