相关疑难解决方法(0)

从数据帧Spark中过滤大量ID

我有一个大型数据帧,格式类似于

+-----+------+------+
|ID   |Cat   |date  |
+-----+------+------+
|12   | A    |201602|
|14   | B    |201601|
|19   | A    |201608|
|12   | F    |201605|
|11   | G    |201603|
+-----+------+------+
Run Code Online (Sandbox Code Playgroud)

我需要根据一个包含大约5000万个ID的列表来过滤行.直截了当的方式是过滤isin但是性能非常糟糕.如何完成此过滤器?

python apache-spark pyspark

2
推荐指数
1
解决办法
729
查看次数

标签 统计

apache-spark ×1

pyspark ×1

python ×1