Spark中根据条件获取行索引

Question

假设我有一个 Spark DataFrame，如下所示。如何获取value0 处的行索引？

ID  | value
-------------
001 | 1
002 | 0
003 | 2
004 | 0
005 | 1

我想要的行索引是 2 和 4。

Answer 1

您可以使用filter和select来获取所需的索引

给定一个dataframeas

+---+-----+
|ID |value|
+---+-----+
|001|1    |
|002|0    |
|003|2    |
|004|0    |
|005|1    |
+---+-----+

你可以执行以下操作

df.filter(df.value == 0).select(df.ID)

这应该给你

+---+
|ID |
+---+
|002|
|004|
+---+

您可以使用.flatMap(lambda x: x).collect()将上面选定的列转换dataframe为list

我希望答案有帮助