Pyspark数据帧运算符"不在"

Question

我想把这个从R改写为Pyspark,有什么好看的建议吗？

array <- c(1,2,3)
dataset <- filter(!(column %in% array))

Answer 1

在pyspark你可以这样做:

array = [1, 2, 3]
dataframe.filter(dataframe.column.isin(*array) == False)

Answer 2

以运算符〜表示相反：

df_filtered = df.filter(~df["column_name"].isin([1, 2, 3]))

Answer 3

df_result = df[df.column_name.isin([1, 2, 3]) == False]