Pyspark RDD .filter()带有通配符

Question

我有一个带有文本列的Pyspark RDD我想用作过滤器,所以我有以下代码:

table2 = table1.filter(lambda x: x[12] == "*TEXT*")

问题是......正如你所看到的那样,我*试图告诉他将其解释为通配符,但没有成功.任何人都有帮助吗？

Answer 1

lambda函数是纯python,所以下面的东西可以工作

table2 = table1.filter(lambda x: "TEXT" in x[12])