Pyspark数据框LIKE运算符

Question

Pyspark中LIKE运算符的等价物是什么？例如,我想做:

SELECT * FROM table WHERE column LIKE "*somestring*";

寻找像这样简单的东西(但这不起作用):

df.select('column').where(col('column').like("*s*")).show()

Answer 1

您可以使用where和col执行相同的操作.where将用于根据条件过滤数据(这里,如果列是这样的'%string%').在col('col_name')用于表示的条件和like为操作者:

df.where(col('col1').like("%string%")).show()

Answer 2

使用 like 运算符。

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#module-pyspark.sql.functions

df.filter(df.column.like('%s%')).show()

Answer 3

使用spark 2.0.0以后也可以正常工作:

df.select('column').where("column like '%s%'").show()

Answer 4

要复制不区分大小写的ILIKE，您可以lower与 结合使用like。

from pyspark.sql.functions import lower

df.where(lower(col('col1')).like("%string%")).show()

Answer 5

嗯......应该有像regexp这样的sql - >

df.select('column').where(col('column').like("%s%")).show()

Answer 6

这对我有用：

import pyspark.sql.functions as f
df.where(f.col('column').like("%x%")).show()