Pyspark:使用字符串格式的正则表达式过滤数据帧？

Question

我已经阅读了几篇关于使用"like"运算符来过滤火花数据帧的帖子,条件是包含一个字符串/表达式,但是想知道以下是否是在所需条件下使用%s的"最佳实践"如下:

input_path = <s3_location_str>
my_expr = "Arizona.*hot"  # a regex expression
dx = sqlContext.read.parquet(input_path)  # "keyword" is a field in dx

# is the following correct?
substr = "'%%%s%%'" %my_keyword  # escape % via %% to get "%"
dk = dx.filter("keyword like %s" %substr)

# dk should contain rows with keyword values such as "Arizona is hot."

注意

我正在尝试获取包含表达式my_keyword的dx中的所有行.否则,对于完全匹配,我们不需要周围百分号'%'.

Answer 1

从neeraj的提示来看,在pyspark中执行此操作的正确方法似乎是:

expr = "Arizona.*hot"
dk = dx.filter(dx["keyword"].rlike(expr))

请注意,dx.filter($"keyword"...)不起作用,因为(我的版本)pyspark似乎不支持开箱即用的$命名法.

Answer 2

尝试如下所述的rlike函数.

df.filter(<column_name> rlike "<regex_pattern>")

例如.

dk = dx.filter($"keyword" rlike "<pattern>")

Answer 3

我将以下内容用于时间戳正则表达式

expression = r'[0-9]{4}-(0[1-9]|1[0-2])-(0[1-9]|[1-2][0-9]|3[0-1]) (2[0-3]|[01][0-9]):[0-5][0-9]:[0-5][0-9]'
df1 = df.filter(df['eta'].rlike(expression))