Pyspark替换Spark数据帧列中的字符串

Question

我想通过替换子字符串在Spark Dataframe列上执行一些基本的词干.最快的方法是什么？

在我目前的用例中,我有一个我想要规范化的地址列表.例如,这个数据帧:

id     address
1       2 foo lane
2       10 bar lane
3       24 pants ln

会成为

id     address
1       2 foo ln
2       10 bar ln
3       24 pants ln

Answer 1

对于Spark 1.5或更高版本,您可以使用函数包:

from pyspark.sql.functions import *
newDf = df.withColumn('address', regexp_replace('address', 'lane', 'ln'))

快速解释:

• withColumn调用该函数以向数据框添加(或替换,如果名称存在)列.
• 该函数regexp_replace将通过替换与模式匹配的所有子字符串生成新列.

Answer 2

对于斯卡拉

import org.apache.spark.sql.functions.regexp_replace
import org.apache.spark.sql.functions.col
data.withColumn("addr_new", regexp_replace(col("addr_line"), "\\*", ""))