使用PySpark删除和替换字符

Question

我有一个数据框,并希望删除所有括号,并替换为两个连字符.

之前:

+------------+
|  dob_concat|
+------------+
|[1983][6][3]|
+------------+

后:

+------------+
| dob_concat |
+------------+
| 1983-6-3   |
+------------+

Answer 1

你可以使用regex_replace内置功能如下.

from pyspark.sql import functions as F
df.withColumn("dob_concat", F.regexp_replace(F.regexp_replace(F.regexp_replace("dob_concat", "\\]\\[", "-"), "\\[", ""), "\\]", "")).show()