我在spark中有一个数据框,如下所示:
ID | Column
------ | ----
1 | STRINGOFLETTERS
2 | SOMEOTHERCHARACTERS
3 | ANOTHERSTRING
4 | EXAMPLEEXAMPLE
我想要做的是从列加上第8个字符中提取前5个字符并创建一个新列,如下所示:
ID | New Column
------ | ------
1 | STRIN_F
2 | SOMEO_E
3 | ANOTH_S
4 | EXAMP_E
我不能使用下面的代码,因为列中的值不同,我不想拆分特定的字符,但是在第6个字符上:
import pyspark
split_col = pyspark.sql.functions.split(DF['column'], ' ')
newDF = DF.withColumn('new_column', split_col.getItem(0))
谢谢大家!