如何在pyspark中对A1,A2,A10等ID进行排序？

Question

如何A1, A2, A10, B1在pyspark中对id 等进行排序？

我希望能够对以下代码进行排序(实际列表更长,其他字母等)AZ.如果我添加,比方说,A13- 新代码然后AZ,我得到A1,A10,A11,等等

当我尝试排序时orderBy,我得到的数据如下:

A1
A10
A11
A2
A21
etc..

Answer 1

您必须暂时拆分您的专栏才能实现您想要的目标。下面的代码：

from pyspark.sql import types as T

vals = ['A1','F1' ,'A10','A11','C23','A2','A21']
tempNames = ['letter', 'number']

df = spark.createDataFrame(vals, T.StringType())
df = df.select(F.regexp_extract('value', "(\w)", 1).alias(tempNames[0])
              ,F.regexp_extract('value', "\w(\d*)", 1).cast('int').alias(tempNames[1])
              ,df.value).orderBy(tempNames).drop(*tempNames)

df.show()

从您的列中临时创建两列（“字母”和“数字”）...

+------+------+-----+ 
|letter|number|value| 
+------+------+-----+ 
|     A|     1|   A1| 
|     F|     1|   F1| 
|     A|    10|  A10| 
|     A|    11|  A11| 
|     C|    23|  C23| 
|     A|     2|   A2| 
|     A|    21|  A21| 
+------+------+-----+

...并使用它们对您的列进行排序：

+-----+ 
|value| 
+-----+ 
|   A1| 
|   A2| 
|  A10| 
|  A11|
|  A21|
|  C23|
|   F1|
+-----+

@pault 提出了一个更短的解决方案：

df.orderBy(F.regexp_extract(F.col("value"), r"[A-Za-z]+", 0), F.regexp_extract(F.col("value"), r"\d+", 0).cast('int')).show()