pyspark访问数据框的列,带点'.'

Question

groupby除非首先重命名,否则包含点(例如"id.orig_h")的pyspark数据帧将不允许为uppon withColumnRenamed.有解决方法吗？"`a.b`"似乎没有解决它.

Answer 1

在我的pyspark shell中,以下代码片段正在运行:

from pyspark.sql.functions import *
myCol = col("`id.orig_h`")    
result = df.groupBy(myCol).agg(...)

和

myCol = df["`id.orig_h`"]   
result = df.groupBy(myCol).agg(...)

我希望它有所帮助.