小编Ant*_*eev的帖子

我遇到了处理火花宽数据帧(大约9000列,有时甚至更多)的问题.
任务:

1. 通过groupBy和pivot创建宽DF.
2. 将列转换为vector并从pyspark.ml处理到KMeans.

所以我制作了大量的框架并尝试使用VectorAssembler创建矢量,缓存它并在其上训练KMeans.
在独立模式下,对于帧~500x9000,我的电脑上的7个不同数量的集群需要大约11分钟的组装时间和2分钟的KMeans.另一方面,pandas(pivot df和iterate 7 clusters)中的这种处理花费的时间少于一分钟.
显然我理解独立模式和缓存等的开销和性能下降但是它真的让我气馁.
有人可以解释我如何避免这种开销吗？
人们如何使用宽DF而不是使用vectorassembler并降低性能？
更正式的问题(对于sof规则)听起来像 - 我怎样才能加快这段代码的速度？

%%time
tmp = (df_states.select('ObjectPath', 'User', 'PropertyFlagValue')
       .groupBy('User')
       .pivot('ObjectPath')
       .agg({'PropertyFlagValue':'max'})
       .fillna(0))
ignore = ['User']
assembler = VectorAssembler(
    inputCols=[x for x in tmp.columns if x not in ignore],
    outputCol='features')
Wall time: 36.7 s

print(tmp.count(), len(tmp.columns))
552, 9378

%%time
transformed = assembler.transform(tmp).select('User', 'features').cache()
Wall time: 10min 45s

%%time
lst_levels = []
for num in range(3, 14):
    kmeans = KMeans(k=num, maxIter=50)
    model = kmeans.fit(transformed)
    lst_levels.append(model.computeCost(transformed))
rs = [i-j …