相关疑难解决方法(0)

'PipelinedRDD'对象在PySpark中没有属性'toDF'

我正在尝试加载SVM文件并将其转换为一个,DataFrame因此我可以使用PipelineSpark 的ML模块(ML).我刚刚在Ubuntu 14.04上安装了一个新的Spark 1.5.0(没有spark-env.sh配置).

我my_script.py是:

from pyspark.mllib.util import MLUtils
from pyspark import SparkContext

sc = SparkContext("local", "Teste Original")
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()
Run Code Online (Sandbox Code Playgroud)

我正在使用: ./spark-submit my_script.py

我收到错误:

Traceback (most recent call last):
File "/home/fred-spark/spark-1.5.0-bin-hadoop2.6/pipeline_teste_original.py", line 34, in <module>
data = MLUtils.loadLibSVMFile(sc, "/home/fred-spark/svm_capture").toDF()
AttributeError: 'PipelinedRDD' object has no attribute 'toDF'
Run Code Online (Sandbox Code Playgroud)

我无法理解的是,如果我跑:

data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()
Run Code Online (Sandbox Code Playgroud)

直接在PySpark shell中,它的工作原理.

python apache-spark rdd apache-spark-sql pyspark

45
推荐指数
1
解决办法
4万
查看次数

如何为python/pyspark数据帧中的所有列添加后缀和前缀

我在 pyspark 中有一个超过 100 列的数据框。我想要做的是对于所有我想在列名的开头和列名的末尾添加回勾号(`)的列名。

例如:

column name  is testing user. I want `testing user`
Run Code Online (Sandbox Code Playgroud)

在 pyspark/python 中是否有一种方法可以做到这一点。当我们应用代码时,它应该返回一个数据框。

python apache-spark pyspark spark-dataframe

13
推荐指数
4
解决办法
2万
查看次数

在PySpark DataFrame中动态重命名多个列

我在pyspark中有一个有15列的数据框.

列名是id,name,emp.dno,emp.sal,state,emp.city,zip.....

现在我想,以取代有列名'.'在他们'_'

像'emp.dno'到'emp_dno'

我想动态地做

我如何在pyspark实现这一目标?

special-characters dataframe apache-spark pyspark

8
推荐指数
2
解决办法
1万
查看次数