我正在尝试加载SVM文件并将其转换为一个,DataFrame因此我可以使用PipelineSpark 的ML模块(ML).我刚刚在Ubuntu 14.04上安装了一个新的Spark 1.5.0(没有spark-env.sh配置).
我my_script.py是:
from pyspark.mllib.util import MLUtils
from pyspark import SparkContext
sc = SparkContext("local", "Teste Original")
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()
Run Code Online (Sandbox Code Playgroud)
我正在使用: ./spark-submit my_script.py
我收到错误:
Traceback (most recent call last):
File "/home/fred-spark/spark-1.5.0-bin-hadoop2.6/pipeline_teste_original.py", line 34, in <module>
data = MLUtils.loadLibSVMFile(sc, "/home/fred-spark/svm_capture").toDF()
AttributeError: 'PipelinedRDD' object has no attribute 'toDF'
Run Code Online (Sandbox Code Playgroud)
我无法理解的是,如果我跑:
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()
Run Code Online (Sandbox Code Playgroud)
直接在PySpark shell中,它的工作原理.
我在 pyspark 中有一个超过 100 列的数据框。我想要做的是对于所有我想在列名的开头和列名的末尾添加回勾号(`)的列名。
例如:
column name is testing user. I want `testing user`
Run Code Online (Sandbox Code Playgroud)
在 pyspark/python 中是否有一种方法可以做到这一点。当我们应用代码时,它应该返回一个数据框。
我在pyspark中有一个有15列的数据框.
列名是id,name,emp.dno,emp.sal,state,emp.city,zip.....
现在我想,以取代有列名'.'在他们'_'
像'emp.dno'到'emp_dno'
我想动态地做
我如何在pyspark实现这一目标?