小编Liu*_*ong的帖子

为什么spark告诉我"name'sqlContext'未定义",我如何使用sqlContext?

我尝试运行spark-ml的例子,但是

from pyspark import SparkContext
import pyspark.sql 

sc = SparkContext(appName="PythonStreamingQueueStream")    
training = sqlContext.createDataFrame([
(1.0, Vectors.dense([0.0, 1.1, 0.1])),
(0.0, Vectors.dense([2.0, 1.0, -1.0])),
(0.0, Vectors.dense([2.0, 1.3, 1.0])),
(1.0, Vectors.dense([0.0, 1.2, -0.5]))], ["label", "features"])
Run Code Online (Sandbox Code Playgroud)

无法运行,因为终端告诉我

NameError: name 'SQLContext' is not defined
Run Code Online (Sandbox Code Playgroud)

为什么会这样?我该如何解决?

apache-spark apache-spark-sql spark-dataframe

6
推荐指数
1
解决办法
2万
查看次数

如何将Pandas中的一列扩展为多列?

作为标题,我在熊猫中有一列(系列),每一行都是一个类似的列表[0,1,2,3,4,5]。每个列表有6个数字。我想将此列更改为6列,例如,[0,1,2,3,4,5]将变为6列,其中0第一列为1第二列,2第三列为依此类推。我该怎么做?

python bigdata pandas scikit-learn

3
推荐指数
2
解决办法
4521
查看次数