相关疑难解决方法(0)

使用spark DataFrame"as"方法

我正在看spark.sql.DataFrame文档.

def as(alias: String): DataFrame
    Returns a new DataFrame with an alias set.
    Since
        1.3.0 
Run Code Online (Sandbox Code Playgroud)

这种方法的目的是什么?怎么用?可以有一个例子吗?

我还没有在网上找到任何有关此方法的信息,文档也不存在.我没有设法使用这种方法制作任何类型的别名.

scala dataframe apache-spark apache-spark-sql

10
推荐指数
1
解决办法
2万
查看次数

Spark ML - 保存OneVsRestModel

我正在重构我的代码以利用DataFrames,Estimators和Pipelines.我本来用MLlib多类LogisticRegressionWithLBFGSRDD[LabeledPoint].我很高兴学习和使用新的API,但我不知道如何保存我的新模型并将其应用于新数据.

目前,ML实现LogisticRegression仅支持二进制分类.我是,而不是像这样使用OneVsRest:

val lr = new LogisticRegression().setFitIntercept(true)
val ovr = new OneVsRest()
ovr.setClassifier(lr)
val ovrModel = ovr.fit(training)
Run Code Online (Sandbox Code Playgroud)

我现在想保存我的OneVsRestModel,但这似乎不受API的支持.我试过了:

ovrModel.save("my-ovr") // Cannot resolve symbol save
ovrModel.models.foreach(_.save("model-" + _.uid)) // Cannot resolve symbol save
Run Code Online (Sandbox Code Playgroud)

有没有办法保存这个,所以我可以将它加载到新的应用程序中进行新的预测?

scala apache-spark apache-spark-ml apache-spark-mllib

5
推荐指数
1
解决办法
945
查看次数