我使用以下代码构建了一个随机森林模型:
import org.apache.spark.ml.classification.RandomForestClassificationModel
import org.apache.spark.ml.classification.RandomForestClassifier
val rf = new RandomForestClassifier().setLabelCol("indexedLabel").setFeaturesCol("features")
val labelConverter = new IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.labels)
val training = labelIndexer.transform(df)
val model = rf.fit(training)
Run Code Online (Sandbox Code Playgroud)
现在我想保存模型,以便以后使用以下代码进行预测:
val predictions: DataFrame = model.transform(testData)
Run Code Online (Sandbox Code Playgroud)
我在这里查看了Spark文档,但没有找到任何选项.任何的想法?我花了几个小时来构建模型,如果Spark破碎我将无法恢复它.
我是MATLAB的新手,我有一个看起来非常明显的问题,但我不太明白该怎么做.
假设我有100 x 100矩阵,它的等级是50.如何减小尺寸,使其为50 x 100?也就是说,如何消除那些对其排名没有贡献的行?
我有很多单词的向量,我想要一个只有唯一单词的向量,以及每个单词的频率.我已经尝试了hist,histc但它们是数值的.我知道这个功能,tabulate但它给出了一些'(例如,这转向'这个').如果你有任何想法如何做它MATLAB它会很棒.谢谢