我在python中使用Spark 2.0.1,我的数据集在DataFrame中,所以我使用ML(不是MLLib)库进行机器学习.我有一个多层感知器分类器,我只有两个标签.
我的问题是,是否有可能不仅获得标签,还可以(或仅)获得该标签的概率?对于每个输入不仅仅是0或1,而是0到0.95和0.05为1.如果MLP不可能,但是可以使用其他分类器,我可以更改分类器.我只使用了MLP,因为我知道它们应该能够返回概率,但我在PySpark中找不到它.
我发现了一个类似的主题, 如何从MultilayerPerceptronClassifier获得分类概率? 但他们使用Java,他们建议的解决方案在python中不起作用.
谢谢
machine-learning neural-network apache-spark pyspark apache-spark-ml
我正在使用Spark 1.5.1和In pyspark,之后我使用以下模型拟合模型:
model = LogisticRegressionWithLBFGS.train(parsedData)
Run Code Online (Sandbox Code Playgroud)
我可以使用以下方式打印预测:
model.predict(p.features)
Run Code Online (Sandbox Code Playgroud)
是否有功能打印概率分数以及预测?
machine-learning logistic-regression apache-spark pyspark apache-spark-mllib