我正在尝试将一些机器学习算法应用于 Spark (Java) 中的数据集。当在 spark 中尝试Logistic 回归的例子时,
CoefficientMatrixis 是这样的:
3 x 4 CSCMatrix
(1,2) -0.7889290490451877
(0,3) 0.2989598305580243
(1,3) -0.36583869680195286
Intercept: [0.07898530675801645,-0.14799468898820128,0.06900938223018485]
如果我没有错,
(1,2) -0.7889290490451877
(0,3) 0.2989598305580243
(1,3) -0.36583869680195286 代表每个班级的“最适合”模型。
现在,当我尝试我的数据集时,它有 4 个不同的类和 8192 个特征,系数是
4 x 8192 CSCMatrix
Intercept: [1.3629726436521425,0.7373644161565249,-1.0762606057817274,-1.0240764540269398]
我不熟悉逻辑回归算法,所以我不明白为什么没有“最佳拟合”?
我的代码
HashingTF hashingTF = new HashingTF()
.setInputCol("listT")
.setOutputCol("rawFeatures")
.setNumFeatures(8192) ;
Dataset<Row> featurizedData = hashingTF.transform(ReviewRawData);
featurizedData.show();
IDF idf = new IDF().setInputCol("rawFeatures").setOutputCol("features");
IDFModel idfModel = idf.fit(featurizedData);
Dataset<Row> rescaledData = idfModel.transform(featurizedData);
//add the label col based on some …Run Code Online (Sandbox Code Playgroud) apache-spark ×1