ChiSqSelector - 真实功能 - Spark

Question

我正在使用 Spark 1.6 构建 NB 模型，并使用 ChiSqSelector 来识别最重要的特征。我总共有 7 个功能，正在寻找前 3 个功能。虽然流程运行良好，但我如何识别被评为顶级功能的实际功能。由于数据已分类，我无法将输出映射到实际输入列。

val chidata = cat_recs.map(r => (r.getDouble(targetInd), Vectors.dense(featuresidx.map(r.getDouble(_)).toArray))).toDF("target","features")
val sel = new ChiSqSelector().setNumTopFeatures(3).setFeaturesCol("features").setLabelCol("target").setOutputCol("selectedFeatuers")
val chiresult = sel.fit(chidata).transform(chidata)

输出是

scala> chiresult.foreach(println)
[1.0,[0.0,2.0,0.0,5.0,7.0,5.0,1.0],[0.0,5.0,7.0]]
[1.0,[4.0,3.0,0.0,5.0,7.0,5.0,1.0],[0.0,5.0,7.0]]
[0.0,[3.0,2.0,0.0,5.0,7.0,5.0,3.0],[0.0,5.0,7.0]]
[1.0,[1.0,2.0,0.0,1.0,7.0,5.0,2.0],[0.0,1.0,7.0]]
[1.0,[0.0,2.0,0.0,1.0,7.0,5.0,3.0],[0.0,1.0,7.0]]

结构 -- target: double, features: vector, selectedFeatures: vector 从上面来看，我们以第一行为例

[1.0,[0.0,2.0,0.0,5.0,7.0,5.0,1.0],[0.0,5.0,7.0]]

我如何识别它在 selectedFeatures 中引用的是哪个 0.0，第五行也类似。

请帮忙..

谢谢

巴拉

Answer 1

在你的例子中：

[1.0,[0.0,2.0,0.0,5.0,7.0,5.0,1.0],[0.0,5.0,7.0]]

最后一列[0.0,5.0,7.0]表示所选特征的值，在本例中为特征 2、3 和 4（从 0 开始计数）。要提取未来指数，只需使用

val model = sel.fit(chidata)
val importantFeatures = model.selectedFeatures