如何使用“ml_logistic_regression”获得逻辑回归中系数的显着性

Question

我想知道使用 Spark 函数的逻辑回归模型的每个系数的显着性ml_logistic_regression。代码如下：

# data in R
library(MASS)
data(birthwt) 
str(birthwt)
detach("package:MASS", unload=TRUE)

# Connection to Spark
library(sparklyr)
library(dplyr)
sc = spark_connect(master = "local")

# copy the data to Spark
birth_sc = copy_to(sc, birthwt, "birth_sc", overwrite = TRUE)

# Model
# create dummy variables for race (race_1, race_2, race_3)
birth_sc = ml_create_dummy_variables(birth_sc, "race")
model = ml_logistic_regression(birth_sc, low ~ lwt + race_2 + race_3)

我得到的模型如下：

> model
Call: low ~ lwt + race_2 + race_3

Coefficients:
(Intercept)         lwt      race_2      race_3 
 0.80575496 -0.01522311  1.08106617  0.48060322 

在您使用的 R 模型中summary，它会给出系数的显着性，但如果我将它与此模型一起使用，我会得到相同的结果：

> summary(model)
Call: ml_logistic_regression(birth_sc, low ~ lwt + race_2 + race_3)

Coefficients:
  (Intercept)         lwt      race_2      race_3 
0.80575496 -0.01522311  1.08106617  0.48060322 

如何获得模型中每个变量的显着性？

Answer 1

你只是不这样做。Spark 的LogisticRegressionSummary变体都没有提供功能重要性，因此这些不能（并且正如eipi10指出的那样）不能由Sparklyr提供。