train() 中的 ROC 指标，插入符号包

Question

将df在训练和测试dataframes分裂。训练数据帧分为训练数据帧和测试数据帧。因变量Y是二进制（因子），值为 0 和 1。我试图用这个代码（神经网络，插入符号包）预测概率：

library(caret)

model_nn <- train(
  Y ~ ., training,
  method = "nnet",
  metric="ROC",
  trControl = trainControl(
    method = "cv", number = 10,
    verboseIter = TRUE,
    classProbs=TRUE
  )
)

model_nn_v2 <- model_nn
nnprediction <- predict(model_nn, testing, type="prob")
cmnn <-confusionMatrix(nnprediction,testing$Y)
print(cmnn) # The confusion matrix is to assess/compare the model

但是，它给了我这个错误：

    Error: At least one of the class levels is not a valid R variable name; 
This will cause errors when class probabilities are generated because the
 variables names will be converted to  X0, X1 . Please use factor levels 
that can be used as valid R variable names  (see ?make.names for help).

我不明白“使用可用作有效 R 变量名称的因子水平”是什么意思。因变量Y已经是一个因子，但不是有效的 R 变量名称？。

PS：在代码完美地工作，如果你删除classProbs=TRUE的trainControl()和metric="ROC"中train()。但是，"ROC"在我的情况下，该指标是我比较最佳模型的指标，因此我正在尝试使用“ROC”指标制作模型。

编辑：代码示例：

# You have to run all of this BEFORE running the model
classes <- c("a","b","b","c","c")
floats <- c(1.5,2.3,6.4,2.3,12)
dummy <- c(1,0,1,1,0)
chr <- c("1","2","2,","3","4")
Y <- c("1","0","1","1","0")
df <- cbind(classes, floats, dummy, chr, Y)
df <- as.data.frame(df)
df$floats <- as.numeric(df$floats)
df$dummy <- as.numeric(df$dummy)

classes <- c("a","a","a","b","c")
floats <- c(5.5,2.6,7.3,54,2.1)
dummy <- c(0,0,0,1,1)
chr <- c("3","3","3,","2","1")
Y <- c("1","1","1","0","0")
df <- cbind(classes, floats, dummy, chr, Y)
df <- as.data.frame(df)
df$floats <- as.numeric(df$floats)
df$dummy <- as.numeric(df$dummy)

Answer 1

这里有两个不同的问题。

第一个是错误信息，这说明了一切：你必须使用别的东西比"0", "1"的数值为你的依赖因子变量Y。

在构建数据框后，您至少可以通过两种方式执行此操作df；第一个提示错误消息，即使用make.names：

df$Y <- make.names(df$Y)
df$Y
# "X1" "X1" "X1" "X0" "X0"

第二种方法是使用levels函数，通过它你可以显式控制名称本身；在这里再次显示它的名称X0和X1

levels(df$Y) <- c("X0", "X1")
df$Y
# [1] X1 X1 X1 X0 X0
# Levels: X0 X1

添加上述任一行后，显示的train()代码将顺利运行（替换training为df），但它仍然不会产生任何 ROC 值，而是给出警告：

Warning messages:
1: In train.default(x, y, weights = w, ...) :
  The metric "ROC" was not in the result set. Accuracy will be used instead.

这给我们带来的第二个问题在这里：为了使用ROC指标，必须添加summaryFunction = twoClassSummary的trControl的说法train()：

model_nn <- train(
  Y ~ ., df,
  method = "nnet",
  metric="ROC",
  trControl = trainControl(
    method = "cv", number = 10,
    verboseIter = TRUE,
    classProbs=TRUE,
    summaryFunction = twoClassSummary # ADDED
  )
)

使用您提供的玩具数据运行上述代码段仍然会出现错误（缺少 ROC 值），但这可能是由于此处使用的数据集非常小，加上大量的 CV 折叠，而您自己的数据不会发生这种情况, 完整数据集（如果我将 CV 折叠减少到 ，它可以正常工作number=3）...