xgboost中Objective和feval之间的差异

Question

R中xgboost中Objective和feval的区别是什么？我知道这是非常基本的东西,但我无法准确定义它们/它们的目的.另外,什么是softmax目标,同时进行多类分类？

Answer 1

目的

Objective在xgboost是函数其学习算法会尝试和优化.根据定义,它必须能够在给定的训练轮次中根据预测创建第一(梯度)和第二(粗体)衍生物.

自定义Objective函数示例:链接

# user define objective function, given prediction, return gradient and second order gradient
# this is loglikelihood loss
logregobj <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  return(list(grad = grad, hess = hess))
}

这是训练的批判功能,没有xgboost模型可以不定义一个培训.Objective函数直接用于在每个树中的每个节点处进行拆分.

feval

feval在 xgboost直接优化或训练您的模型中没有任何作用.你甚至不需要训练.它不会影响分裂.它所做的只是在训练后对你的模型进行评分.看一下自定义的例子feval

evalerror <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  err <- as.numeric(sum(labels != (preds > 0)))/length(labels)
  return(list(metric = "error", value = err))
}

请注意,它只返回一个名称(度量)和一个分数(值).通常情况下,feval和objective可能是相同的,但也许你想要的打分机制是有一点不同,或者没有衍生物.例如,人们使用logloss objective进行训练,但创建AUC feval来评估模型.

此外feval,一旦停止改进,您就可以使用它来停止训练.您可以使用多种feval功能以不同的方式为您的模型打分并观察它们.

您不需要feval功能来训练模型.只是为了评估它,并帮助它尽早停止训练.

摘要:

Objective 是主要的主力.

feval是一个帮助,可以xgboost做一些很酷的事情.

softmax是一种objective常用于多类分类的函数.它确保您的所有预测总和为1,并使用指数函数进行缩放.SOFTMAX