为什么R中的optimx没有给出这个简单的非参数似然最大化的正确解？

Question

optimx()是否提供了错误的解决方案,或者我错过了一个简单的观点？谢谢!

我试图最大化一个非常简单的可能性.在参数上未指定F的分布的意义上,这是非参数似然性.相反,对于每个观察到的xi,f(xi)=pi因此log(Likelihood)=Sum(log(f(xi)))=Sum(log(pi)).

我试图最大化的函数是:sum(log(pi))+lamda(sum(pi-1)) where sum(pi)=1(即这是一个约束最大化问题,可以使用拉格朗日乘数来解决).

这个问题的答案是数据点的数量pi=1/n在哪里n.但是,optimx似乎没有给出这个解决方案.有没有人有任何想法.如果n=2,我正在最大化的功能是log(p1)+log(p2)+lamda(p1+p2-1).

这是我的代码和R的输出:

n=2
log.like=function(p)
{
  lamda=p[n+1]
  ll=0
  for(i in 1:n){
    temp = log(p[i])+lamda*p[i]-lamda/(n)
    ll=ll+temp
  }
  return(-ll)
}


mle = optimx(c(0.48,.52,-1.5),
             log.like,
             lower=c(rep(0.1,2),-3),
             upper=c(rep(.9,2),-1),
             method = "L-BFGS-B")

> mle
             par  fvalues   method fns grs itns conv  KKT1 KKT2 xtimes
1 0.9, 0.9, -1.0 1.010721 L-BFGS-B   8   8 NULL    0 FALSE   NA      0

等式的解决方案n=2是p1=p2=1/2和lamda=-2.但是,使用optimx时我没有得到这个.任何的想法？

Answer 1

没有错optimx.退后一步,看看你想要最大化的功能:log(p1) + log(p2) + lamda*(p1+p2-1).非常直观的是,最佳解决方案是使所有变量尽可能大,不是吗？看到optimx正确返回您指定的上限.

那你的方法有什么问题？当使用拉格朗日乘数时,关键点是上述函数的鞍点,而不是局部最小值optimx可以帮助您找到.因此,您需要以这样的方式修改您的问题,使这些鞍点成为局部最小值.这可以通过优化梯度的标准来完成,这很容易通过分析计算您的问题.这里有一个很好的例子(带图片):

http://en.wikipedia.org/wiki/Lagrange_multiplier#Example:_numerical_optimization.

对于你的问题:

grad.norm <- function(x) {
  lambda <- tail(x, 1)
  p <- head(x, -1)
  h2 <- sum((1/p + lambda)^2) + (sum(p) - 1)^2
}

optimx(c(.48, .52, -1.5),
       grad.norm,
       lower = c(rep(.1, 2), -3),
       upper = c(rep(.9, 2), -1),
       method = "L-BFGS-B")

#                               par      fvalues   method  fns grs [...]
# 1 0.5000161, 0.5000161, -1.9999356 1.038786e-09 L-BFGS-B  13  13 [...]

跟进:如果您不想或不能自己计算梯度,可以让R计算一个数值近似值,例如:

log.like <- function(x) {
  lambda <- tail(x, 1)
  p <- head(x, -1)
  return(sum(log(p)) + lambda*(sum(p) - 1))
}

grad.norm <- function(x) {
  require(numDeriv)
  return(sum(grad(log.like, x)^2))
}

optimx(c(.48, .52, -1.5),
       grad.norm,
       lower = c(rep(.1, 2), -3),
       upper = c(rep(.9, 2), -1),
       method = "L-BFGS-B")

#                                par      fvalues   method fns grs [...]
# 1 0.5000161, 0.5000161, -1.9999356 1.038784e-09 L-BFGS-B  13  13 [...]