log或exp的溢出/数学范围错误

Question

有问题的代码行:

summing +=  yval * np.log(             sigmoid(np.dot(w.transpose(),xi.transpose()))) 
        +(1-yval)* np.log(max(0.001, 1-sigmoid(np.dot(w.transpose(),xi.transpose()))))

错误:

File "classify.py", line 67, in sigmoid
return 1/(1+ math.exp(-gamma))
OverflowError: math range error

sigmoid函数就是1/(1+ math.exp(-gamma)).

我得到了数学范围错误.谁知道为什么？

Answer 1

您可以通过对正伽玛和负伽玛使用不同的案例来避免此问题:

def sigmoid(gamma):
  if gamma < 0:
    return 1 - 1/(1 + math.exp(gamma))
  else:
    return 1/(1 + math.exp(-gamma))

数学范围错误可能是因为您的gamma参数是一个较大的负值,因此您exp()使用较大的正值进行调用.这样很容易超出你的浮点范围.

Answer 2

问题是，当gamma变大时，math.exp(gamma)就会溢出。您可以通过注意来避免此问题

sigmoid(x) = 1 / (1 + exp(-x))
           = exp(x) / (exp(x) + 1)
           = 1 - 1 / (1 + exp(x))
           = 1 - sigmoid(-x)

这为您提供了一个数值稳定的实现，sigmoid保证您永远不会math.exp使用正值进行调用：

def sigmoid(gamma):
    if gamma < 0:
        return 1 - 1 / (1 + math.exp(gamma))
    return 1 / (1 + math.exp(-gamma))