张量流中的损失函数(带有if - else)

Question

我在张量流中尝试不同的损失函数.

我想要的损失函数是一种epsilon不敏感函数(这是分量):

if(|yData-yModel|<epsilon):
    loss=0
else
    loss=|yData-yModel|    

我试过这个解决方案:

yData=tf.placeholder("float",[None,numberOutputs]) 

yModel=model(...

epsilon=0.2
epsilonTensor=epsilon*tf.ones_like(yData)
loss=tf.maximum(tf.abs(yData-yModel)-epsilonTensor,tf.zeros_like(yData))
optimizer = tf.train.GradientDescentOptimizer(0.25)
train = optimizer.minimize(loss)

我也用过

optimizer = tf.train.MomentumOptimizer(0.001,0.9)

我在实现中没有发现任何错误.然而,它没有收敛,而loss = tf.square(yData-yModel)收敛并且loss = tf.maximum(tf.square(yData-yModel)-epsilonTensor,tf.zeros_like(yData))也收敛.

所以,我也尝试了一些更简单的loss = tf.abs(yData-yModel),它也没有收敛.我是否犯了一些错误,或者在零或其他方面存在abs的不可微分性问题？abs函数会发生什么？

Answer 1

当您的损失是类似的时候Loss(x)=abs(x-y),那么解决方案是SGD的一个不稳定的固定点 - 以任意接近解决方案的点开始您的最小化,下一步将增加损失.

具有稳定的固定点是诸如SGD之类的迭代过程的收敛的要求.实际上,这意味着您的优化将向局部最小值移动,但在足够接近之后,将以与学习速率成比例的步长跳过解决方案.这是一个玩具TensorFlow程序,说明了这个问题

x = tf.Variable(0.)
loss_op = tf.abs(x-1.05)
opt = tf.train.GradientDescentOptimizer(0.1)
train_op = opt.minimize(loss_op)
sess = tf.InteractiveSession()
sess.run(tf.initialize_all_variables())
xvals = []
for i in range(20):
  unused, loss, xval = sess.run([train_op, loss_op, x])
  xvals.append(xval)
pyplot.plot(xvals)

问题的一些解决方案:

1. 使用更稳健的求解器,例如近端梯度法
2. 使用更多SGD友好损失功能,如Huber Loss
3. 使用学习率计划逐渐降低学习率

这是实现(3)上述玩具问题的一种方法

x = tf.Variable(0.)
loss_op = tf.abs(x-1.05)

step = tf.Variable(0)
learning_rate = tf.train.exponential_decay(
      0.2,   # Base learning rate.
      step,  # Current index into the dataset.
      1,     # Decay step.
      0.9    # Decay rate
)

opt = tf.train.GradientDescentOptimizer(learning_rate)
train_op = opt.minimize(loss_op, global_step=step)
sess = tf.InteractiveSession()
sess.run(tf.initialize_all_variables())
xvals = []
for i in range(40):
  unused, loss, xval = sess.run([train_op, loss_op, x])
  xvals.append(xval)
pyplot.plot(xvals)