Keras - 实现Rprop算法的问题

Question

我正在尝试为Keras(链接)实现弹性反向传播优化器,但具有挑战性的部分是能够根据其相应的梯度是正,负还是零来对每个参数执行更新.我编写了下面的代码作为实现Rprop优化器的开始.但是,我似乎无法找到单独访问参数的方法.循环params(如下面的代码中)p, g, g_old, s, wChangeOld在每次迭代时返回,这些都是矩阵.

有没有办法可以迭代各个参数并更新它们？如果我可以根据其渐变的符号索引参数向量,它也会起作用.谢谢!

class Rprop(Optimizer):
    def __init__(self, init_step=0.01, **kwargs):
        super(Rprop, self).__init__(**kwargs)
        self.init_step = K.variable(init_step, name='init_step')
        self.iterations = K.variable(0., name='iterations')

        self.posStep = 1.2
        self.negStep = 0.5
        self.minStep = 1e-6
        self.maxStep = 50.

    def get_updates(self, params, constraints, loss):
        grads = self.get_gradients(loss, params)
        self.updates = [K.update_add(self.iterations, 1)]

        shapes = [K.get_variable_shape(p) for p in params]
        stepList = [K.ones(shape)*self.init_step  for shape in shapes]
        wChangeOldList = [K.zeros(shape) for shape in shapes]
        grads_old = [K.zeros(shape) for shape in shapes]

        self.weights = stepList + grads_old + wChangeOldList
        self.updates = []

        for p, g, g_old, s, wChangeOld in zip(params, grads, grads_old, 
                                                                  stepList, wChangeOldList):
            change = K.sign(g * g_old)

            if change > 0:
                s_new = K.minimum(s * self.posStep, self.maxStep)
                wChange = s_new * K.sign(g)
                g_new = g

            elif change < 0:
                s_new = K.maximum(s * self.posStep, self.maxStep)
                wChange = - wChangeOld
                g_new = 0

            else:
                s_new = s
                wChange = s_new * K.sign(g)
                g_new = p

            self.updates.append(K.update(g_old, g_new))
            self.updates.append(K.update(wChangeOld, wChange))
            self.updates.append(K.update(s, s_new))

            new_p = p - wChange

            # Apply constraints
            if p in constraints:
                c = constraints[p]
                new_p = c(new_p)

            self.updates.append(K.update(p, new_p))
        return self.updates

    def get_config(self):
        config = {'init_step': float(K.get_value(self.init_step))}
        base_config = super(Rprop, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

Answer 1

我也在 Keras 中寻找 RProp 算法并发现了这个问题。我冒昧地根据我的目的调整了您的代码，现在将其发布回此处。到目前为止，它似乎工作得很好，但我没有对其进行广泛的测试。

免责声明：我对 keras 很陌生，但对 theano （和块）有很多经验。此外，我仅使用 theano 作为后端进行了测试，但没有使用张量流。

class RProp(Optimizer):
    def __init__(self, init_alpha=1e-3, scale_up=1.2, scale_down=0.5, min_alpha=1e-6, max_alpha=50., **kwargs):
        super(RProp, self).__init__(**kwargs)
        self.init_alpha = K.variable(init_alpha, name='init_alpha')
        self.scale_up = K.variable(scale_up, name='scale_up')
        self.scale_down = K.variable(scale_down, name='scale_down')
        self.min_alpha = K.variable(min_alpha, name='min_alpha')
        self.max_alpha = K.variable(max_alpha, name='max_alpha')

    def get_updates(self, params, constraints, loss):
        grads = self.get_gradients(loss, params)
        shapes = [K.get_variable_shape(p) for p in params]
        alphas = [K.variable(numpy.ones(shape) * self.init_alpha) for shape in shapes]
        old_grads = [K.zeros(shape) for shape in shapes]
        self.weights = alphas + old_grads
        self.updates = []

        for param, grad, old_grad, alpha in zip(params, grads, old_grads, alphas):
            new_alpha = K.switch(
                K.greater(grad * old_grad, 0),
                K.minimum(alpha * self.scale_up, self.max_alpha),
                K.maximum(alpha * self.scale_down, self.min_alpha)
            )
            new_param = param - K.sign(grad) * new_alpha
            # Apply constraints
            if param in constraints:
                c = constraints[param]
                new_param = c(new_param)
            self.updates.append(K.update(param, new_param))
            self.updates.append(K.update(alpha, new_alpha))
            self.updates.append(K.update(old_grad, grad))

        return self.updates

    def get_config(self):
        config = {
            'init_alpha': float(K.get_value(self.init_alpha)),
            'scale_up': float(K.get_value(self.scale_up)),
            'scale_down': float(K.get_value(self.scale_down)),
            'min_alpha': float(K.get_value(self.min_alpha)),
            'max_alpha': float(K.get_value(self.max_alpha)),
        }
        base_config = super(RProp, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

重要笔记：

• RProp 通常不包含在机器学习库中，原因是：除非您使用全批量学习，否则它根本不起作用。仅当训练集较小时，全批量学习才有用。
• Adam（Keras 内置）优于此 RProp 算法。也许是因为事情就是这样，或者也许是因为我犯了一个错误:)

关于您的代码的一些评论（指您的原始变量名称）：

• wChange永远不会在迭代中使用，因此您不需要将它们存储在永久变量中。
• change > 0不会做你认为它会做的事情，因为change是一个张量变量。这里你想要的是逐元素比较，请使用K.switch()。
• 您使用了maxStep两次，而不是使用了minStep另一次。
• 为零的情况change可以忽略不计，因为这种情况在实践中几乎不会发生。
• g_new = 0和g_new = p都是完全伪造的，应该g_new = g与第一个 if 分支中一样。