Adagrad 如何在 Keras 中工作？Keras Optimizer 中的 self.weights 是什么意思？

Question

例如，Keras 的 Adagrad 的实现是：

class Adagrad(Optimizer):
"""Adagrad optimizer.
It is recommended to leave the parameters of this optimizer
at their default values.
# Arguments
    lr: float >= 0. Learning rate.
    epsilon: float >= 0.
    decay: float >= 0. Learning rate decay over each update.
# References
    - [Adaptive Subgradient Methods for Online Learning and Stochastic Optimization](http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf)
"""

def __init__(self, lr=0.01, epsilon=1e-8, decay=0., **kwargs):
    super(Adagrad, self).__init__(**kwargs)
    self.lr = K.variable(lr)
    self.epsilon = epsilon
    self.decay = K.variable(decay)
    self.initial_decay = decay
    self.iterations = K.variable(0.)

def get_updates(self, params, constraints, loss):
    grads = self.get_gradients(loss, params)
    shapes = [K.get_variable_shape(p) for p in params]
    accumulators = [K.zeros(shape) for shape in shapes]
    self.weights = accumulators
    self.updates = []

    lr = self.lr
    if self.initial_decay > 0:
        lr *= (1. / (1. + self.decay * self.iterations))
        self.updates.append(K.update_add(self.iterations, 1))

    for p, g, a in zip(params, grads, accumulators):
        new_a = a + K.square(g)  # update accumulator
        self.updates.append(K.update(a, new_a))
        new_p = p - lr * g / (K.sqrt(new_a) + self.epsilon)
        # apply constraints
        if p in constraints:
            c = constraints[p]
            new_p = c(new_p)
        self.updates.append(K.update(p, new_p))
    return self.updates

而函数 'get_update()' 似乎是一步更新。但是，累加器是否应该存储历史信息？为什么它在每一步都被初始化为零？它如何成为整个训练过程中的累加器？

这条线有什么作用？

self.weights = accumulators

似乎 self.weights 再也没有被调用过。

Answer 1

你是对的.. Keras 中的所有优化器都get_updates()实现了一步更新的张量逻辑。model.fit()从_make_train_function() 此处为每个函数调用一次该函数，用于通过传递update= 此处的更新规则来创建张量函数。该更新规则用于迭代更新模型参数和其他参数。

self.weights优化器类的特征是其内部参数。这不用于训练。它的作用只是保持优化器的状态（指向参数/累加器张量的指针列表），当被调用时，它们也会通过调用此处model.save保存，并在此处调用时加载回来get_weights() model.loadset_weights()