keras 中的渐变裁剪

Question

我有一个使用 Keras 完全实现的 LSTM RNN，我想使用梯度剪裁，梯度范数限制为 5（我正在尝试复制一篇研究论文）。在实施神经网络方面，我是一个初学者，我将如何实施？

是否只是（我正在使用 rmsprop 优化器）：

 sgd = optimizers.rmsprop(lr=0.01, clipnorm=5)

 model.compile(optimizer=sgd,
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])

Answer 1

根据官方文档，任何优化器都可以有可选参数clipnorm和clipvalue。如果clipnorm提供，梯度将在梯度范数超过阈值时被裁剪。