Keras 上的 Clipnorm 和 Clipval 有什么区别

ida*_*hal 3 optimization gradient-descent deep-learning keras tensorflow

Clipnorm 和 Clipval 之间有什么区别?

前任:opt = SGD(lr=0.01, momentum=0.9, clipnorm=1.0)

Sri*_*adi 6

在 的情况下clipnorm,梯度的 l2 范数上限为指定值。

同时clipvalue限制梯度值,使其不超过指定值