使用TensorFlow重整化权重矩阵

Question

我想在我的TensorFlow图中为几个权重矩阵添加一个最大范数约束,ala Torch的renorm方法.

如果任何神经元的权重矩阵的L2范数超过max_norm,我想减小它的权重,使它们的L2范数完全正确max_norm.

使用TensorFlow表达这一点的最佳方式是什么？

Answer 1

看一下clip_by_norm函数，它正是这样做的。它采用单个张量作为输入并返回按比例缩小的张量。