小编A C*_*A C的帖子

如何在 TensorFlow 2.0 中实现 clip_gradients_by_norm?

我想在 TF 2.0 中使用 tf.contrib.estimator.clip_gradients_by_norm,这在 TF 1.3 下是可能的,但是随着 contrib 现在消失,我需要一个解决方法,甚至只是一些关于它如何工作的潜在直觉。

我知道此问题已在 Github ( https://github.com/tensorflow/tensorflow/issues/28707 )上作为问题提出,但如果可能,希望尽快找到解决方案。

# Use gradient descent as the optimizer for training the model.
my_optimizer=tf.train.GradientDescentOptimizer(learning_rate=0.0000001)
my_optimizer = tf.contrib.estimator.clip_gradients_by_norm(my_optimizer, 5.0)

# Configure the linear regression model with our feature columns and optimizer.
# Set a learning rate of 0.0000001 for Gradient Descent.
linear_regressor = tf.estimator.LinearRegressor(
    feature_columns=feature_columns,
    optimizer=my_optimizer
)
Run Code Online (Sandbox Code Playgroud)

更多在这里:

https://colab.research.google.com/notebooks/mlcc/first_steps_with_tensor_flow.ipynb?utm_source=mlcc&utm_campaign=colab-external&utm_medium=referral&utm_content=firststeps-colab&hl=en#scrollTo=ubhtW-NGU802

我试过使用这里描述的自定义渐变:https : //www.tensorflow.org/guide/eager

@tf.custom_gradient
def clip_gradient_by_norm(x, norm):
  y = tf.identity(x)
  def grad_fn(dresult):
    return [tf.clip_by_norm(dresult, norm), None]
  return y, …
Run Code Online (Sandbox Code Playgroud)

python tensorflow tensorflow2.0

3
推荐指数
1
解决办法
1185
查看次数

标签 统计

python ×1

tensorflow ×1

tensorflow2.0 ×1