Tensorflow 2.0 中的二阶导数

Question

f(x) = (x,x^2,x^3)我正在尝试使用 TF 2.3 和 来计算标量变量的简单向量函数的二阶导数tf.GradientTape。

def f_ab(x):
    return x, x** 2, x** 3

import tensorflow as tf
in1 = tf.cast(tf.convert_to_tensor(tf.Variable([-1,3,0,6]))[:,None],tf.float64)
with tf.GradientTape(persistent=True) as tape2:
    tape2.watch(in1)
    with tf.GradientTape(persistent=True) as tape:
        tape.watch(in1)
        f1,f2,f3 = f_ab(in1)
    df1 = tape.gradient(f1, in1)
    df2 = tape.gradient(f2, in1)
    df3 = tape.gradient(f3, in1)

d2f1_dx2 = tape2.gradient(df1, in1)
d2f2_dx2 = tape2.gradient(df2, in1)
d2f3_dx2 = tape2.gradient(df3, in1)

由于某种原因，只有最后两个导数是正确的，而第一个导数d2f1_dx2，结果是None。

当我更改f_ab为

def f_ab(x):
    return x** 1, x** 2, x**3   

我得到了d2f1_dx2 = <tf.Tensor: shape=(1, 4), dtype=float64, numpy=array([[-0., 0., nan, 0.]])> “几乎”正确的结果。

仅当我更改f_ab为

def f_ab(inputs_train):
    return tf.math.log(tf.math.exp(x) ), x** 2, x**3

我得到了正确的结果：d2f1_dx2 = <tf.Tensor: shape=(1, 4), dtype=float64, numpy=array([[0., 0., 0., 0.]])>

以前有人遇到过这个问题吗？为什么给出直接的方式None？

Answer 1

我认为这是因为 的一阶导数x是一个常数。因此，当您计算二阶导数时Y，f1它们彼此无关，因为f1是一个常数。

在 Tensorflow方法中，如果两个变量之间的图中没有可定义的路径，则.gradient()默认为。None

gradient(
    target, sources, output_gradients=None,
    unconnected_gradients=tf.UnconnectedGradients.NONE
)

请参阅张量流文档

0您可以通过改为更改此参数，None并且您应该获得 的导数的预期结果constant。