小编ira*_*usa的帖子

请考虑以下代码:

x = tf.placeholder(tf.float32, (), name='x')
z = x + tf.constant(5.0)
y = tf.mul(z, tf.constant(0.5))

with tf.Session() as sess:
    print(sess.run(y, feed_dict={x: 30}))

结果图是x - > z - > y.有时候我很感兴趣从x开始计算y,但有时候我有z开始并希望将这个值注入图中.所以z需要像部分占位符一样运行.我怎样才能做到这一点？

(对于任何有兴趣我为什么需要这个的人.我正在使用自动编码器网络观察图像x,生成中间压缩表示z,然后计算图像y的重建.我想看看当我注入不同时网络重建的内容z的值.)

我在Keras和TensorFlow一起工作.我有一个深度神经模型(预测自动编码器).我正在做一些与此类似的事情:https://arxiv.org/abs/1612.00796 - 我试图了解输出中给定图层中变量的影响.

为此,我需要找到关于特定层输出的损失(L)的二阶导数(Hessian):

对角线条目就足够了.L是标量,s是1乘n.

我先尝试了什么:

dLds = tf.gradients(L, s)  # works fine to get first order derivatives
d2Lds2 = tf.gradients(dLds, s)  # throws an error
TypeError: Second-order gradient for while loops not supported.

我也尝试过:

d2Lds2 = tf.hessians(L, s)
ValueError: Computing hessians is currently only supported for one-dimensional tensors. Element number 0 of `xs` has 2 dimensions.

我无法改变s的形状,因为它是神经网络的一部分(LSTM的状态).第一个维度(batch_size)已经设置为1,我认为我不能摆脱它.

我无法重塑s因为它打破了渐变的流动,例如:

tf.gradients(L, tf.reduce_sum(s, axis=0))

得到:

[None]

关于在这种情况下我该怎么做的任何想法？