张量流对稀疏变量做渐变

Question

我试图在张量流中训练一个稀疏变量,据我所知,当前张量流不允许稀疏变量.

我找到了两个讨论类似问题的线程:using-sparsetensor-as-a-trainable-variable和update-only-the-the-word-embedding-matrix-in-tensorflow.我不太明白答案,如果有任何示例代码会很好

我试过的一种方法是:

# initialize the sparse variable sp_weights
# assuming w_s is the input sparse matrix contains indices information
dim=20
identity = tf.constant(np.identity(dim), dtype=tf.float32)
A=tf.sparse_tensor_dense_matmul(w_s, identity)  # convert w_s to dense
w_init = tf.random_normal([dim, dim], mean=0.0, stddev=0.1) 
w_tensor = tf.mul(A, w_init) # random initialize sparse tensor
vars['sp_weights'] = tf.Variable(w_tensor)

# doing some operations...

当计算梯度时,根据第二个链接使用tf.IndexedSlices

grad = opt.compute_gradients(loss)
train_op = opt.apply_gradients(
    [tf.IndexedSlices(grad, indices)]) # indices is extracted from w_s

上面的代码当然不起作用,我在这里很困惑.tf.IndexedSlices使输入成为IndexedSlices实例,如何使用它来更新给定索引的渐变？此外,许多人提到使用tf.scatter_add/sub/update.官方文档不包含有关如何使用以及在何处使用渐变更新的示例代码.我应该使用tf.IndexedSlices还是tf.scatter？如果有任何示例代码,将会非常有用.谢谢!

Answer 1

我不熟悉 IndexedSlices 或稀疏变量，但我收集到的是，您试图仅将梯度更新应用于变量的某些切片。如果这就是您正在做的事情，那么有一个简单的解决方法：使用以下命令提取变量的副本

weights_copy = tf.Variable(weights_var.initialized_value()) # Copies the current value

，然后对整个变量应用梯度更新，然后使用 tf.scatter() 合并两者，在任意位置合并原始/更新的部分。