是否在TensorFlow中实现了稀疏张量乘法？

Question

稀疏张量与它们自身或密集张量的相乘似乎在TensorFlow中不起作用.以下示例

from __future__ import print_function
import tensorflow as tf

x = tf.constant([[1.0,2.0],
                 [3.0,4.0]])
y = tf.SparseTensor(indices=[[0,0],[1,1]], values=[1.0,1.0], shape=[2,2])
z = tf.matmul(x,y)

sess = tf.Session()
sess.run(tf.initialize_all_variables())
print(sess.run([x, y, z]))

失败并显示错误消息

TypeError: Input 'b' of 'MatMul' Op has type string that does not match type 
float32 of argument 'a'

两个张量都具有float32类型的值,通过在没有乘法运算的情况下对它们进行求值来看.y与其自身的乘法返回类似的错误消息.x与其自身的乘法运行良好.

Answer 1

tf.SparseTensor目前尚未在TensorFlow中实现通用乘法.但是,有三种部分解决方案,选择正确的解决方案取决于数据的特征:

• 如果你有a tf.SparseTensor和a tf.Tensor,你可以tf.sparse_tensor_dense_matmul()用来乘以它们.如果其中一个张量过大而无法在内存中加密,则这比下一个方法更有效:文档对如何在这两种方法之间做出决定提供了更多指导.请注意,它接受a tf.SparseTensor作为第一个参数,因此要解决您的确切问题,您需要使用adjoint_a和adjoint_b参数,并转置结果.

• 如果你有两个稀疏张量并且需要将它们相乘,那么最简单的(如果不是最高性能)方法是将它们转换为密集并使用tf.matmul:

  a = tf.SparseTensor(...)
  b = tf.SparseTensor(...)
  
  c = tf.matmul(tf.sparse_tensor_to_dense(a, 0.0),
                tf.sparse_tensor_to_dense(b, 0.0),
                a_is_sparse=True, b_is_sparse=True)
  

  请注意,optional a_is_sparse和b_is_sparsearguments表示" a(或b)具有密集表示但其大量条目为零",这会触发使用不同的乘法算法.

• 对于通过(可能是大的和分片的)密集矩阵乘法的稀疏矢量的特殊情况,并且矢量中的值是0或1,tf.nn.embedding_lookup运算符可能更合适.本教程讨论何时可以使用嵌入以及如何更详细地调用运算符.

• 对于稀疏矩阵的特殊情况(可能是大的和分片的)密集矩阵,tf.nn.embedding_lookup_sparse()可能是合适的.此函数接受一个或两个tf.SparseTensor对象,sp_ids表示非零值,可选sp_weights表示其值(否则默认为1).

Answer 2

最近,tf.sparse_tensor_dense_matmul(...)添加了允许将稀疏矩阵乘以密集矩阵.

https://www.tensorflow.org/versions/r0.9/api_docs/python/sparse_ops.html#sparse_tensor_dense_matmul

https://github.com/tensorflow/tensorflow/issues/1241

Answer 3

在 TF2.4.1 中，您可以使用 中的方法tensorflow.python.ops.linalg.sparse.sparse_csr_matrix_ops来乘以任意值SparseTensor（我认为最多 3 个维度）。

应该使用类似下面的内容（通常将稀疏张量转换为 CSR 表示）

import tensorflow as tf
from tensorflow.python.ops.linalg.sparse import sparse_csr_matrix_ops


def tf_multiply(a: tf.SparseTensor, b: tf.SparseTensor):
    a_sm = sparse_csr_matrix_ops.sparse_tensor_to_csr_sparse_matrix(
        a.indices, a.values, a.dense_shape
    )

    b_sm = sparse_csr_matrix_ops.sparse_tensor_to_csr_sparse_matrix(
        b.indices, b.values, b.dense_shape
    )

    c_sm = sparse_csr_matrix_ops.sparse_matrix_sparse_mat_mul(
        a=a_sm, b=b_sm, type=tf.float32
    )

    c = sparse_csr_matrix_ops.csr_sparse_matrix_to_sparse_tensor(
        c_sm, tf.float32
    )

    return tf.SparseTensor(
        c.indices, c.values, dense_shape=c.dense_shape
    )

有一段时间我更喜欢scipy乘法（通过 a py_function），因为 TF （2.3 和 2.4）中的乘法性能不如 scipy。我最近再次尝试，要么我更改了代码中的某些内容，要么 2.4.1 中进行了一些修复，使 TF 稀疏乘法在 CPU 和 GPU 中都比使用 scipy 更快。