为什么我不能在第一个“try:”中将数据分配给稀疏矩阵的一部分？

Question

我想为 crs 稀疏矩阵的一部分分配一个值（我知道它很昂贵，但在我的项目中并不重要）。我尝试将浮点变量分配给稀疏矩阵的一部分，但第一次不起作用。但是，如果我在“除了”中做完全相同的事情，它将完美地工作。

然后我尝试检查稀疏矩阵及其一部分的数据类型，由于某种原因它们是不同的。整个矩阵的数据类型是我指定的 float16，但部分矩阵的数据类型是 float32。

这是两个问题的一个小例子：

from scipy.sparse import csr_matrix
import numpy as np

frame = csr_matrix((10, 10),dtype=np.float16)

print "================\n================ Part 1\n================"
print "Let's assign a value to part of the sparse matrix:"
try:
    frame[0:3,0:3] = np.float16(0.6)
    print "The first attempt worked!"
except:
    print "The first attempt didn't work"

print "let's try again :"

try:
    frame[0:3,0:3] = np.float16(0.6)
    print "The second attempt worked!"
except:
    print "The second attempt didn't work"

print "================\n================ Part 2\n================"
print "Let's check the datatype:"
print "Frame dtype is:",; print frame.dtype
print "Part-of-frame dtype is",; print frame[0:3,0:3].dtype

结果如下：

================
================ Part 1
================
Let's assign a value to part of the sparse matrix:
The first attempt didn't work
let's try again :
The second attempt worked!
================
================ Part 2
================
Let's check the datatype:
Frame dtype is: float16
Part-of-frame dtype is float32

我仍然尝试将 np.float32 分配给稀疏矩阵的一部分，并且得到了相同的行为。有人可以解释发生了什么事吗？

Answer 1

简短的回答 - 问题出在np.float16; 坚持使用通常的 32 或 64 个浮点数。

===============================

首先是一个工作案例（0.17 中）

In [334]: M=sparse.csr_matrix((5,5),dtype=np.float)
In [335]: M[:3,:3]=0.6
/usr/lib/python3/dist-packages/scipy/sparse/compressed.py:730: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
In [336]: M.A
Out[336]: 
array([[ 0.6,  0.6,  0.6,  0. ,  0. ],
       [ 0.6,  0.6,  0.6,  0. ,  0. ],
       [ 0.6,  0.6,  0.6,  0. ,  0. ],
       [ 0. ,  0. ,  0. ,  0. ,  0. ],
       [ 0. ,  0. ,  0. ,  0. ,  0. ]])
In [338]: M.data
Out[338]: array([ 0.6,  0.6,  0.6,  0.6,  0.6,  0.6,  0.6,  0.6,  0.6])

如果我再次分配，我不会收到稀疏警告。

现在，如果我使用你的 dtype，我会收到稀疏警告，但也会收到 ValueError （你的通用except隐藏）：

In [339]: M=sparse.csr_matrix((5,5),dtype=np.float16)
In [340]: M[:3,:3]=np.float16(0.6)
/usr/lib/python3/dist-packages/scipy/sparse/compressed.py:730: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-340-aaecba748069> in <module>()
----> 1 M[:3,:3]=np.float16(0.6)

/usr/lib/python3/dist-packages/scipy/sparse/compressed.py in __setitem__(self, index, x)
    654             return
    655         i, j = self._swap((i.ravel(), j.ravel()))
--> 656         self._set_many(i, j, x.ravel())
    657 
    658     def _setdiag(self, values, k):

/usr/lib/python3/dist-packages/scipy/sparse/compressed.py in _set_many(self, i, j, x)
    738             j = j[mask]
    739             j[j < 0] += N
--> 740             self._insert_many(i, j, x[mask])
    741 
    742     def _insert_many(self, i, j, x):

/usr/lib/python3/dist-packages/scipy/sparse/compressed.py in _insert_many(self, i, j, x)
    805             # TODO: only sort where necessary
    806             self.has_sorted_indices = False
--> 807             self.sort_indices()
    808 
    809         self.check_format(full_check=False)

/usr/lib/python3/dist-packages/scipy/sparse/compressed.py in sort_indices(self)
   1039         if not self.has_sorted_indices:
   1040             fn = _sparsetools.csr_sort_indices
-> 1041             fn(len(self.indptr) - 1, self.indptr, self.indices, self.data)
   1042             self.has_sorted_indices = True
   1043 

ValueError: Output dtype not compatible with inputs.

csr如果我只是尝试将其转换为密集，我会得到同样的错误：

In [346]: M=sparse.csr_matrix((5,5),dtype=np.float16)
In [347]: M.A
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-347-bdd665fbe1b0> in <module>()
----> 1 M.A

/usr/lib/python3/dist-packages/scipy/sparse/base.py in __getattr__(self, attr)
    511     def __getattr__(self, attr):
    512         if attr == 'A':
--> 513             return self.toarray()
    514         elif attr == 'T':
    515             return self.transpose()

/usr/lib/python3/dist-packages/scipy/sparse/compressed.py in toarray(self, order, out)
    938     def toarray(self, order=None, out=None):
    939         """See the docstring for `spmatrix.toarray`."""
--> 940         return self.tocoo(copy=False).toarray(order=order, out=out)
    941 
    942     ...
ValueError: Output dtype not compatible with inputs.

所以问题不在于分配，而在于处理dtype。它看起来像一个错误，但您可以通过不使用此数据类型来避免它。

并且lil矩阵也存在这种 dtype 的问题：

In [348]: M=sparse.lil_matrix((5,5),dtype=np.float16)
In [349]: M[:3,:3]=np.float16(0.6)
...
KeyError: (dtype('int32'), dtype('float16'))

在转换过程中的某个时刻，指定的数据类型不会被保留。

但为什么float16首先要使用呢？float32 和 float64 是普通的 numpy 浮点数。

即使我成功创建了一个np.float16矩阵，在大多数稀疏操作期间也不会保留该数据类型：

In [374]: M=sparse.csr_matrix(np.arange(9).reshape(3,3), dtype=np.float16)
In [375]: M.data
Out[375]: array([ 1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.], dtype=float16)
In [376]: 
In [376]: M
Out[376]: 
<3x3 sparse matrix of type '<class 'numpy.float16'>'
    with 8 stored elements in Compressed Sparse Row format>

In [377]: M.A   # same error converting to dense
...
ValueError: Output dtype not compatible with inputs.

In [378]: M.T     # dtype kept during transpose
Out[378]: 
<3x3 sparse matrix of type '<class 'numpy.float16'>'
    with 8 stored elements in Compressed Sparse Column format>

dtype 不会通过乘法或索引来保留。编译后的矩阵乘法代码很可能是为 32 和 64（常规 C 浮点数和双精度数）编写的，而不是 16。

In [379]: M*M
Out[379]: 
<3x3 sparse matrix of type '<class 'numpy.float32'>'
    with 9 stored elements in Compressed Sparse Row format>
In [380]: M[0,:]
Out[380]: 
<1x3 sparse matrix of type '<class 'numpy.float32'>'
    with 2 stored elements in Compressed Sparse Row format>

我不知道文档是否警告过float16，但我认为它几乎没有用。