我正在尝试申请_pickle将数据保存到磁盘上.但是在打电话时_pickle.dump,我收到了一个错误
OverflowError: cannot serialize a bytes object larger than 4 GiB
这是一个难以使用的限制_pickle吗？(cPickle对于python2)
有没有办法从a转换pandas.SparseDataFrame为scipy.sparse.csr_matrix,而不在内存中生成密集矩阵？
scipy.sparse.csr_matrix(df.values)
不起作用,因为它产生一个密集的矩阵,投射到csr_matrix.
提前致谢!
我正在考虑一种使用np.tile但不为新矩阵分配内存的方法。有没有办法实现这一目标？
有点冗长，我正在寻求的功能如下：
a = np.random.rand(4,)
b = np.random.rand(8,)
c = np.tile(a,2) + b # this generate a memory copy anyhow
我想避免np.tile.
任何帮助表示赞赏。