使用memmap文件进行批处理

Question

我有一个庞大的数据集,我希望PCA.我受限于RAM和PCA的计算效率.因此,我转而使用Iterative PCA.

数据集大小 - (140000,3504)

该文件指出,This algorithm has constant memory complexity, on the order of batch_size, enabling use of np.memmap files without loading the entire file into memory.

这真的很好,但不确定如何利用这一点.

我尝试加载一个memmap,希望它能以块的形式访问它,但是我的RAM已经爆炸了.我下面的代码最终使用了大量的RAM:

ut = np.memmap('my_array.mmap', dtype=np.float16, mode='w+', shape=(140000,3504))
clf=IncrementalPCA(copy=False)
X_train=clf.fit_transform(ut)

当我说"我的RAM吹"时,我看到的Traceback是:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\sklearn\base.py", line 433, in fit_transfo
rm
    return self.fit(X, **fit_params).transform(X)
  File "C:\Python27\lib\site-packages\sklearn\decomposition\incremental_pca.py",
 line 171, in fit
    X = check_array(X, dtype=np.float)
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 347, in
 check_array
    array = np.array(array, dtype=dtype, order=order, copy=copy)
MemoryError

如何通过减少批量大小来提高精度？

---

我的诊断想法:

我看了看sklearn源代码和fit()功能的源代码,我可以看到以下内容.这对我来说很有意义,但我仍然不确定我的情况有什么问题.

for batch in gen_batches(n_samples, self.batch_size_):
        self.partial_fit(X[batch])
return self

编辑: 最糟糕的情况我将不得不为iterativePCA编写自己的代码,通过读取和关闭.npy文件批处理.但这会破坏利用已经存在的黑客的目的.

Edit2: 如果以某种方式我可以删除一批处理过的memmap file.这会很有意义.

Edit3: 理想情况下,如果IncrementalPCA.fit()只是使用批次,它不应该崩溃我的RAM.发布整个代码,只是为了确保我没有错误地将memmap完全刷新到磁盘之前.

temp_train_data=X_train[1000:]
temp_labels=y[1000:] 
out = np.empty((200001, 3504), np.int64)
for index,row in enumerate(temp_train_data):
    actual_index=index+1000
    data=X_train[actual_index-1000:actual_index+1].ravel()
    __,cd_i=pywt.dwt(data,'haar')
    out[index] = cd_i
out.flush()
pca_obj=IncrementalPCA()
clf = pca_obj.fit(out)

令人惊讶的是,我注意到out.flush并没有释放我的记忆.有没有办法使用del out完全释放我的内存,然后有人传递文件的指针IncrementalPCA.fit().

Answer 1

您sklearn在32位环境中遇到了问题.我假设您正在使用,np.float16因为您处于32位环境中,并且您需要允许您创建memmap对象而不会出现错误的错误.

在64位环境中(在Windows上使用Python3.3 64位测试),您的代码只需开箱即用.所以,如果你有一个可用的64位计算机-安装python 64位和numpy,scipy,scikit-learn64位,你是好去.

不幸的是,如果你不能这样做,那就没有简单的解决办法.我在github上提出了一个问题,但修补并不容易.根本问题是在库中,如果您的类型是float16,则触发数组到内存的副本.详情如下.

因此,我希望您能够访问具有足够RAM的64位环境.如果没有,你将不得不自己拆分阵列并批量处理它,这是一项相当大的任务......

注意看到你去诊断问题的源代码真的很好:)但是,如果你看一下代码失败的行(来自Traceback),你会for batch in gen_batches发现你找到的代码永远不会到达.

详细诊断:

OP代码生成的实际错误:

import numpy as np
from sklearn.decomposition import IncrementalPCA

ut = np.memmap('my_array.mmap', dtype=np.float16, mode='w+', shape=(140000,3504))
clf=IncrementalPCA(copy=False)
X_train=clf.fit_transform(ut)

是

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\sklearn\base.py", line 433, in fit_transfo
rm
    return self.fit(X, **fit_params).transform(X)
  File "C:\Python27\lib\site-packages\sklearn\decomposition\incremental_pca.py",
 line 171, in fit
    X = check_array(X, dtype=np.float)
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 347, in
 check_array
    array = np.array(array, dtype=dtype, order=order, copy=copy)
MemoryError

对check_array(代码链接)的调用使用dtype=np.float,但原始数组有dtype=np.float16.即使check_array()函数默认为copy=False并传递给它np.array(),也会忽略它(根据文档),以满足dtype不同的要求; 因此,副本由np.array.

这可以通过确保dtype为数组保留为IncrementalPCA代码来解决dtype in (np.float16, np.float32, np.float64).但是,当我尝试该补丁时,它只会MemoryError沿着执行链进一步推进.

当代码会出现相同的问题复制调用linalg.svd()从主SciPy的代码,而这一次在通话过程中出现的错误来gesdd(),从包裹本地函数lapack.因此,我认为没有办法对此进行修补(至少不是一种简单的方法 - 它至少可以改变核心scipy中的代码).