相关疑难解决方法(0)

我需要在Python的切片表示法上有一个很好的解释(引用是一个加号).

对我来说,这种符号需要一点点提升.

它看起来非常强大,但我还没有完全了解它.

我正在寻找使用python(h5py)将数据附加到h5文件中的现有数据集的可能性.

我的项目简介:我尝试使用医学图像数据训练CNN.由于在将数据转换为nparrays期间需要大量数据和大量内存,我需要将"转换"拆分为几个数据块 - >加载并预处理前100个医学图像并将nparray保存到hdf5 file - >加载下一个100个数据集并附加现有的h5文件.

现在我尝试按如下方式存储前100个转换后的nparrays:

import h5py
from LoadIPV import LoadIPV

X_train_data, Y_train_data, X_test_data, Y_test_data = LoadIPV()

with h5py.File('.\PreprocessedData.h5', 'w') as hf:
    hf.create_dataset("X_train", data=X_train_data, maxshape=(None, 512, 512, 9))
    hf.create_dataset("X_test", data=X_test_data, maxshape=(None, 512, 512, 9))
    hf.create_dataset("Y_train", data=Y_train_data, maxshape=(None, 512, 512, 1))
    hf.create_dataset("Y_test", data=Y_test_data, maxshape=(None, 512, 512, 1))

可以看出,转换后的nparray被分成四个不同的"组",存储在四个hdf5数据集[X_train,X_test,Y_train,Y_test]中.LoadIPV()函数执行医学图像数据的预处理.

我的问题是,我想将接下来的100个nparray存储到现有数据集中的同一个h5文件中:这意味着我想要附加例如现有的X_train-dataset [100,512,512,9]以及接下来的100个nparrays这样X_train变为[200,512,512,9].这同样适用于其他三个数据集X_test,Y_train,Y_test.

非常感谢您的帮助!

有没有办法将数组存储在hdf5文件中,这个文件太大而无法在内存中加载？

如果我做这样的事情

f = h5py.File('test.hdf5','w')
f['mydata'] = np.zeros(2**32)

我收到内存错误.