是否可以通过 memmap 支持将布尔 numpy 数组以每个元素 1 位的形式保存在磁盘上？

Question

是否可以将 numpy 数组以布尔格式保存在磁盘上，每个元素只需要 1 位？这个答案建议使用packbits和unpackbits，但是从文档来看，这似乎可能不支持内存映射。有没有办法在支持 memmap 的情况下在磁盘上存储 1 位数组？

需要 memmap 的原因：我正在全高清 ( 1920x1080) 图像的数据库上训练我的神经网络，但我会为每次迭代随机裁剪一个256x256补丁。由于读取完整图像非常耗时，因此我使用 memmap 只读取所需的补丁。现在，我想将二进制掩码与我的图像一起使用，因此有此要求。

Answer 1

numpy 不支持每个元素 1 位的数组，我怀疑 memmap 是否有这样的功能。不过，有一个使用 packbits 的简单解决方法。

由于您的情况不是按位随机访问，因此您可以将其读取为每个元素数组 1 个字节。

# A binary mask represented as an 1 byte per element array.
full_size_mask = np.random.randint(0, 2, size=[1920, 1080], dtype=np.uint8)

# Pack mask vertically.
packed_mask = np.packbits(full_size_mask, axis=0)

# Save as a memmap compatible file.
buffer = np.memmap("./temp.bin", mode='w+',
                   dtype=packed_mask.dtype, shape=packed_mask.shape)
buffer[:] = packed_mask
buffer.flush()
del buffer

# Open as a memmap file.
packed_mask = np.memmap("./temp.bin", mode='r',
                        dtype=packed_mask.dtype, shape=packed_mask.shape)

# Rect where you want to crop.
top = 555
left = 777
width = 256
height = 256

# Read the area containing the rect.
packed_top = top // 8
packed_bottom = (top + height) // 8 + 1
packed_patch = packed_mask[packed_top:packed_bottom, left:left + width]

# Unpack and crop the actual area.
patch_top = top - packed_top * 8
patch_mask = np.unpackbits(packed_patch, axis=0)[patch_top:patch_top + height]

# Check that the mask is cropped from the correct area.
print(np.all(patch_mask == full_size_mask[top:top + height, left:left + width]))

请注意，此解决方案可以（并且可能会）读取额外的位。具体来说，两端最多7位。在你的例子中，它将是 7x2x256 位，但这只是补丁的大约 5%，所以我相信它可以忽略不计。

顺便说一句，这不是您问题的答案，但是当您处理二进制掩码（例如用于图像分割的标签）时，使用 zip 压缩可能会大大减小文件大小。每个图像（不是每个补丁）有可能减少到 8 KB 以下。您可能也想考虑这个选项。