我有一个非常大的矩阵,它是一个作为帧数组的视频文件,每个帧的分辨率约为 350x250。我在单个视频文件中有大约 8,000-10,000 个这样的帧,大小约为 1-1.5GB。我认为 HDF5 是一种很适合我使用的文件格式,因为我必须对文件(跨整个深度列)执行大量数学运算。我的问题是我无法在 HDF5 中存储这个 3D 矩阵。有人可以建议我如何以增量方式将这些帧存储为 hdf5 格式的 3D 矩阵(逐帧添加到 hdf5 文件中)?我正在使用 h5py python 包。
我正在寻找 keras(tensorflow 后端)中的数据并行性,而不是模型并行性。我正在对视频文件执行视频分类,因此在 GPU 中只能容纳一批大小为 2 的文件。所以,我想知道一种使用多个 GPU 的方法来增加我的批量大小,以便更好地估计和更快地训练。你能建议我一个有效的方法来做到这一点吗?
我正在使用一个 12gb TitanX 和一个 6gb Titan Black。
谢谢