没有lmdb的Caffe + Opencv

mrg*_*oom 6 c++ opencv lmdb caffe

当使用caffe时,为了创建包含图像的训练数据集,我们需要以像lmdb这样的特殊格式创建数据库,但是有任何选项可以传递给caffe批量的图像vector<cv::Mat>吗?

为了澄清我正在寻找能够处理大量无法融入内存的图像的解决方案(但假设一个训练批次(包含例如50个图像)可以存储在内存中).

Ano*_*bhu 7

Caffe可以采用多种类型的输入,具体取决于我们使用的输入层.一些可用的输入方法是:

  1. 数据
  2. MemoryData
  3. HDF5Data
  4. ImageData等

在模型文件中,您找到的第一个图层将Layer type: Data用作lmdb or leveldb输入方法.将一组图像转换为这些数据库非常容易,因为Caffe已经提供了转换图像的工具.

Layer type: MemoryData读取直接来自存储器的数据,同时使用摄像机输入至作为来自Caffe输入期间测试阶段被传递,这将是非常有益的.强烈建议不要使用此层进行培训.

Layer type: ImageData需要一个文本文件作为输入.文本文件包含所有图像名称及其完整路径和类号.Caffe使用OpenCV来读取该层中的图像.它还负责图像的所有转换.因此,不建议使用OpenCV读取图像然后传递给MemoryData层,而是使用ImageData.

ImageData图层从中读取图像的.txt格式必须是:

/path/to/the/image/imageName.jpg classNumber

强烈建议使用LMDB或LevelDB,因为如果图像路径或名称包含空格,或者任何图像损坏,则ImageData无法正常工作.

各种层的细节可以在这里找到.

内存在GPU中分配,具体取决于型号和批量大小.如果发生内存溢出,您可以尝试减小批量大小.Caffe轻松处理了120万张图像的Imagenet数据库.因此,使用最佳批量大小,算法应该没有任何问题.