如何创建类似于cifar-10的数据集

Question

我想创建一个数据集,其格式与要与Tensorflow一起使用的cifar-10数据集相同.它应该有图像和标签.基本上,我希望能够采用cifar-10代码,但不同的图像和标签,并运行该代码.我还没有找到任何有关如何在线进行此操作的信息,对机器学习来说还是全新的.

Answer 1

我已经在一些自己的数据集上成功运行了CIFAR10代码.我相信我应该能给你一个好的答案.

在我们这样做之前,我们需要了解CIFAR10数据集的格式.如果我们参考:https://www.cs.toronto.edu/~kriz/cifar.html ,特别是二进制文件版本部分,我们看到:

换句话说,第一个字节是第一个图像的标签,它是0-9范围内的数字.接下来的3072个字节是图像像素的值.前1024个字节是红色通道值,下一个1024是绿色,最后1024个是蓝色.值以行主顺序存储,因此前32个字节是图像第一行的红色通道值.

直观地说,我们需要以这种格式存储数据.接下来你可以做什么作为一种基线实验,是获得与CIFAR10完全相同的大小和相同数量的图像,并将它们放在这种格式中.这意味着您的图像大小应为32x32x3,并且有10个类.如果您可以成功运行此功能,那么您可以进一步考虑单个通道,不同大小输入和不同类的因素.这样做意味着您必须在代码的其他部分中更改许多变量.你必须慢慢地完成你的工作.

我正在制定一个通用模块.我的代码在https://github.com/jkschin/svhn中.如果您参考svhn_flags.py代码,您会看到许多标志可以更改以满足您的需求.我承认它现在很神秘,因为我没有清理它以使它可读,但它有效.如果你愿意花一些时间粗略地看一下,你会想出一些东西.

这可能是在CIFAR10上运行您自己的数据集的简便方法.您当然可以复制神经网络定义并实现自己的读取器,输入格式,批处理等,但如果您想要它快速运行,只需调整输入以适应CIFAR10.

我希望这有帮助.

编辑:

一些非常基本的代码,我希望会有所帮助.

from PIL import Image
import numpy as np

im = Image.open('images.jpeg')
im = (np.array(im))

r = im[:,:,0].flatten()
g = im[:,:,1].flatten()
b = im[:,:,2].flatten()
label = [1]

out = np.array(list(label) + list(r) + list(g) + list(b),np.uint8)
out.tofile("out.bin")

这会将图像转换为可在CIFAR10中使用的字节文件.对于多个图像,只需保持连接数组,如上面的格式所述.要检查您的格式是否正确,特别是对于Asker的用例,您应该获得427*427*3 + 1 = 546988字节的文件大小.假设您的图片是RGB,值范围为0-255.验证完毕后,您将全部设置为在TensorFlow中运行.使用TensorBoard可能会想象一个图像,只是为了保证正确性.

编辑2:

根据Asker在评论中提出的问题,

if not eval_data:
    filenames = [os.path.join(data_dir, 'data_batch_%d.bin' % i)
                 for i in xrange(1, 6)]

如果你真的想要它按原样运行,你需要研究CIFAR10代码的函数调用.在cifar10_input中,批次是硬编码的.因此,您必须编辑此行代码以适合bin文件的名称.或者,只需将图像均匀分布到6个bin文件中.