Ewe*_*ler 6 machine-learning tensorflow
我有一个相对较大的数据集(> 15 GB)作为Pandas数据帧存储在一个文件中.我想将此数据转换为TFRecords格式,然后将其提供给我的计算图.我正在学习本教程:https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/how_tos/reading_data/convert_to_records.py.
但是,这仍然涉及将整个数据集加载到内存中.有没有一种方法可以让你直接将大数据集转换成TFrecords而无需将所有内容加载到内存中？在这种情况下甚至需要TFRecords还是我可以在培训期间从磁盘读取数组？
替代方案是使用np.memmap或将数据框分成更小的部分,但我想知道是否可以将整个数据集转换为TFrecord格式.