我正在使用tensorflow,希望能够训练一个深度CNN为游戏Go进行移动预测.我创建的数据集包含100,000个二进制数据文件,其中每个数据文件对应于记录的游戏,并包含大约200个训练样本(游戏中每个移动一个).我相信在使用SGD时获得良好的混合非常重要.我希望我的批次包含来自不同游戏的样本以及来自游戏不同阶段的样本.因此,例如,简单地从100个文件的开头读取一个样本并且洗牌不好b/c这100个样本将是每个游戏的第一步.
我已经阅读了从文件中提供数据的教程,但我不确定他们提供的库是否能满足我的需要.如果我自己硬编码,我基本上会初始化一堆文件指针到每个文件中的随机位置,然后从随机文件中提取样本,相应地递增文件指针.
所以,我的问题是tensorflow是否提供了这种功能,还是更容易编写我自己的代码来创建批处理？