我有大约200,000个高分辨率图像,每次加载如此高质量的图像都很耗时.预加载内存中的所有图像可能会占用太多内存.如何将每个图像保存为.npz文件格式并加载.npz而不是.jpg？它会提高速度吗？
我有一个图像处理问题，其中有五个类，每个类有大约 1000 万个示例作为训练数据，其中图像是 z 得分的 25x25 numpy 数组。
显然，我无法将所有训练数据加载到内存中，因此我必须使用fit_generator.
我也是生成和扩充这些训练数据矩阵的人，但我无法实时进行，fit_generator因为训练模型太慢了。
首先，如何在磁盘上存储 5000 万个 25x25 .npy 数组？最好的做法是什么？
其次，我应该使用数据库来存储这些矩阵并在训练期间从中查询吗？我认为 SQLite 不支持多线程，并且 SQL 数据集支持在 tensorflow 中仍处于试验阶段。
我很想知道是否有一种巧妙的方法来存储这 5000 万个矩阵，以便在训练期间进行检索是最佳的。