keras model.fit_generator()比model.fit()慢几倍

Question

即使在Keras 1.2.2中,引用合并,它确实包含多处理,但model.fit_generator()仍然比model.fit()磁盘读取速度限制慢约4-5倍.如何通过额外的多处理来加快速度？

Answer 1

您可能需要查看文档中的workers和max_queue_size参数。本质上，更多会创建更多线程来将数据加载到队列中，从而将数据提供给网络。不过，填充队列有可能会导致内存问题，因此您可能需要减少队列以避免这种情况。fit_generator()workersmax_queue_size