TensorFlow 需要很长时间才能将数据加载到 tf.Dataset

Question

我正在使用 TensorFlow 1.9 来训练图像数据集，该数据集太大而无法从我的硬​​盘驱动器加载到 RAM 中。因此，我在我的硬盘驱动器上将数据集分成两半。我想知道在整个数据集上训练的最有效方法是什么。

我的 GPU 有 3 GB 的内存，我的 RAM 有 32 GB 的内存。每个半数据集的大小为 20 GB。我的硬盘有足够的可用空间（超过 1 TB）。

我的尝试如下。我创建了一个可初始化的tf.Dataset，然后在每个时期，我将它初始化两次：对数据集的每一半进行一次。通过这种方式，每个 epoch 都会看到整个数据集，但在任何时候只需要将其中的一半加载到 RAM 中。

但是，这很慢，因为从我的硬盘驱动器加载数据需要很长时间，并且每次使用这些数据初始化数据集也需要很长时间。

有没有更有效的方法来做到这一点？

在加载数据集的另一半之前，我尝试对数据集的每一半进行多个时期的训练，这要快得多，但这在验证数据上的性能要差得多。据推测，这是因为模型在每一半上都过度拟合，然后没有泛化到另一半的数据。

在下面的代码中，我创建并保存了一些测试数据，然后按上述方式加载这些数据。加载每个半数据集的时间约为 5 秒，使用此数据初始化数据集的时间约为 1 秒。这可能看起来只是很小的一部分，但它在多个时期内加起来。事实上，我的计算机在加载数据上花费的时间几乎与它实际训练数据所花费的时间一样多。

import tensorflow as tf
import numpy as np
import time

# Create and save 2 datasets of test NumPy data
dataset_num_elements = 100000
element_dim = 10000
batch_size = 50
test_data = np.zeros([2, int(dataset_num_elements * 0.5), element_dim], dtype=np.float32)
np.savez('test_data_1.npz', x=test_data[0])
np.savez('test_data_2.npz', x=test_data[1])

# Create the TensorFlow dataset
data_placeholder = tf.placeholder(tf.float32, [int(dataset_num_elements * 0.5), element_dim])
dataset = tf.data.Dataset.from_tensor_slices(data_placeholder)
dataset = dataset.shuffle(buffer_size=dataset_num_elements)
dataset = dataset.repeat()
dataset = dataset.batch(batch_size=batch_size)
dataset = dataset.prefetch(1)
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()
init_op = iterator.initializer

num_batches = int(dataset_num_elements / batch_size)

with tf.Session() as sess:
    while True:
        for dataset_section in range(2):
            # Load the data from the hard drive
            t1 = time.time()
            print('Loading')
            loaded_data = np.load('test_data_' + str(dataset_section + 1) + '.npz')
            x = loaded_data['x']
            print('Loaded')
            t2 = time.time()
            loading_time = t2 - t1
            print('Loading time = ' + str(loading_time))
            # Initialize the dataset with this loaded data
            t1 = time.time()
            sess.run(init_op, feed_dict={data_placeholder: x})
            t2 = time.time()
            initialization_time = t2 - t1
            print('Initialization time = ' + str(initialization_time))
            # Read the data in batches
            for i in range(num_batches):
                x = sess.run(next_element)

Answer 1

Feed 不是输入数据的有效方式。您可以像这样输入数据：

1. 创建一个包含所有输入文件名的文件名数据集。你可以洗牌，在这里重复数据集。
2. 将此数据集映射到数据，映射功能是读取、解码、转换图像。使用多线程进行地图转换。
3. 预取数据进行训练。

这只是一个示例方式。您可以设计自己的管道，请记住以下几点：

• 尽可能使用轻量级饲料
• 使用多线程读取和预处理
• 预取训练数据