使用 TensorFlow 数据集进行验证

Question

来自使用 Keras 进行训练和评估：

从 Dataset 对象进行训练时，不支持参数validation_split（从训练数据生成保留集），因为此功能需要能够对数据集的样本进行索引，而这通常使用 Dataset API 是不可能的。

有解决方法吗？如何仍将验证集与 TF 数据集一起使用？

Answer 1

不，您不能使用 use validation_split（如文档清楚描述的那样），但您可以创建validation_data并Dataset“手动”创建。

您可以在同一个张量流教程中看到一个示例：

# Prepare the training dataset
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
train_dataset = train_dataset.shuffle(buffer_size=1024).batch(64)

# Prepare the validation dataset
val_dataset = tf.data.Dataset.from_tensor_slices((x_val, y_val))
val_dataset = val_dataset.batch(64)

model.fit(train_dataset, epochs=3, validation_data=val_dataset)

您可以使用简单的切片从numpy数组 ((x_train, y_train)和(x_val, y_val)) 创建这两个数据集，如下所示：

(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()
x_val = x_train[-10000:]
y_val = y_train[-10000:]
x_train = x_train[:-10000]
y_train = y_train[:-10000]

还有其他方法来创建tf.data.Dataset对象，请参阅tf.data.Dataset文档和相关教程/笔记本。