model.fit() 不接受 tf.data.Dataset 的输入形状

Question

我想通过应用来为我的模型提供数据tf.data.Dataset.

检查了 TF 2.0 的文档后，我发现该.fit()函数（https://www.tensorflow.org/api_docs/python/tf/keras/Model#fit）接受：

x - tf.data 数据集。应该返回（输入，目标）或（输入，目标，样本权重）的元组。

因此，我编写了以下简短的概念验证代码：

from sklearn.datasets import make_blobs
import tensorflow as tf
from tensorflow.keras import Model, Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.metrics import Accuracy, AUC

X, Y = make_blobs(n_samples=500, n_features=2, cluster_std=3.0, random_state=1)

def define_model():
    model = Sequential()
    model.add(Dense(units=1, activation="sigmoid", input_shape=(2,)))
    model.compile(optimizer="adam", loss="binary_crossentropy", metrics=[AUC(), Accuracy()])
    return model

model = define_model()

X_ds = tf.data.Dataset.from_tensor_slices(X)
Y_ds = tf.data.Dataset.from_tensor_slices(Y)
dataset = tf.data.Dataset.zip((X_ds, Y_ds))

for elem in dataset.take(1):
    print(type(elem))
    print(elem)

model.fit(x=dataset) #<-- does not work
#model.fit(x=X, y=Y) <-- does work without any problems....

正如第二条评论中提到的，不应用 a 的代码tf.data.Dataset工作正常。

但是，当应用 Dataset 对象时，我收到以下错误消息：

<class 'tuple'>
(<tf.Tensor: shape=(2,), dtype=float64, numpy=array([-10.42729974,  -0.85439721])>, <tf.Tensor: shape=(), dtype=int64, numpy=1>)
... other output here...
ValueError: Error when checking input: expected dense_19_input to have
shape (2,) but got array with shape (1,)

根据我对文档的理解，我构建的数据集应该正是 fit 方法期望的元组对象。

我不明白这个错误消息。

我在这里做错了什么？

Answer 1

当您将数据集传递给 时fit，预计它将直接生成批次，而不是单个示例。您只需要在训练之前对数据集进行批处理即可。

dataset = dataset.batch(batch_size)
model.fit(x=dataset)