GeneratorDatasetOp：数据集不会被优化，因为数据集没有实现应用优化所需的 AsGraphDefInternal() 方法

Question

我创建了一个 tf 记录并用它来训练我的模型。在训练过程中，每当我调用数据来执行评估时，我总是收到消息

GeneratorDatasetOp::Dataset 的输入不会被优化，因为数据集没有实现应用优化所需的 AsGraphDefInternal() 方法。

在创建 tf 记录期间，我尝试包含以下代码来优化数据集，但这没有成功

AUTO = tf.data.experimental.AUTOTUNE # used in tf.data.Dataset API
option_no_order = tf.data.Options()
option_no_order.experimental_deterministic = False

option_no_order.experimental_optimization.noop_elimination = True
option_no_order.experimental_optimization.apply_default_optimizations = True

请建议我可以尝试或遵循的优化数据集的步骤

Answer 1

当使用分布式策略创建模型时，我收到了相同的警告消息。使用非分布式策略创建模型消除了警告。如果您需要使用分布式策略，我认为您还需要使用分布式数据集（https://www.tensorflow.org/api_docs/python/tf/distribute/DistributedDataset）。