Tensorflow数据集未保存在多个分片中

mel*_*rre 6 python tensorflow tensorflow-datasets

我想使用tensorflow数据集保存和加载功能,但我不确定是否理解分片方法。

文档表明

保存的数据集保存在多个文件“碎片”中。默认情况下,数据集输出以循环方式划分为分片,但可以通过 shard_func 函数指定自定义分片。

但是当我通过保存功能保存数据集时,似乎只生成了一个巨大的分片。

import tempfile
import tensorflow as tf

path = os.path.join(tempfile.gettempdir(), "saved_data")
dataset = tf.data.Dataset.range(10**8)

dataset.save(path)
Run Code Online (Sandbox Code Playgroud)

生成的数据集截图

我错过了什么吗?

我使用 Tensorflow 2.10.0 和 Python 3.9.7