mel*_*rre 6 python tensorflow tensorflow-datasets
我想使用tensorflow数据集保存和加载功能,但我不确定是否理解分片方法。
文档表明:
保存的数据集保存在多个文件“碎片”中。默认情况下,数据集输出以循环方式划分为分片,但可以通过 shard_func 函数指定自定义分片。
但是当我通过保存功能保存数据集时,似乎只生成了一个巨大的分片。
import tempfile
import tensorflow as tf
path = os.path.join(tempfile.gettempdir(), "saved_data")
dataset = tf.data.Dataset.range(10**8)
dataset.save(path)
Run Code Online (Sandbox Code Playgroud)
我错过了什么吗?
我使用 Tensorflow 2.10.0 和 Python 3.9.7
| 归档时间: |
|
| 查看次数: |
231 次 |
| 最近记录: |