为什么要使用tensorflow gfile？(用于文件I/O)

Question

Tensorflow代码使用与python内置方法不同的文件I/O方法.根据源代码,它很有用

"没有线程锁定的文件I/O包装器"

我不确定它在什么场合有用以及什么时候不应该使用它.

任何的想法？

谢谢

Answer 1

这个评论:

没有线程锁定的文件I/O包装器

...对于TensorFlow的tf.gfile模块来说,这是一个特别无用的描述!

该tf.gfile模块的主要作用是:

1. 提供接近Python file对象的API ,以及
2. 提供基于TensorFlow的C++ FileSystemAPI的实现.

C++ FileSystemAPI支持多种文件系统实现,包括本地文件,Google云端存储(使用gs://前缀)和HDFS(使用hdfs://前缀).TensorFlow将这些导出为tf.gfile可以使用这些实现来保存和加载检查点,编写TensorBoard日志以及访问训练数据(以及其他用途).但是,如果您的所有文件都是本地文件,则可以使用常规Python文件API而不会出现任何问题.