Google Cloud ML和GCS Bucket问题

Question

我正在使用研究论文的开源Tensorflow实现,例如DCGAN-tensorflow.我正在使用的大多数库都配置为在本地训练模型,但我想使用Google Cloud ML来训练模型,因为我的笔记本电脑上没有GPU.我发现很难更改代码以支持GCS存储桶.目前,我将我的日志和模型保存到/ tmp,然后运行'gsutil'命令将目录复制到训练结束时的gs:// my-bucket(此处示例).如果我尝试将模型直接保存到gs:// my-bucket,它就永远不会出现.

对于训练数据,其中一个张量流样本将数据从GCS复制到/ tmp进行训练(此处为示例),但这仅在数据集很小时才有效.我想使用celebA,而且每次运行都要复制到/ tmp太大了.是否有任何关于如何更新本地培训代码以使用Google Cloud ML的文档或指南？

这些实现正在运行各种版本的Tensorflow,主要是.11和.12

Answer 1

目前没有明确的指南.基本思想是用file_io模块中的等价物替换所有出现的本机Python文件操作,最值得注意的是:

• open() - > file_io.FileIO()
• os.path.exists() - > file_io.file_exists()
• glob.glob() - > file_io.get_matching_files()

这些函数将在本地和GCS(以及任何已注册的文件系统)上运行.但请注意,file_io标准文件操作存在一些细微差别(例如,支持一组不同的"模式").

幸运的是,检查点和摘要写入开箱即用,只需确保将GCS路径传递给tf.train.Saver.save和tf.summary.FileWriter.

在您发送的样本中,这看起来很可能很痛苦.当程序开始只需要执行一次(在此处演示)时,可以考虑使用猴子修补Python函数来映射到TensorFlow等效项.

作为旁注,此页面上的所有示例都显示从GCS读取文件.