谷歌最近宣布了Clould ML,https: //cloud.google.com/ml/,这非常有用.但是,一个限制是Tensorflow程序的输入/输出应该支持gs://.
如果我们使用所有tensorflow APIS来读/写文件,它应该没问题,因为这些API支持gs://.
但是,如果我们使用本机文件IO API open,它不起作用,因为它们不理解gs://
例如:
with open(vocab_file, 'wb') as f:
cPickle.dump(self.words, f)
此代码不适用于Google Cloud ML.
但是,将所有本机文件IO API修改为tensorflow API或Google Storage Python API实际上非常繁琐.有没有简单的方法来做到这一点？gs://在本机文件IO之上支持谷歌存储系统的任何包装器？
正如这里建议的那样,Pickled scipy稀疏矩阵作为输入数据？,也许我们可以使用file_io.read_file_to_string('gs://...'),但仍然需要重要的代码修改.
在我想要启动的模型中,我有一些必须用特定值初始化的变量.
我目前将这些变量存储到numpy数组中,但我不知道如何调整我的代码以使其适用于google-cloud-ml作业.
目前我初始化我的变量如下:
my_variable = variables.model_variable('my_variable', shape=None, dtype=tf.float32, initializer=np.load('datasets/real/my_variable.npy'))
有人能帮我吗 ？