标签: google-cloud-ml

我正在研究Google Cloud ML,我希望能够预测jpeg图像.为此,我想使用:

gcloud beta ml预测--instances = INSTANCES --model = MODEL [--version = VERSION]

(https://cloud.google.com/ml/reference/commandline/predict)

Instances是json文件的路径,其中包含有关image的所有信息.如何从jpeg图像创建json文件？

非常感谢!!

我使用inception_v3 跟随Codelab TensorFlow For Poets进行传输学习.它会生成retrained_graph.pb和retrained_labels.txt文件,这些文件可用于在本地进行预测(运行label_image.py).

然后,我想将此模型部署到Cloud ML Engine,以便我可以进行在线预测.为此,我必须将retrained_graph.pb导出为SavedModel格式.我设法通过遵循指示去做,从谷歌的@ rhaertel80这个答案和这条巨蟒文件从花云ML引擎教程.这是我的代码:

import tensorflow as tf
from tensorflow.contrib import layers

from tensorflow.python.saved_model import builder as saved_model_builder
from tensorflow.python.saved_model import signature_constants
from tensorflow.python.saved_model import signature_def_utils
from tensorflow.python.saved_model import tag_constants
from tensorflow.python.saved_model import utils as saved_model_utils


export_dir = '../tf_files/saved7'
retrained_graph = '../tf_files/retrained_graph2.pb'
label_count = 5

def build_signature(inputs, outputs):
    signature_inputs = { key: saved_model_utils.build_tensor_info(tensor) for key, tensor in inputs.items() }
    signature_outputs = { key: saved_model_utils.build_tensor_info(tensor) for key, …

我有一个如下代码,我想提交给Google cloud ml.我已经测试了他们的例子并得到了结果.

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import tensorflow as tf
import numpy as np

# Data sets
I_TRAINING = "/home/android/Desktop/training.csv"
I_TEST = "/home/android/Desktop/test.csv"

# Load datasets.
training_set = tf.contrib.learn.datasets.base.load_csv(filename=I_TRAINING, target_dtype=np.int)
test_set = tf.contrib.learn.datasets.base.load_csv(filename=I_TEST, target_dtype=np.int)

# Specify that all features have real-value data
feature_columns = [tf.contrib.layers.real_valued_column("", dimension=2)]

# Build 3 layer DNN with 10, 20, 10 units respectively.
classifier = tf.contrib.learn.DNNClassifier(feature_columns=feature_columns,
                                            hidden_units=[10, 20, 10],
                                            n_classes=2,
                                            model_dir="/tmp/my_model")

# Fit model.
classifier.fit(x=training_set.data, y=training_set.target, steps=2000) …

在生产服务中使用CloudML预测API的最佳方法是什么？

我见过:https: //cloud.google.com/ml/docs/quickstarts/prediction但它依赖于gcloud工具

我正在寻找的解决方案不依赖于安装gcloud并在发出请求的机器上进行初始化.拥有适用于GCP,AWS和其他云的解决方案会很棒.

谢谢

在我想要启动的模型中,我有一些必须用特定值初始化的变量.

我目前将这些变量存储到numpy数组中,但我不知道如何调整我的代码以使其适用于google-cloud-ml作业.

目前我初始化我的变量如下:

my_variable = variables.model_variable('my_variable', shape=None, dtype=tf.float32, initializer=np.load('datasets/real/my_variable.npy'))

有人能帮我吗 ？

我正在使用研究论文的开源Tensorflow实现,例如DCGAN-tensorflow.我正在使用的大多数库都配置为在本地训练模型,但我想使用Google Cloud ML来训练模型,因为我的笔记本电脑上没有GPU.我发现很难更改代码以支持GCS存储桶.目前,我将我的日志和模型保存到/ tmp,然后运行'gsutil'命令将目录复制到训练结束时的gs:// my-bucket(此处示例).如果我尝试将模型直接保存到gs:// my-bucket,它就永远不会出现.

对于训练数据,其中一个张量流样本将数据从GCS复制到/ tmp进行训练(此处为示例),但这仅在数据集很小时才有效.我想使用celebA,而且每次运行都要复制到/ tmp太大了.是否有任何关于如何更新本地培训代码以使用Google Cloud ML的文档或指南？

这些实现正在运行各种版本的Tensorflow,主要是.11和.12

如果我需要在Cloud ML Engine培训工作中使用每晚的TensorFlow构建，该如何做？

我有一个 google-cloud-ml 作业，需要从 gs 存储桶加载 numpy .npz 文件。我按照这个例子了解如何从 gs 加载 .npy 文件，但它对我不起作用，因为 .npz 文件被压缩。

这是我的代码：

from StringIO import StringIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = StringIO(file_io.read_file_to_string('gs://my-bucket/data.npz'))
data = np.load(f)

这是错误消息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa2 in position 10: invalid start byte

显然，将数据编码为str是不正确的，但我不知道如何解决这个问题。

有人可以帮忙吗？谢谢！

在 AI Platform Notebooks 上，用户界面可让您选择要启动的自定义图像。如果你这样做，你会看到一个信息框，上面写着容器“必须遵循某些技术要求”：

我认为这意味着他们有一个需要入口点，暴露的端口，jupyterlab启动命令，或什么，但我不能找到什么样的要求，实际上任何文件都。

我一直在尝试对其进行逆向工程，但运气不佳。我nmap编辑了一个标准实例并看到它打开了端口 8080，但是将我的图像设置CMD为运行 Jupyter Lab0.0.0.0:8080并没有起到作用。当我在 UI 中单击“打开 JupyterLab”时，我得到一个 504。

有没有人有相关文档的链接，或者过去有这样做的经验？

我刚刚完成模型的训练，却发现我导出的服务模型存在签名问题。我如何更新它们？

（一个常见问题是为 CloudML Engine 设置错误的形状）。