标签: google-cloud-ml

虽然工件存储库已成功创建，但即使向我在 gcloud cli 上使用的会计授予所有工件权限后，运行 docker Push 将图像推送到 google 工件注册表也会失败并出现权限错误。

推送图片的命令：

docker push us-central1-docker.pkg.dev/project-id/repo-name:v2

错误信息：

The push refers to repository [us-central1-docker.pkg.dev/project-id/repo-name]
6f6f4a472f31: Preparing
bc096d7549c4: Preparing
5f70bf18a086: Preparing
20bed28d4def: Preparing
2a3255c6d9fb: Preparing
3f5d38b4936d: Waiting
7be8268e2fb0: Waiting
b889a93a79dd: Waiting
9d4550089a93: Waiting
a7934564e6b9: Waiting
1b7cceb6a07c: Waiting
b274e8788e0c: Waiting
78658088978a: Waiting
denied: Permission "artifactregistry.repositories.downloadArtifacts" denied on resource "projects/project-id/locations/us-central1/repositories/repo-name" (or it may not exist)

在开展Udacity深度学习任务时,我遇到了内存问题.我需要切换到云平台.之前我曾使用AWS EC2,但现在我想尝试使用Google Cloud Platform(GCP).我需要至少8GB的内存.我知道如何在本地使用docker但从未在云上尝试过.

1. 有没有现成的解决方案在GCP上运行Tensorflow？
2. 如果没有,哪个服务(计算引擎或容器引擎)会让它更容易上手？
3. 任何其他提示也不胜感激!

我正在调查Google Dataflow和Apache Spark,以确定哪个更适合我们的bigdata分析业务需求.

我发现有Spark SQL和MLlib火花平台上做结构化数据查询和机器学习.

我想知道Google Dataflow平台中是否有相应的解决方案？

谷歌最近宣布了Clould ML,https: //cloud.google.com/ml/,这非常有用.但是,一个限制是Tensorflow程序的输入/输出应该支持gs://.

如果我们使用所有tensorflow APIS来读/写文件,它应该没问题,因为这些API支持gs://.

但是,如果我们使用本机文件IO API open,它不起作用,因为它们不理解gs://

例如:

 with open(vocab_file, 'wb') as f:
        cPickle.dump(self.words, f)

此代码不适用于Google Cloud ML.

但是,将所有本机文件IO API修改为tensorflow API或Google Storage Python API实际上非常繁琐.有没有简单的方法来做到这一点？gs://在本机文件IO之上支持谷歌存储系统的任何包装器？

正如这里建议的那样,Pickled scipy稀疏矩阵作为输入数据？,也许我们可以使用file_io.read_file_to_string('gs://...'),但仍然需要重要的代码修改.

如何在Google云中设置TensorFlow？我了解如何创建Google Compute Engine实例,以及如何在本地运行TensorFlow; 和最近的谷歌博客中表明,有应该是创建一个谷歌Compute Engine的实例,并在云中运行的应用程序TensorFlow方式:

机器学习项目可以有多种规模,正如我们在开源提供的TensorFlow中看到的那样,项目通常需要扩展.一些小任务最好通过在桌面上运行的本地解决方案来处理,而大规模应用程序则需要托管解决方案的规模和可靠性.Google Cloud Machine Learning旨在支持全方位,并提供从本地到云环境的无缝过渡.

即使我对此有所了解,但鉴于微软Azure提供的竞争平台,有一种方法可以设置TensorFlow应用程序(在本地开发并"无缝地"扩展到云中) ,可能是在谷歌云中使用GPU).

例如,我想在我的IDE中本地工作,调整我的项目的功能和代码,在那里运行有限的培训和验证,并定期将代码推送到云以在那里运行(任意)更大的资源,然后保存并下载经过培训的模型.或者甚至更好,只需使用可调资源在云中运行图形(或图形的一部分).

有没有办法做到这一点; 有计划吗？如何在Google云中设置TensorFlow？

我的目标是在本地运行Tensorflow培训应用程序时使用存储在Google云端存储上的培训数据(格式:tfrecords).(为什么在本地？:我在测试之前将其转换为Cloud ML的培训包)

基于这个线程我不应该做任何事情,因为底层的Tensorflow API应该能够读取gs://(url)

然而事实并非如此,我看到的错误是格式:

2017-06-06 15:38:55.589068:I tensorflow/core/platform/cloud/retrying_utils.cc:77]操作失败,将在1.38118秒内自动重试(尝试10分之一),原因是:不可用:执行HTTP请求时出错(HTTP响应代码0,错误代码6,错误消息'无法解析主机'元数据'')

2017-06-06 15:38:56.976396:I tensorflow/core/platform/cloud/retrying_utils.cc:77]操作失败,将在1.94469秒(尝试2个满10个)中自动重试,原因是:不可用:执行HTTP请求时出错(HTTP响应代码0,错误代码6,错误消息'无法解析主机'元数据'')

2017-06-06 15:38:58.925964:I tensorflow/core/platform/cloud/retrying_utils.cc:77]操作失败,将在2.76491秒(尝试3中的10)中自动重试,原因是:不可用:执行HTTP请求时出错(HTTP响应代码0,错误代码6,错误消息'无法解析主机'元数据'')

我无法跟踪我必须开始调试此错误的位置.

这是一个重现问题的片段,还显示了我正在使用的tensorflow API.

def _preprocess_features(features):
        """Function that returns preprocessed images"""

def _parse_single_example_from_tfrecord(value):
    features = (
        tf.parse_single_example(value,
                                features={'image_raw': tf.FixedLenFeature([], tf.string),
                                          'label': tf.FixedLenFeature([model_config.LABEL_SIZE], tf.int64)
                                          })
        )
    return features

def _read_and_decode_tfrecords(filename_queue):
    reader = tf.TFRecordReader()
    # Point it at the filename_queue
    _, value = reader.read(filename_queue)
    features = _parse_single_example_from_tfrecord(value)
    # decode the binary string image data
    image, label = _preprocess_features(features)
    return image, label

def test_tfread(filelist):
  train_filename_queue = (
    tf.train.string_input_producer(filelist, …

我是深度学习的新手，我想使用预训练 (EAST) 模型从 AI Platform Serving 提供服务，开发人员提供了以下文件：

1. model.ckpt-49491.data-00000-of-00001
2. 检查站
3. model.ckpt-49491.index
4. model.ckpt-49491.meta

我想把它转换成 TensorFlow.pb格式。有没有办法做到这一点？我从这里拿了模型

完整代码可在此处获得。

我查了一下here，它显示了以下代码来转换它：

从 tensorflow/models/research/

INPUT_TYPE=image_tensor
PIPELINE_CONFIG_PATH={path to pipeline config file}
TRAINED_CKPT_PREFIX={path to model.ckpt}
EXPORT_DIR={path to folder that will be used for export}

python object_detection/export_inference_graph.py \
    --input_type=${INPUT_TYPE} \
    --pipeline_config_path=${PIPELINE_CONFIG_PATH} \
    --trained_checkpoint_prefix=${TRAINED_CKPT_PREFIX} \
    --output_directory=${EXPORT_DIR}

我无法弄清楚要传递什么值：

• 输入类型
• PIPELINE_CONFIG_PATH。

我希望使用Google Cloud ML托管我的Keras模型,以便我可以调用API并进行一些预测.我遇到了Keras方面的一些问题.

到目前为止,我已经能够使用TensorFlow构建模型并将其部署在CloudML上.为了使其工作,我不得不对我的基本TF代码进行一些更改.这些更改记录在此处:https://cloud.google.com/ml/docs/how-tos/preparing-models#code_changes

我也能够使用Keras训练类似的模型.我甚至可以用与TF相同的export和export.meta格式保存模型.

from keras import backend as K

saver = tf.train.Saver()
session = K.get_session()
saver.save(session, 'export')

我缺少的部分是如何将输入和输出的占位符添加到我在Keras上构建的图形中？

突然间,当我尝试运行任何gcloud命令时,我开始收到"Permission Denied"问题gcloud components update- 如果我跑了就避免了这个问题,sudo gcloud components update但我不清楚为什么突然需要sudo命令？我实际上一直在尝试运行GCMLE实验并且它有相同的错误/警告,因此我尝试更新组件并仍然遇到此问题.我已经旅行了几天,并且由于几天前这些相同的命令工作,所以没有做任何改变.此外,我没有改变我的操作系统(Mac High Sierra 10.13.3) - Google方面是否有任何可能解释这种行为变化的变化？永久解决此警告的最佳做法是什么？

(conda-env) MacBook-Pro:user$ gcloud components update
WARNING: Could not setup log file in /Users/$USERNAME/.config/gcloud/logs, (IOError: [Errno 13] Permission denied: u'/Users/$USERNAME/.config/gcloud/logs/2018.03.10/XX.XX.XX.XXXXXX.log')

在sudo gcloud components update我能够启动GCMLE实验之后,我也得到了相同的警告(虽然我的工作现在成功提交).

WARNING: Could not setup log file in /Users/#USERNAME/.config/gcloud/logs, (IOError: [Errno 13] Permission denied: u'/Users/$USERNAME/.config/gcloud/logs/2018.03.10/XX.XX.XX.XXXXXX.log')

我正试图在R的Keras库的帮助下第一次使用Google Cloud来训练DNN模型.

使用"cloudml_train()"函数尝试在Google Cloud服务器上安装了很多库,并且出现了一个我无法解决的错误:

master-replica-0安装BiocGenerics(0.20.0)...
master-replica-0 curl:(22)请求的URL返回错误:404 Not Found

据我了解,它试图安装BioGenerics库,但路径错误.

有什么建议如何解决这个问题？

非常感谢!桑德尔