标签: mxnet

尝试在R中安装MXNet软件包时我遇到了很多麻烦我使用的是3.4.0版本的R,我在Windows 10 CPU intel i3,64位x64处理器上.

我得到提示:

install.packages("mxnet")
Warning in install.packages :
  cannot open URL 'http://www.stats.ox.ac.uk/pub/RWin/src/contrib/PACKAGES.rds': HTTP status was '404 Not Found'
Installing package into ‘C:/Users/los40/OneDrive/Documentos/R/win-library/3.4’
(as ‘lib’ is unspecified)
Warning in install.packages :
  package ‘mxnet’ is not available (for R version 3.4.0)
Warning in install.packages :
  cannot open URL 'http://www.stats.ox.ac.uk/pub/RWin/bin/windows/contrib/3.4/PACKAGES.rds': HTTP status was '404 Not Found'

我试过下载这里提供的.rar文件.我解压缩一个并获取文件夹,其中"R package"试图通过使用以下命令安装它:

> install.packages('R.package.rar', lib='D:/mxnet',repos = NULL)
Error in install.packages : type == "both" cannot be used with 'repos = NULL'
> …

我经常重新运行相同的mxnet脚本，同时我尝试解决新脚本中的一些错误（而且我是新脚本mxnet）。当我尝试运行我的脚本时，经常会出现 GPU 内存不足的错误，当我nvidia-smi用来检查时，我看到的是：

Wed Dec  5 15:41:29 2018
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 396.24.02              Driver Version: 396.24.02                 |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:65:00.0  On |                  N/A |
|  0%   54C    P2    68W / 300W |  10891MiB / 11144MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory | …

从分段掩码中，我试图检索掩码中表示的标签。

这是我在 AWS Sagemaker 中通过语义分割模型运行的图像。

用于进行预测和显示掩码的代码。

from sagemaker.predictor import json_serializer, json_deserializer, RealTimePredictor
from sagemaker.content_types import CONTENT_TYPE_CSV, CONTENT_TYPE_JSON

%%time
ss_predict = sagemaker.RealTimePredictor(endpoint=ss_model.endpoint_name, 
                                     sagemaker_session=sess,
                                    content_type = 'image/jpeg',
                                    accept = 'image/png')

return_img = ss_predict.predict(img)

from PIL import Image
import numpy as np
import io

num_labels = 21
mask = np.array(Image.open(io.BytesIO(return_img)))
plt.imshow(mask, vmin=0, vmax=num_labels-1, cmap='jet')
plt.show()

该图像是创建的分割蒙版，它代表摩托车，其他一切都是背景。

[

从代码中可以看出，有 21 个可能的标签，其中 2 个用于蒙版，一个用于摩托车，另一个用于背景。我现在想弄清楚的是，如何在 21 个可能的选项中打印出这个掩码中实际使用的标签？

如果您需要任何进一步的信息，请告诉我，我们非常感谢您的帮助。

我能看到mxnet可用的gpus是什么吗？

tensorflow是否有类似的东西

tf.test.gpu_device_name()

在mxnet？

我的配置是：

gpu: Nvidia GeForce MX450 with 2GB Graphics Card
Cuda version: 10.1
MxNet Version: mxnet-cu101: 1.8.0

在尝试使用 mxnet 时，import mxnet出现以下错误：

OSError: libnccl.so.2: cannot open shared object file: No such file or directory

我过去两年一直使用 mxnet，但以前从未遇到过这个问题。据我所知，mxnet 将它们作为依赖项自行安装。然而这一次并没有发生。

我尝试按照此处的示例创建自己的数据集以使用 MXnet 进行训练。我的数据按照示例中指定的方式组织：

/data
    yes/
        file1.png
        file2.png
        ...
    no/
        file1.png
        file2.png
        ...

本教程表示第一步是运行im2rec.py以创建 .lst 文件，然后im2rec.py再次运行（不同选项）以创建 .rec 文件。要创建 .lst 文件，我键入：

> python tools/im2rec.py my_data /data --list True --recursive True --train-ratio .75 --exts .png

执行此操作后，将创建两个文件（如预期），my_data_train.lst并且my_data_val.lst. 两个文件中的总行数与 myyes/和no/目录中的文件数之和相同。然后，我尝试使用im2rec以下命令第二次运行来创建.rec文件：

> python tools/im2rec.py my_data /data --resize 227 --num-thread 16

它运行了几秒钟，然后（无声地）崩溃。在此过程中，它创建 4 个空文件：my_data_train.idx、my_data_train.rec、my_data_val.idx和my_data_val.rec。

问题：我需要做哪些不同的事情才能创建.rec包含我自己的 .png 图像的正确文件？

额外细节： …

我在AWS datapipeline中设置了一个emr步骤.step命令如下所示:

/usr/lib/hadoop-mapreduce/hadoop-streaming.jar,-input,s3n://input-bucket/input-file,-output,s3://output/output-dir,-mapper,/bin/cat,-reducer,reducer.py,-file,/scripts/reducer.py,-file,/params/parameters.bin

我收到以下错误

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
    at org.apache.hadoop.streaming.PipeReducer.close(PipeReducer.java:134)
    at org.apache.hadoop.io.IOUtils.cleanup(IOUtils.java:244)
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:467)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:393)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
    at org.apache.hadoop.streaming.PipeReducer.close(PipeReducer.java:134)
    at org.apache.hadoop.io.IOUtils.cleanup(IOUtils.java:244)
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:467)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:393)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native …

我的代码是:

import gluoncv as gcv

net = gcv.model_zoo.get_model('ssd_512_mobilenet1.0_voc', pretrained=True)

windowName = "ssdObject"
cv2.namedWindow(windowName, cv2.WINDOW_NORMAL)
cv2.resizeWindow(windowName, 1280, 720)
cv2.moveWindow(windowName, 0, 0)
cv2.setWindowTitle(windowName, "SSD Object Detection")
while True:
    # Check to see if the user closed the window
    if cv2.getWindowProperty(windowName, 0) < 0:
        # This will fail if the user closed the window; Nasties get printed to the console
        break
    ret_val, frame = video_capture.read()

    frame = mx.nd.array(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)).astype('uint8')
    rgb_nd, frame = gcv.data.transforms.presets.ssd.transform_test(frame, short=512, max_size=700)

    # # Run frame through network
    class_IDs, scores, …

有谁知道预训练的变分自动编码器 (VAE) 或在自然图像上训练的 VAE-GAN？

我一直在寻找一种在自然图像（例如 ImageNet）上进行训练的变分自动编码器，我可以从中提取潜在特征。它可以在任何框架中实现，最好是 MXNet、Chainer 或 PyTorch。

我使用内置算法语义分割在 AWS SageMaker 上训练了一个模型。这个名为 model.tar.gz 的训练模型存储在 S3 上。因此，我想从 S3 下载此文件，然后使用它在我的本地 PC 上进行推理，而不使用 AWS SageMaker。

这是三个文件：

1. hyperparams.json：包括网络架构、数据输入和训练的参数。请参阅语义分割超参数。

2. model_algo-1

3. model_best.params

我的代码：

import mxnet as mx
from mxnet import image
from gluoncv.data.transforms.presets.segmentation import test_transform
import gluoncv



img = image.imread('./bdd100k/validation/14df900d-c5c145cb.jpg')
img = test_transform(img, ctx)
img = img.astype('float32')


model = gluoncv.model_zoo.PSPNet(2)

# load the trained model
model.load_parameters('./model/model_best.params')

错误：

AssertionError: Parameter 'head.psp.conv1.0.weight' is missing in file './model/model_best.params', which contains parameters: 'layer3.2.bn3.beta', 'layer3.0.conv3.weight', 'conv1.1.running_var', ..., 'layer2.2.bn3.running_mean', 'layer3.4.bn2.running_mean', 'layer4.2.bn3.beta', 'layer3.4.bn3.beta'. Set allow_missing=True to ignore missing parameters.