小编A55*_*h55的帖子

将S3数据加载到AWS SageMaker Notebook中

我刚刚开始尝试使用AWS SageMaker,并希望将来自S3存储桶的数据加载到我的SageMaker python jupyter笔记本中的pandas数据帧中进行分析.

我可以使用boto从S3获取数据,但我想知道是否有更优雅的方法作为SageMaker框架的一部分在我的python代码中执行此操作?

提前感谢任何建议.

python machine-learning amazon-s3 amazon-web-services amazon-sagemaker

15
推荐指数
5
解决办法
2万
查看次数

是否有可应用于分类数据输入的特征选择算法?

我正在训练一个神经网络,它有10个左右的分类输入.在对这些分类输入进行一次热编码后,我最终将大约500个输入馈入网络.

我希望能够确定每个分类输入的重要性.Scikit-learn有许多特征重要性算法,但是这些算法中的任何一个都可以应用于分类数据输入吗?所有示例都使用数字输入.

我可以将这些方法应用于单热编码输入,但是在应用二进制输入后如何提取含义?如何判断分类输入的特征重要性?

python algorithm machine-learning neural-network scikit-learn

6
推荐指数
1
解决办法
2332
查看次数

AWS Deep Learning AMI 上的 MXNet 出现“使用 USE_CUDA=1 进行编译以启用 GPU 使用”消息

我想训练一个神经网络,同时使用 MXNet 在我的 g2.8xarge EC2 实例上利用所有 4 个 GPU。我正在使用以下 AWS Deep Learning Linux 社区 AMI:

深度学习 AMI Amazon Linux - 3.3_Oct2017 - ami-999844e0)

根据这些说明,当我连接到实例时,我通过发出以下命令切换到带有 MXNet 后端的 keras v1:

source ~/src/anaconda3/bin/activate keras1.2_p2
Run Code Online (Sandbox Code Playgroud)

我还在 python 模型编译代码中添加了上下文标志,以利用 MXNet 中的 GPU:

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'], context=gpu_list)
Run Code Online (Sandbox Code Playgroud)

其中 gpu_list 旨在利用所有 4 个 GPU。

但是,每次运行代码时,我都会收到以下错误消息:

Epoch 1/300 [15:09:52] /home/travis/build/dmlc/mxnet-distro/mxnet-build/dmlc-core/include/dmlc/logging.h:308: [15:09:52] src /storage/storage.cc:113:使用 USE_CUDA=1 进行编译以启用 GPU 使用

运行时错误:simple_bind 错误。参数:dense_input_1: (25, 34L) [15:09:52] src/storage/storage.cc:113:使用 USE_CUDA=1 进行编译以启用 GPU 使用

我检查了 /home/ec2-user/src/mxnet 中的 config.mk 文件,它包含 USE_CUDA=1。我还发出了“made”命令来尝试使用 USE_CUDA=1 标志重新编译 …

machine-learning amazon-ec2 amazon-web-services deep-learning mxnet

2
推荐指数
1
解决办法
9977
查看次数