我刚刚开始尝试使用AWS SageMaker,并希望将来自S3存储桶的数据加载到我的SageMaker python jupyter笔记本中的pandas数据帧中进行分析.
我可以使用boto从S3获取数据,但我想知道是否有更优雅的方法作为SageMaker框架的一部分在我的python代码中执行此操作?
提前感谢任何建议.
python machine-learning amazon-s3 amazon-web-services amazon-sagemaker
我正在训练一个神经网络,它有10个左右的分类输入.在对这些分类输入进行一次热编码后,我最终将大约500个输入馈入网络.
我希望能够确定每个分类输入的重要性.Scikit-learn有许多特征重要性算法,但是这些算法中的任何一个都可以应用于分类数据输入吗?所有示例都使用数字输入.
我可以将这些方法应用于单热编码输入,但是在应用二进制输入后如何提取含义?如何判断分类输入的特征重要性?
python algorithm machine-learning neural-network scikit-learn
我想训练一个神经网络,同时使用 MXNet 在我的 g2.8xarge EC2 实例上利用所有 4 个 GPU。我正在使用以下 AWS Deep Learning Linux 社区 AMI:
深度学习 AMI Amazon Linux - 3.3_Oct2017 - ami-999844e0)
根据这些说明,当我连接到实例时,我通过发出以下命令切换到带有 MXNet 后端的 keras v1:
source ~/src/anaconda3/bin/activate keras1.2_p2
Run Code Online (Sandbox Code Playgroud)
我还在 python 模型编译代码中添加了上下文标志,以利用 MXNet 中的 GPU:
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'], context=gpu_list)
Run Code Online (Sandbox Code Playgroud)
其中 gpu_list 旨在利用所有 4 个 GPU。
但是,每次运行代码时,我都会收到以下错误消息:
Epoch 1/300 [15:09:52] /home/travis/build/dmlc/mxnet-distro/mxnet-build/dmlc-core/include/dmlc/logging.h:308: [15:09:52] src /storage/storage.cc:113:使用 USE_CUDA=1 进行编译以启用 GPU 使用
和
运行时错误:simple_bind 错误。参数:dense_input_1: (25, 34L) [15:09:52] src/storage/storage.cc:113:使用 USE_CUDA=1 进行编译以启用 GPU 使用
我检查了 /home/ec2-user/src/mxnet 中的 config.mk 文件,它包含 USE_CUDA=1。我还发出了“made”命令来尝试使用 USE_CUDA=1 标志重新编译 …
machine-learning amazon-ec2 amazon-web-services deep-learning mxnet