如何加载Sagemaker中没有的python模块？

Question

我想安装spacy,它不是Sagemaker平台的一部分.我应该如何安装呢？

Answer 1

创建模型时,可以将requirements.txt指定为环境变量.

对于Eg.

env = {
    'SAGEMAKER_REQUIREMENTS': 'requirements.txt', # path relative to `source_dir` below.
}
sagemaker_model = TensorFlowModel(model_data = 's3://mybucket/modelTarFile,
                                  role = role,
                                  entry_point = 'entry.py',
                                  code_location = 's3://mybucket/runtime-code/',
                                  source_dir = 'src',
                                  env = env,
                                  name = 'model_name',
                                  sagemaker_session = sagemaker_session,
                                 )

这将确保在创建docker容器之后运行需求文件,然后在其上运行任何代码.

Answer 2

来自拉曼的精彩回答。我想添加另一种在训练实例中指定所需 python 模块的方法，以防有人在寻找。

tf_estimator = TensorFlow(entry_point='tf-train.py', role='SageMakerRole',
                          training_steps=10000, evaluation_steps=100,
                          train_instance_count=1,
                          source_dir='./',
                          requirements_file='requirements.txt',
                          train_instance_type='ml.p2.xlarge')

source_dir并且requirements_file必须定义两者才能使其工作。路径是指向笔记本实例的。如果requirements.txt与笔记本在同一目录下，则只需使用'./'

文档在这里。