在 sagemaker 中使用相同的预处理代码进行训练和推理

Question

我正在致力于为时间序列数据构建机器学习管道，其目标是经常重新训练和更新模型以进行预测。

• 我编写了一个预处理代码来处理时间序列变量并转换它们。

我对如何使用相同的预处理代码进行训练和推理感到困惑？我应该编写一个 lambda 函数来预处理我的数据还是有其他方法

消息来源调查：

aws sagemaker 团队给出的两个示例使用 AWS Glue 进行 ETL 转换。

inference_pipeline_sparkml_xgboost_abalone

inference_pipeline_sparkml_blazingtext_dbpedia

我是 aws sagemaker 的新手，试图学习、理解和构建流程。任何帮助表示赞赏！

Answer 1

以倒退的方式回答问题。

从您的示例来看，下面的代码是将两个模型组合在一起的推理管道。在这里我们需要删除sparkml_model并获取我们的sklearn模型。

sm_model = PipelineModel(name=model_name, role=role, models=[sparkml_model, xgb_model])

在放置 sklearn 模型之前，我们需要 SageMaker 版本的 SKLearn 模型。

首先使用 SageMaker Python 库创建 SKLearn Estimator。

sklearn_preprocessor = SKLearn(
    entry_point=script_path,
    role=role,
    train_instance_type="ml.c4.xlarge",
    sagemaker_session=sagemaker_session)

script_path - 这是包含所有预处理逻辑或转换逻辑的 python 代码。下面给出的链接中的“sklearn_abalone_featurizer.py”。

训练 SKLearn 估计器

sklearn_preprocessor.fit({'train': train_input})

从 SKLearn Estimator 创建可放入推理管道的 SageMaker 模型。

sklearn_inference_model = sklearn_preprocessor.create_model()

推理 PipeLineModel 创建将进行修改，如下所示。

sm_model = PipelineModel(name=model_name, role=role, models=[sklearn_inference_model, xgb_model])

欲了解更多详情，请参阅以下链接。

https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/scikit_learn_inference_pipeline/Inference%20Pipeline%20with%20Scikit-learn%20and%20Linear%20Learner.ipynb