如何在包依赖项 >500MB 的 AWS lambda 上运行 python 代码？

Question

要求是我必须在 lambda 上触发 SageMaker 端点才能获得预测（这很容易），但必须使用 XGBoost 和 SHAP 等包对变量重要性进行一些额外的处理。

我能够使用 SageMaker Jupyter 笔记本到达端点并获得不同的重要性。现在，我想在 AWS lambda 上复制同样的事情。

1)如何在 AWS lambda 上运行 python 代码，并具有 Pandas、XGBoost 和 SHAP 的包依赖项（包总大小大于 500MB）。解压后的部署包大小大于 250 MB，因此 lambda 不允许部署。我什至尝试使用 Cloud9 中的 lambda 函数，但由于大小限制，出现了相同的错误。我也尝试过 lambda 层，但没有运气。

2)有没有办法让我在 lambda 上或通过 lambda 运行包含如此大的包的代码，绕过 250 MB 的部署包大小限制

3)有没有办法通过 lambda 触发 SageMaker 笔记本执行，从而进行计算并将输出返回给 lambda？

Answer 1

尝试将您的依赖项上传到 Lambda 层。仅供参考：https://docs.aws.amazon.com/lambda/latest/dg/configuration-layers.html