modin 在 AWS Lambda 上有用吗

bon*_*ney 8 pandas aws-lambda modin

AWS Lambda 配备 6 个 vCPU。Modin for Pandas 承诺使用核心来提高处理效率。

这是否真的可以在 AWS Lambda 上实现,否则它不支持多线程、多处理等?

# import pandas as pd
import modin.pandas as pd
Run Code Online (Sandbox Code Playgroud)

小智 0

https://github.com/aws/aws-sdk-pandas/issues/2370

我认为我们不能在 lambda 上使用 modin,因为 Modin 需要某种引擎才能在分布式计算上工作,因此如果有人想在 lambda 上使用 modin 那么他们可能会创建自己的容器,以及他们想要使用的引擎。

或者,最简单的方法可能是你可以使用一些东西

pip3 直接在容器中安装 awswrangler[modin,ray]