减小 Snowflake-connector-python[pandas] 模块的大小

use*_*951 9 amazon-web-services aws-lambda snowflake-cloud-data-platform python-3.9 snowflake-connector

我正在尝试在 AWS 中创建一个连接到 Snowflake 数据库的 lambda 函数。为此,我需要该snowflake-connector-python[pandas]包(https://docs.snowflake.com/en/user-guide/python-connector-pandas.html),该包及其所有依赖项的未压缩大小超过 250 MB(大约 280 MB)。这是一个问题,因为 AWS lambda 允许最大 250 MB 的依赖项(使用 AWS 层)。

包的大小相当令人惊讶,从依赖关系来看,最大的违规者是 pyarrow(大约 80 MB)、pandas(大约 60 MB)和 numpy(大约 40 MB)。有没有办法减小整个包的大小,只安装相关部分,从而将大小减小到 250 MB 以下?也就是说,我需要能够连接、读取和写入 Snowflake,没什么花哨的。

我知道在这些情况下还有其他选择,例如容器,但是如果可能的话我想避免这种情况。

Rob*_*ong 1

我正在等待是否有关于这个非常有趣的问题的答案,因为我也遇到过它。

据我所知,除了使用容器或其他方法之外,没有办法解决这个问题!