use*_*951 9 amazon-web-services aws-lambda snowflake-cloud-data-platform python-3.9 snowflake-connector
我正在尝试在 AWS 中创建一个连接到 Snowflake 数据库的 lambda 函数。为此,我需要该snowflake-connector-python[pandas]
包(https://docs.snowflake.com/en/user-guide/python-connector-pandas.html),该包及其所有依赖项的未压缩大小超过 250 MB(大约 280 MB)。这是一个问题,因为 AWS lambda 允许最大 250 MB 的依赖项(使用 AWS 层)。
包的大小相当令人惊讶,从依赖关系来看,最大的违规者是 pyarrow(大约 80 MB)、pandas(大约 60 MB)和 numpy(大约 40 MB)。有没有办法减小整个包的大小,只安装相关部分,从而将大小减小到 250 MB 以下?也就是说,我需要能够连接、读取和写入 Snowflake,没什么花哨的。
我知道在这些情况下还有其他选择,例如容器,但是如果可能的话我想避免这种情况。
归档时间: |
|
查看次数: |
809 次 |
最近记录: |