为 AWS Lambda 部署压缩虚拟环境时，我可以省略什么？

Question

介绍

我刚刚开始使用 AWS Lambda，尽管我讨厌它，但我非常喜欢它。我创建了一个 Makefile 来帮助我打包我的虚拟环境并发送到 S3。在我发现加密需要在 site-packages 目录#GRRR 中有一个隐藏文件后，我开始想知道如何进一步改进我的打包过程。

语境

这就是新 Amazon Linux AMI EC2 实例上的新 virtualenv 的样子。

$ uname -srvm
Linux 4.4.51-40.58.amzn1.x86_64 #1 SMP Tue Feb 28 21:57:17 UTC 2017 x86_64

$ cat /etc/system-release
Amazon Linux AMI release 2016.09

$ virtualenv --version
15.1.0

$ pip --version
pip 9.0.1 from /usr/local/lib/python2.7/site-packages (python 2.7)

$ virtualenv temp
New python executable in /home/ec2-user/temp/bin/python2.7
Also creating executable in /home/ec2-user/temp/bin/python
Installing setuptools, pip, wheel...done.

^{无花果。1}

$ ls -a temp/lib/python2.7/site-packages/
.                        packaging-16.8.dist-info   setuptools-34.3.2.dist-info
..                       pip                        six-1.10.0.dist-info
appdirs-1.4.3.dist-info  pip-9.0.1.dist-info        six.py
appdirs.py               pkg_resources              six.pyc
appdirs.pyc              pyparsing-2.2.0.dist-info  wheel
easy_install.py          pyparsing.py               wheel-0.29.0.dist-info
easy_install.pyc         pyparsing.pyc
packaging                setuptools

^{无花果。2}

我发现为了进行我需要的 python 开发（使用 paramiko），我必须这样做来准备（在 fig.1 & fig.2 之前）：

sudo yum install gcc python27-devel libffi-devel openssl-devel
sudo -H pip install --upgrade pip virtualenv

^{无花果。3}

题

在图 1 中的那些站点包中。2、我可以从发送到 AWS 的 zip 中省略哪些？

为了比较，这就是我完整项目的 virtualenv 中的内容（我 pip 安装的唯一东西是 paramiko）：

$ ls -a aws_lambda_project/lib/python2.7/site-packages/
.                             packaging
..                            packaging-16.8.dist-info
appdirs-1.4.3.dist-info       paramiko
appdirs.py                    paramiko-2.1.2.dist-info
appdirs.pyc                   pip
asn1crypto                    pip-9.0.1.dist-info
asn1crypto-0.22.0.dist-info   pkg_resources
cffi                          pyasn1
cffi-1.9.1.dist-info          pyasn1-0.2.3.dist-info
_cffi_backend.so              pycparser
cryptography                  pycparser-2.17.dist-info
cryptography-1.8.1.dist-info  pyparsing-2.2.0.dist-info
easy_install.py               pyparsing.py
easy_install.pyc              pyparsing.pyc
enum                          setuptools
enum34-1.1.6.dist-info        setuptools-34.3.2.dist-info
idna                          six-1.10.0.dist-info
idna-2.5.dist-info            six.py
ipaddress-1.0.18.dist-info    six.pyc
ipaddress.py                  wheel
ipaddress.pyc                 wheel-0.29.0.dist-info
.libs_cffi_backend

Answer 1

这对我有用，请尝试一下：

$ mkdir paramiko-lambda && cd paramiko-lambda
$ virtualenv env --python=python2.7 && source env/bin/activate
$ pip freeze > pre_paramiko.txt
$ pip install paramiko
$ pip freeze > post_paramiko.txt

然后我将以下内容放入脚本中以确保它在本地运行：

from __future__ import print_function
import paramiko


def handler(event, context):
    print(paramiko.__version__)
    ssh_client = paramiko.SSHClient()

if __name__ == '__main__':
    handler(event=None, context=None)

最后两行是可选的，只是在本地测试脚本的简单方法。为了查看与 一起安装的内容paramiko，我比较了两个文本文件：

$ diff -u pre_paramiko.txt post_paramiko.txt
--- pre_paramiko.txt
+++ post_paramiko.txt
@@ -1,4 +1,13 @@
 appdirs==1.4.3
+asn1crypto==0.22.0
+cffi==1.10.0
+cryptography==1.8.1
+enum34==1.1.6
+idna==2.5
+ipaddress==1.0.18
 packaging==16.8
+paramiko==2.1.2
+pyasn1==0.2.3
+pycparser==2.17
 pyparsing==2.2.0
 six==1.10.0

+带有a 的模块paramiko必须包含在上传到 AWS Lambda 的 .zip 存档中。bash编写一个获取命令输出并自动创建 .zip 存档的脚本很容易diff，但我将手动输入它们。

$ cd env/lib/python2.7/site-packages
$ zip -x "*.pyc" -r ../../../../paramiko_lambda.zip packaging asn1crypto cffi cryptography enum idna ipaddress paramiko pyasn1 pycparser
$ cd ../../../../
$ zip -r paramiko_lambda.zip paramiko_lambda.py

packaging我可能需要添加该文件夹print(paramiko.__version__)，因此可能没有必要。该paramiko_lambda.zip文件大小为 2.5 MB，虽然不大，但包含大量不必要的数据，特别是*.pyc文件。排除*.pyc文件后，文件大小减少至 1.5 MB。