任何人都可以解释,setup.py它是什么以及如何配置或使用?
作为python的新手,我最近才发现通过将__main__.py文件放在文件顶部直接执行.zip文件的能力.这适用于python代码,但是我可以捆绑其他类型的文件并使用我的脚本访问它们吗?如果是这样,怎么样?
我的最终目标是将一些图像文件与python代码捆绑在一个.zip文件中,然后能够在应用程序中使用这些图像而无需将它们提取到磁盘.我还想捆绑版权声明,发行说明等,以便整个应用程序及其数据文件都在单个zip中,可以执行而无需在某处提取.
我正在使用AWS Glue和PySpark ETL脚本,并且想要使用辅助库,例如作为google_cloud_bigquery我的PySpark脚本的一部分。
该文件指出,这应该是可能的。之前的Stack Overflow讨论,尤其是其中一个答案中的一条评论似乎提供了进一步的证明。但是,我不清楚该怎么做。
因此,目标是将pip installed软件包转换为一个或多个zip文件,以便能够仅将软件包托管在S3上并指向它们,如下所示:
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip
如何认为应该做的是没有明确规定的任何地方我已经看了。
即我如何pip install打包,然后将其转换为可上传到S3 的zip文件,以便PySpark可以将其与这样的S3 URL一起使用?
通过使用命令,pip download我已经能够提取这些库,但是默认情况下它们不是.zip文件,而是.whl文件或.tar.gz
..so不知道该怎么做才能将它们转换为AWS Glue可以消化的zip文件。也许有了.tar.gz,我可以先将它们备份,tar -xf然后再zip备份,但是whl文件呢?