Python AWS Glue 日志显示“将没有前缀的文件视为 python 额外文件”，用于上传的 python zip 包

Question

在 AWS Glue 中，用于读取 XLSX 中的数据并写入 CSV 的简单 Pandas 作业。我有一个小代码。根据 Python Glue 说明，我已经压缩了所需的库，并在执行时将作为包提供给了 Glue Job。

问题：以下日志传达了什么信息？

Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/fsspec.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/jmespath.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/s3fs.zip
....

请举例说明？

Answer 1

在 python shell 作业中，您应该在 egg 文件而不是 zip 文件中添加外部库。Zip 文件用于 Spark 作业。

我还编写了小的 shell 脚本来部署 python shell 作业，而无需手动步骤来创建 egg 文件并上传到 s3 并通过 cloudformation 进行部署。脚本会自动完成所有工作。您可以在https://github.com/fatangare/aws-python-shell-deploy找到代码。脚本将获取 csv 文件并使用 pandas 和 xlswriter 库将其转换为 excel 文件。