即使有requirements.txt,AWS MWAA 中也没有名为 ____ 的模块错误

sem*_*lex 5 amazon-web-services airflow mwaa

我已将我的requirementst.txt 上传到dag 并在创建我的Airflow 环境时引用它。这是我的requirements.txt 的样子:

apache-airflow==1.10.12
oauth2client==4.1.3
google-api-python-client==2.2.0
Flask-AppBuilder==2.3.3
boto3==1.17.59
Run Code Online (Sandbox Code Playgroud)

但是,我在气流环境中不断收到“没有名为 oauthclient 的模块”错误。如何检查 oauthclient 是否已实际安装或者 Airflow 是否未正确读取我的 requests.txt 文件?

提前致谢。

小智 6

您不需要重新创建 MWAA。MWAA 使用版本化的 S3 存储桶。您的requirements.txt版本也是有版本的,如果您不手动制作,请坚持使用旧版本,指向最新版本。

只需转到 MWAA 页面,单击“编辑”,然后选择您的requirements.txt. 然后就会更新。


sem*_*lex 0

我通过重新创建环境解决了这个问题。AWS MWAA 似乎只运行您的requirements.txt 一次,因此您在创建环境后所做的任何更新都不会应用。