如何在 Airflow 中安装软件包？

Question

我在 Airflow（在 GCP 上）部署了一个 dag，但收到错误“没有名为‘scipy’的模块”。如何在 Airflow 中安装软件包？

我试过添加一个单独的 DAG 来运行

def pip_install(package):
    subprocess.call([sys.executable, "-m", "pip", "install", package])


def update_packages(**kwargs):
    logging.info(list(sys.modules.keys()))
    for package in PACKAGES:
        pip_install(package)

我试过在 GCP 的 shell 上写 pip3 install scipy；

我尝试将 pip install scipy 添加到图像生成器。

这些方法都没有任何结果。

Answer 1

如果您在 GCP 上使用 Cloud Composer，则应检查https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies

将文件传递requirements.txt给gcloud命令行工具。将每个需求说明符放在单独的行上格式化文件。

示例requirements.txt文件：

scipy>=0.13.3
scikit-learn
nltk[machine_learning]

将requirements.txt文件传递给gcloud命令以设置安装依赖项。

scipy>=0.13.3
scikit-learn
nltk[machine_learning]