Apache Airflow Docker：如何安装外部气流提供程序包

Question

我在 docker 上运行 Apache Airflow。我想为 Spark 安装气流提供程序包。我的 docker compose yml 文件如下所示。当我尝试在气流中创建新连接时，我想添加 Spark 作为我的连接类型。我怎样才能做到这一点？

Answer 1

您现在可以使用默认组合指定要在启动时安装的提供程序（无需构建自定义映像）。_PIP_ADDITIONAL_REQUIREMENTS您可以通过将提供商的 pip 包名称附加到docker-compose 文件中的环境变量来完成此操作。

...
x-airflow-common:
  ...
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: ...
    ...
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-docker apache-airflow-providers-microsoft-mssql}
volumes:
    ...

/sf/answers/4802515931/