如何在 Cloud Composer 中导入自定义模块

Question

我使用 apache Airflow 创建了一个本地项目，我想在 Cloud Composer 中运行它。我的项目包含自定义模块和调用它们的主文件。
示例：从 src.kuzzle 导入 KuzzleQuery

结构：

• 主要.py
• 源代码
  • 库兹勒.py

我已将项目文件夹导入到数据存储中，当我刷新气流作曲家的 UI 时，出现此错误：

  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/home/airflow/gcs/dags/quality-control/main.py", line 8, in <module>
    from src.kuzzle import KuzzleQuery, Tag
ModuleNotFoundError: No module named 'src' ```

Answer 1

GCP Composer 正在将 dags 文件夹作为 python 模块加载，因此您只需将代码放在单独的文件或文件夹中，它就会像往常一样从 dags 引用它。

dags/
  dag1.py
  util.py

然后您可以引用 util 并从 dag1 导入它，如下所示：

from util import custom_function

如果 dags 文件夹不适合您，那么作曲家还会加载更多目录，例如用于加载模块的目录。

您也可以检查这个问题，因为它也是相关的。

运行 Google Cloud Compose 时，Airflow dag 依赖项对 dags 不可用