从气流中的 dag 子文件夹导入文件

Question

我正在写一个 python 脚本来计算一些东西。这就是脚本与 dags 文件夹分开的原因。在该脚本中，我必须导入一个文件。但我没有成功，因为它出错了FileNotFoundError。

这是我的目录：

dags/
- my_dag.py
  sub_folder/
  - __init__.py
  - my_functions.py
    meta/
    - file.csv

my_functions.py 包含我的 DAG 中所需的计算脚本。它必须读取位于元文件夹中的file.csv。

在 my_functions.py 中，我写道：

file_df = pd.read_csv('meta/file.csv')

但找不到该文件。

Answer 1

使用AIRFLOW_HOMEenv 变量并提供完整路径。

import os
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
file_df = pd.read_csv(AIRFLOW_HOME + '/dags/sub_folder/meta/file.csv')