尝试将文件写入 dags 文件夹

Question

我正在尝试创建文件夹并将文件写入dags位于 Google Cloud Storage 存储桶中的文件夹中。这使用 Airflow 使用以下 python 代码：

Path(f'/home/airflow/gcs/dags/API/config').mkdir(parents=True, exist_ok=True) 
with open(file='/home/airflow/gcs/dags/API/config/config.json', mode = 'w') as out_file:
    out_file.write(json_string)

不会引发任何错误，但不会在任何地方创建文件夹或文件。我对实际有效的数据目录尝试了相同的方法

Answer 1

您正在本地写入文件，文件夹和文件仅在工作计算机上创建。

根据设计，您可以向 Airflow 提供 DAG 来执行操作。在 Composer 中，DAG 目录仅从 GCS 读取并复制到 Composer VM 中。如果你在上面写了，你就不会写回GCS。对于数据来说这不是一回事。

如果要写入DAG目录，请写入GCS，而不是本地目录。