小编Div*_*aar的帖子

我在 dags 目录中有 2 个文件 - dag_1.py 和 dag_2.py

dag_1.py 创建静态 DAG，dag_2.py 基于某个位置的外部 json 文件创建动态 DAG。

静态 DAG（由 dag_1.py 创建）包含稍后阶段的任务，该任务为 dag_2.py 生成其中一些输入 json 文件，并以这种方式创建动态 DAG。

这曾经适用于未使用 DAG 序列化的 Airflow 1.x 版本。但随着 Airflow 2.0 DAG 序列化已成为强制性要求。有时，当生成动态 DAG 时，我会在调度程序中收到以下异常 -

[2021-01-02 06:17:39,493] {scheduler_job.py:1293} ERROR - Exception when executing SchedulerJob._run_scheduler_loop
Traceback (most recent call last):
  File "/global/packages/python/lib/python3.7/site-packages/airflow/jobs/scheduler_job.py", line 1275, in _execute
    self._run_scheduler_loop()
  File "/global/packages/python/lib/python3.7/site-packages/airflow/jobs/scheduler_job.py", line 1377, in _run_scheduler_loop
    num_queued_tis = self._do_scheduling(session)
  File "/global/packages/python/lib/python3.7/site-packages/airflow/jobs/scheduler_job.py", line 1474, in _do_scheduling
    self._create_dag_runs(query.all(), session)
  File "/global/packages/python/lib/python3.7/site-packages/airflow/jobs/scheduler_job.py", line 1557, …