Apache Airflow 不会 pickle DAG

Question

我想恢复 DAG 对象，以便在 DAG 运行后更好地检查某些依赖关系（例如特定运算符消耗了哪些数据）。我用作postgres:9.6元数据数据库后端。

这似乎是通过donot_pickle配置变量支持的，默认情况下指示所有 DAG 都必须被 pickle：

[core]
# Whether to disable pickling dags
donot_pickle = False

我有一些可用的测试 DAG (3)，但它们对应的pickle_id是空的：

> select pickle_id from dag;
pickle_id
---------


(3 rows)

Pickles 表也是空的：

> select count(*) from dag_pickle;
 count
------
    0
(1 row)

这里可能出了什么问题？我在文档中找不到任何参考。

Answer 1

有 2 种启用酸洗的方法：

• DONT_PICKLE=False在调度程序配置中仅与回填作业相关
• -p, -do_pickle在调度程序命令行参数中启用对计划作业的酸洗（https://airflow.apache.org/cli.html#Named%20Arguments_repeat18）