如何测试使用XCom的Apache Airflow任务

Question

我试图找出一种测试DAG的方法，其中有两个使用XCom进行通信的任务。

由于控制台命令仅允许我从DAG运行任务，是否有一种方法可以测试通信而不必通过UI运行DAG？

谢谢

Answer 1

这是一种对我有用的方法。

尽管 Airflow 网页声明测试命令不会生成或保持任何状态，但按顺序运行气流测试命令仍然有效。

基本上你这样做：

Airflow test my_dag task1 date
Airflow test my_dag task2 date

其中 task1 返回值或使用 xcom_push 方法发送值，然后 task2 运行 xcom_pull 以获取值并继续。

它对我有用。如果您有不同的方法或其他问题，请发表评论。