如何通过 yes 标志回填 Google Composer?

Bri*_*ice 3 google-cloud-platform airflow google-cloud-composer

我正在尝试使用gcloud composer命令在 Google Composer 中进行回填,但我正在努力传递 a -yor--yes相应的--reset_dagruns参数。

我得到的回应是airflow: error: unrecognized arguments: -y

命令:

gcloud composer environments run my_env --project my_project --location us-east1 backfill -- --reset_dagruns -y -s 2020-01-01 -e 2020-01-31 my_dag
Run Code Online (Sandbox Code Playgroud)

我如何提供这个论点?

小智 5

在回答您的具体问题之前,我有一个建议
如果您的 DAG ( my_dag ) 已经指定了您需要回填的开始和结束日期,那么只需清除您需要回填/重做的运行状态。调度程序然后再次拿起它们。

对于您的具体问题
不幸的是,AirFlow CLI 文档无法直接与 Google Cloud Composer 一起使用,这适用于 Composer 1.10.2 版

gcloud --project=my_project composer environments run my_env --location us-east1 backfill -- my_dag --reset_dagruns -s 2020-01-01 -e 2020-01-31
Run Code Online (Sandbox Code Playgroud)

请注意,这将保留您的 CLI 会话,如果您ctrl-c退出,它将停止,如果您的回填很长,您最好在 dag 和设置上定义开始日期catchup=True