Bri*_*ice 3 google-cloud-platform airflow google-cloud-composer
我正在尝试使用gcloud composer命令在 Google Composer 中进行回填,但我正在努力传递 a -yor--yes相应的--reset_dagruns参数。
我得到的回应是airflow: error: unrecognized arguments: -y。
命令:
gcloud composer environments run my_env --project my_project --location us-east1 backfill -- --reset_dagruns -y -s 2020-01-01 -e 2020-01-31 my_dag
Run Code Online (Sandbox Code Playgroud)
我如何提供这个论点?
小智 5
在回答您的具体问题之前,我有一个建议:
如果您的 DAG ( my_dag ) 已经指定了您需要回填的开始和结束日期,那么只需清除您需要回填/重做的运行状态。调度程序然后再次拿起它们。
对于您的具体问题:
不幸的是,AirFlow CLI 文档无法直接与 Google Cloud Composer 一起使用,这适用于 Composer 1.10.2 版
gcloud --project=my_project composer environments run my_env --location us-east1 backfill -- my_dag --reset_dagruns -s 2020-01-01 -e 2020-01-31
Run Code Online (Sandbox Code Playgroud)
请注意,这将保留您的 CLI 会话,如果您ctrl-c退出,它将停止,如果您的回填很长,您最好在 dag 和设置上定义开始日期catchup=True
| 归档时间: |
|
| 查看次数: |
668 次 |
| 最近记录: |