如何在Airflow UI上停止/终止正在运行的任务？我在用LocalExecutor.即使我使用CeleryExecutor,我怎么能杀死/停止正在运行的任务？
我使用的是LocalExecutor,我的dag有3个任务,其中任务(C)依赖于任务(A).任务(B)和任务(A)可以并行运行,如下所示
A - >Ç
乙
所以任务(A)失败了,但任务(B)运行正常.任务(C)尚未运行,因为任务(A)失败.
我的问题是我如何单独运行任务(A),因此任务(A)运行一旦任务(A)完成,并且Airflow UI将它们标记为成功.
我需要任务的状态,如果它在同一个dag中运行或更新或失败.所以我试图使用下面的代码得到它,虽然我没有输出...
Auto = PythonOperator(
task_id='test_sleep',
python_callable=execute_on_emr,
op_kwargs={'cmd':'python /home/hadoop/test/testsleep.py'},
dag=dag)
logger.info(Auto)
一旦气流上的特定任务完成,目的是杀死某些正在运行的任务.
问题是我如何获得任务的状态,例如它处于运行状态还是失败或成功
当我们在Airflow用户界面上执行dagrun时,在"图表视图"中,我们会获得每个作业运行的详细信息.
JobID类似于"schedule__2017-04-11T10:47:00".
我需要这个JobID用于跟踪和日志创建,我在其中维护每个任务/ dagrun所花费的时间.
所以我的问题是我如何在正在运行的同一个dag中获得JobID.
谢谢,阿赫亚