相关疑难解决方法(0)

我有一个DAG,每天凌晨3点运行,过去几周运行正常.

我已经更新了现在7点运行的日期,但显然最近2天没有运行.我可以看到状态为"正在运行"(绿色)的那两天的任务,但是没有触发任何命令.

是否需要做更多的事情才能改变DAG的运行时间？

我知道在过去,解决这个问题的一种方法是在元数据库中清理此DAG的任务,并更新start_date,但我宁愿避免再次这样做.

有人有建议吗？

我知道有一种方法可以删除 DAG。但是是否可以删除具有特定 run_id 的 DAG 运行？就像是：

airflow delete_dag_run <dag_id> <run_id>

即使load_examples = False在配置文件中关闭后,气流示例dag仍保留在UI 中.

系统通知dag不存在于dag文件夹中但它们仍保留在UI中,因为调度程序已将其标记为在元数据数据库中处于活动状态.

我知道从那里删除它们将直接删除数据库中的这些行单程不过关当然,这并不ideal.How我应该着手删除这些UI DAGs的？

在 EC2 上的 24xlarge 机器上运行时，我遇到了气流问题。

我必须注意并行级别是 256。

有几天，由于两个未确定的原因，dagrun 以“失败”状态结束：

1. 某些任务的状态为“upstream_failed”，这是不正确的，因为我们可以清楚地看到前面的所有步骤都成功了。

2. 其他任务的状态不是“空”，它们还没有开始，它们会导致 dagrun 失败。

我必须注意这两个任务的日志都是空的

以下是这些案例的 tast 实例详细信息：

请问有什么解决办法吗？

我们正在使用Airflow v 1.9.0。我们有100多个dag，实例速度非常慢。调度程序仅启动一些任务。

为了减少CPU使用量，我们想调整一些配置参数，即：min_file_process_interval和dag_dir_list_interval。该文件并没有真正明确了两者的区别

我想从Airflow UI中删除DAG,该GCS/dags文件夹中不再提供.我知道Airflow有一种"新"方法可以使用airflow delete_dag my_dag_id命令从数据库中删除dag ,见/sf/answers/3477848041/

似乎在composer airflow版本中,该delete_dag命令尚不支持.

不要试试这个: 我也试过使用airflow resetdb,气流用户界面就死了

有没有办法删除当前不在gs://BUCKET/dags/文件夹中的dags ？

我正在尝试将DAG安排为每分钟运行一次，但它似乎每秒都在运行。根据我已阅读的所有内容，我只需要schedule_interval='*/1 * * * *', #..every 1 minute在DAG中添加它，就是这样，但是它不起作用。这是我设置的一个简单示例进行测试：

from airflow import DAG
from airflow.operators import SimpleHttpOperator, HttpSensor, EmailOperator, S3KeySensor
from datetime import datetime, timedelta
from airflow.operators.bash_operator import BashOperator

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2018, 6, 4),
    'schedule_interval': '*/1 * * * *', #..every 1 minute
    'email': ['airflow@airflow.com'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 2,
    'retry_delay': timedelta(minutes=1)
}

dag = DAG(
    dag_id='airflow_slack_example',
    start_date=datetime(2018, 6, 4),
    max_active_runs=3,
    schedule_interval='*/1 * * * *', #..every 1 minute
    default_args=default_args,
)

test= …

在 Airflow Web 界面中，我可以查看 DAG 列表。如果我单击这些 DAG 之一，我可以看到 DAG 或 DAG 代码的不同视图，并且在详细信息选项卡中我可以看到 DAG 文件的名称，但看不到路径。

我也尝试过airflow list-dags，但这也没有提供我正在寻找的信息。

我可以在 Web 界面中看到一个 DAG，但我找不到它在文件系统中的位置。

有没有办法从 Airflow Web 界面或 Airflow CLI 查找 DAG 的位置？