相关疑难解决方法(0)

我已经启动了Airflow网络服务器并安排了一些dags.我可以在Web GUI上看到这些dags.

如何删除特定DAG在Web GUI中运行和显示？是否有Airflow CLI命令来执行此操作？

我环顾四周,但是一旦加载和安排DAG,就找不到简单的删除DAG的方法.

我们已经为我们的ETL设置了Airbnb/Apache Airflow LocalExecutor,并且当我们开始构建更复杂的DAG时,我们注意到Airflow已经开始使用大量的系统资源.这对我们来说是令人惊讶的,因为我们主要使用Airflow来协调在其他服务器上发生的任务,因此Airflow DAG花费大部分时间等待它们完成 - 在本地没有实际执行.

最大的问题是Airflow似乎在任何时候都占用了100%的CPU(在AWS t2.medium上),并使用超过2GB的内存和默认的airflow.cfg设置.

如果相关,我们使用docker-compose运行容器两次运行Airflow; 曾经scheduler和曾经一样webserver.

我们在这做错了什么？这是正常的吗？

编辑: 这是输出htop,由%Memory使用排序(因为这似乎是现在的主要问题,我有CPU下降):

我认为理论上我可以减少枪支工人的数量(它默认为4),但我不确定所有的/usr/bin/dockerd过程是什么.如果Docker使事情变得复杂,我可以删除它,但它使更改的部署变得非常简单,如果可能的话我宁愿不删除它.

有什么方法可以重新加载作业，而不必重新启动服务器？

我的 dag 需要大约 50 秒来解析，我只使用外部触发器来启动 dag 运行，没有时间表。我注意到气流想要大量填充 dagbag --> 在每个 trigger_dag 命令和在后台，它不断检查 dags 文件夹并在部署新的 .py 后似乎立即创建 .pyc 文件。

无论如何我可以部署我的集群并填充一次 dags！然后在接下来的 2 周内，在任何 trigger_dag 上立即开始 dagruns（现在需要 50 秒才能在开始之前填充 dagbag）。我不需要在 2 周内更新 dag 定义。