相关疑难解决方法(0)

我不明白之间的差别dag_concurrency和parallelism。文档和这里的一些相关帖子在某种程度上与我的发现相矛盾。

我之前的理解是，该parallelism参数允许您设置气流中可能的全局（跨所有 DAG）TaskRundag_concurrency的最大数量，并表示单个 Dag 可能的 TaskRun 的最大数量。

所以我将 设置parallelism为 8 和dag_concurrency4 并运行一个 Dag。我发现它一次运行 8 个 TI，但我期望它一次运行 4 个。

1. 这怎么可能？

2. 此外，如果有帮助，我已将这些任务的池大小设置为 10 左右。但这应该无关紧要，因为“配置”参数的优先级高于池的优先级，对吗？

在我的某些Airflow安装中，即使未完全加载调度程序，调度运行的DAG或任务也不会运行。如何增加可以同时运行的DAG或任务的数量？

同样，如果我的安装负载很高，并且我想限制Airflow工作人员拉出排队任务的速度，我该如何调整？

我对气流完全不熟悉,并且无法找到可以在单个气流DAG中安排多少任务的任何地方.而且什么都可以每个任务的最大尺寸.

我想安排一个任务,该任务应该能够处理数百万个查询并识别其类型并根据查询类型安排下一个任务.

阅读完整的文档,但找不到它