Apache Airflow集群的最低硬件要求

Question

设置Apache Airflow集群的最低硬件要求是什么？

例如。群集中不同类型节点的RAM，CPU，磁盘等。

谢谢

Answer 1

我在伪分布式模式下使用很小的实例（32个并行工作器； Postgres后端）没有任何问题：

• 内存4096 MB
• CPU 1000 MHz
• VCPU 2个VCPU
• 磁盘40 GB

如果要使用分布式模式，则保持同质就可以了。无论如何，气流不应该真正使人沉重。将工作负载推向其他事物（Spark，EMR，BigQuery等）。

您还必须运行某种消息队列，例如RabbitMQ。我认为他们也接受Redis。但是，这并没有真正显着影响您的尺寸。

Answer 2

我们使用以下配置在 AWS 中运行气流

t2.small --> 气流调度程序和网络服务器

db.t2.small --> 用于 Metastore 的 postgres

airflow.cfg中的parallelism参数设置为10，大约有10个用户访问airflow UI

我们在气流中所做的就是通过 ssh 连接到其他实例并从那里运行代码