我们正在简化气流代码库的构建/部署管道。
有没有人有使用 CI/CD 工具为 Apache 气流构建和部署管道的经验?
您如何在不同的环境(如测试、暂存、生产等)中部署您的气流代码库,包括 DAG/插件/操作符?
你如何管理每个环境的airflow.cfg 配置?
您在哪里管理每个环境的配置。
orchestration bigdata airflow
我了解YARN和SPARK.但我想知道何时需要使用YARN和SPARK处理引擎.有什么不同的案例研究,我可以确定纱线和火花之间的区别.
hadoop bigdata hadoop-yarn apache-spark
bigdata ×2
airflow ×1
apache-spark ×1
hadoop ×1
hadoop-yarn ×1
orchestration ×1