相关疑难解决方法(0)

我需要管理ETL任务的大型工作流程,其执行取决于时间,数据可用性或外部事件.在执行工作流程期间,某些作业可能会失败,并且系统应该能够重新启动失败的工作流程分支,而无需等待整个工作流程完成执行.

python中有没有可以处理这个的框架？

我看到几个核心功能:

• DAG建筑
• 执行节点(运行shell cmd,等待,记录等)
• 能够在执行期间在父DAG中重建子图
• 能够在父图运行时手动执行节点或子图
• 在等待外部事件时挂起图执行
• 列出作业队列和作业详细信息

像Oozie这样的东西,但更通用的目的和python.