工作编排

Dam*_*ien 6 python scheduled-tasks orchestration

我目前正在重做所有数据库业务流程作业(ETL,备份,日常任务,报表编译等)

为此,我需要一个任务/工作协调器,我可以在其中定义任务依赖,基于时间的任务,异步任务等.

我正在研究芹菜和基于流程的编程技术,但我不确定这些对我的用例有好处.

我正在寻找一个能够支持所有这些开箱即用的框架.有什么建议?

小智 4

可能已经晚了,但我想为其他可能提出这个问题的人提及Job runner 。

从他们的 GitHub 存储库 README.rst 中:

Job-Runner 是一个类似 crontab 的工具,具有一个很好的 Web 前端,用于管理和(实时)监控当前状态。

特征:

  • 安排重复性工作
  • 工作连锁化
  • 通过将工作人员放入池中来实现负载平衡
  • 安排作业在池中的所有工作线程上运行
  • 实时仪表板(带有终止运行和临时调度的选项)
  • 多个项目和每个项目的权限管理