气流:通过UI在气流中创建DAG

Muk*_*ain 8 airflow airflow-scheduler

气流老兵请帮忙,

我一直在寻找cron的替代品,但遇到了Apache气流。

我们有一个设置,多个用户应该可以创建自己的DAG并安排他们的工作。

我们的用户是一群可能不知道如何编写DAG python文件的人们。此外,他们可能无法访问运行气流的服务器。

是否可以通过UI创建气流DAG。我找不到相同的参考。所有示例都涉及创建python文件并将其上传到$ AIRFLOW_HOME / dag /目录。用户将无权访问此目录。

例如,Rundeck允许用户通过UI添加工作流和任务依赖性。气流中是否有与此类似的插件/功能。

PS:我真的很喜欢气流显示依赖关系图的方式,并想尝试一下。但是,如果创建DAG如此复杂,那么对于我的许多最终用户而言,这将是一个主要问题。

And*_*hov 8

我认为没有现成的解决方案。我将尝试与您的任务结合使用:CWL(通用工作流语言),Airflow,Rabix Composer

So, CWL is just a specification, you describe your workflow in YAML like syntax.

There is a package pip3.6 install cwl-airflow it can parse CWL into Airflow DAG.

Rabix Composer UI/graphical CWL editor.


big*_*ann 7

我相信现在有一个: https: //github.com/andreax79/airflow-code-editor

而且看起来很有希望。

在此输入图像描述


Ste*_*fan 6

elyra 似乎能够创建气流管道(没有尝试):

https://elyra.readthedocs.io/en/latest/getting_started/overview.html

在此输入图像描述