如果我们在 github 存储库帐户中维护我们的代码/脚本,有没有办法从 Github 存储库复制这些脚本并在其他集群(可以是 Hadoop 或 Spark)上执行。
气流是否提供任何操作员来连接到 Github 以获取此类文件?
在 Github 中维护脚本将提供更大的灵活性,因为代码中的每一个更改都将直接从那里反映和使用。
关于这种情况的任何想法都会真正有帮助。
气流版本-1.9.0
我已经安装了Apache气流并进行了后期配置,我能够使用顺序执行器运行示例DAG。
另外,创建了新的示例用户,我可以在“管理”>“用户”下看到该用户。
但是,当我们访问位于:8080 /的Web服务器地址时,无法获取登录窗口/屏幕,它将直接用管理员用户打开Airflow Web服务器。如果任何人都可以提供有关如何激活登录屏幕/页面的信息,以便用户凭据可用于登录Web服务器,则将有很大的帮助。
启用Web用户身份验证的步骤如下:https : //airflow.apache.org/security.html?highlight= authentication